Alternative zu Veeam?

[VRRisJut]

Hallo zusammen,

ich sichere aktuell meinen Computer jede Nacht um 00:00 Uhr mit Veeam (verschlüsselt).
Das initiale Full-Backup ist etwa 130 GB groß. Pro Tag ändern sich ca. 15GB, die als inkrementelles Backup hinzukommen.

In meiner Konfiguration behält Veeam stets die letzten 7 Tage.
Allerdings wird das Full-Backup (das große Basis-Backup) scheinbar jeden Tag mit verändert, obwohl sich inhaltlich nur die inkrementellen Daten ändern.

Um 03:00 Uhr nachts synchronisiert ein rclone-Task das Backup in meine Hetzner Storage Box:

"%BASE%\rclone.exe" sync "%BACKUP_PATH%" %REMOTE% --config="%BASE%\rclone.conf" %BWOPT% ^
    --transfers=%TRANSFERS% --checkers=8 --checksum --progress --stats=1s --verbose ^
    --retries=5 --low-level-retries=30 --timeout=0 --contimeout=60s ^
    --sftp-idle-timeout=60s --sftp-concurrency=1 ^
    --use-server-modtime --delete-during ^
    --log-file="%LOGFILE%"

Das Problem dabei:
Da sich das große Full-Backup offenbar täglich ändert, lädt rclone neben den aktuellen Änderungen jedes Mal auch das komplette 130-GB-Backup erneut hoch. Das ist natürlich alles andere als optimal.

Grundsätzlich bin ich mit Veeam sehr zufrieden. Wenn das Full-Backup nicht ständig modifiziert würde, wäre die Lösung für mich perfekt. So ist es leider ziemlich ineffizient.

Daher meine Frage:
Kennt ihr eine kostenlose Backup-Lösung, die ebenfalls Image-basierte Backups erstellt und im Worst Case eine schnelle Wiederherstellung ermöglicht (ähnlich wie Veeam), sich aber besser für ein externes Sync-Szenario eignet? Oder mache ich generell etwas falsch?

Vielen Dank im Voraus!

 

[madmax2010]

restic?

Nutze ich mit Diversen Storageboxen und habe inzwischen um die 1500 Tage historie in den Backups.

 

[VRRisJut]

@madmax2010 Klingt interessant.
Ich habe immer nur crwsync und rclone gefunden. Restic ging irgendwie voll an mir vorbei?

Allerdings sind Image-Backups damit nicht möglich?
Das wäre schon cool, ist aber kein muss.

 

[madmax2010]

customer_full_name="vrr dude im forum"
customer_alternative_name="KeksCorp"
customer_number="100123"
target_email="backupwitness+10008@example.com"
fqdn="cl.example.com"
storagebox_user="u123456-sub4"


0 1 * * * backupuser /usr/bin/restic --repo sftp:${storagebox_user}@${storagebox_user}.your-storagebox.de:/ --password-file /etc/restic/restic-pass backup --files-from-verbatim /etc/restic/backup-list
0 2 * * * backupuser /usr/bin/restic --repo sftp:${storagebox_user}@${storagebox_user}.your-storagebox.de:/ --password-file /etc/restic/restic-pass snapshots | mail -s "Papertrail Restic-Backup: ${customer_number} ${customer_full_name} (${customer_alternative_name}) ${fqdn}" "${target_email}"

minimaler vorschlag der recht schnell tun sollte.

Ergänzung (Donnerstag um 17:42)

Allerdings sind Image-Backups damit nicht möglich?

Image backups meide ich grundsätzlich. Ich sehe darin absolut keinen Mehrwert.
OS will man eh frisch installieren und dann muss man halt die Nutzdaten einspielen.
Programme neu installieren regelt der Paketmanager

 

[ABC]

urbackup

 

[Masamune2]

In meiner Konfiguration behält Veeam stets die letzten 7 Tage.
Allerdings wird das Full-Backup (das große Basis-Backup) scheinbar jeden Tag mit verändert, obwohl sich inhaltlich nur die inkrementellen Daten ändern.

Ja natürlich, das ist bei anderen Backuplösungen die "inkrement forever" machen auch so. Sobald du sieben Tage auf der Platte liegen hast wird am achten Tag das älteste inkrementelle Backup in das Vollbackup hineingeschrieben. Das ändert sich also ebenfalls um die Größe das letzten inkrementellen Backups.

Du brauchst also eine Backupsoftware die so etwas nicht tut, oder eine sync Software die Änderungen einzelner Blöcke innerhalb einer Datei erkennt und dann nur diese zu Hetzner kopiert.

 

[VRRisJut]

Image backups meide ich grundsätzlich. Ich sehe darin absolut keinen Mehrwert.
OS will man eh frisch installieren und dann muss man halt die Nutzdaten einspielen.
Programme neu installieren regelt der Paketmanager

Ich habe an meinem OS sehr viel per Hand umgestellt und es wäre ein absolutes Drama, das jedes mal erneut konfigurieren zu müssen. Auch viele Programm per Hand umgestellt etc. da jetzt für jedes Programm die Configs einlesen. Hilfe.

Das kriege ich auch gar nicht mehr alles zusammen, denke ich. Daher mag ich Images immer so gerne. Einspielen und alles ist 1:1 so wie es war.

@ABC
urBackup sieht sehr interessant aus! Das könnte genau das sein, was ich suche?

Ja natürlich, das ist bei anderen Backuplösungen die "inkrement forever" machen auch so. Sobald du sieben Tage auf der Platte liegen hast wird am achten Tag das älteste inkrementelle Backup in das Vollbackup hineingeschrieben. Das ändert sich also ebenfalls um die Größe das letzten inkrementellen Backups.

Du brauchst also eine Backupsoftware die so etwas nicht tut, oder eine sync Software die Änderungen einzelner Blöcke innerhalb einer Datei erkennt und dann nur diese zu Hetzner kopiert.

Genau das eben nicht. Das Hauptbackup wird JEDEN Tag geändert. Nicht erst nach 7 Tagen!
Sonst wäre es ja auch nicht so schlimm.

 

[h00bi]

Wir reden über veeam free, oder?
Veeam Enterprise packt die Backup Chain in eine separate Datei, das full wird nicht verändert.
Kannst du das umstellen?
Alternativ: Mach die Backups immutable. Dann kann auch nix geändert werden.

Aber die obligatorische Frage: Warum stört sich das? Solange das Full File nicht komplett neu übertragen werden muss ist das doch egal. Veeam wird schon wissen was sie da tun.

 

[Masamune2]

Genau das eben nicht. Das Hauptbackup wird JEDEN Tag geändert. Nicht erst nach 7 Tagen!

Ja, du legst ja auch jeden Tag ein neues Ink an. Das heißt das älteste ink wandert in das Vollbackup. Jeden Tag.

 

[VRRisJut]

Wir reden über veeam free, oder?
Alternativ: Mach die Backups immutable. Dann kann auch nix geändert werden.

Aber die obligatorische Frage: Warum stört sich das? Solange das Full File nicht komplett neu übertragen werden muss ist das doch egal. Veeam wird schon wissen was sie da tun.

Ist Veeam free, ja.

Wie bereits jetzt im Thread mehrfach gesagt: Veeam ändert jeden Tag auch das Hauptbackup, nicht die Änderungen eines jeden Tags.

Dadurch wird jeden Tag neben dem täglichen Backup auch das Hauptbackup übertragen. Das ist totaler Käse.

Ergänzung (Donnerstag um 18:02)

Ja, du legst ja auch jeden Tag ein neues Ink an. Das heißt das älteste ink wandert in das Vollbackup. Jeden Tag.

Das wird es sein.

Veeam Free kann es anders auch nicht, oder?

Andere (kostenpflichtige) Programme erstellen das Hauptbackup und danach nur noch die Änderungen. Das Hauptbackup bleibt dabei unbeührt, bis man ein neues anlegt (oder nach x Tagen einstellt).

---

Dann tendiere ich doch eher zu restic.
Die Configs werden beim Restore ja wiederhergestellt...

 

[Masamune2]

Veeam Free kann es anders auch nicht, oder?

Der freie Agent nicht, der vollständige Backupserver könnte das aber das ist wohl overkill.

Ich würde an deiner Stelle eher nach einen Programm suchen das den Sync zu Hetzner auch mit teilweise geänderten Dateien kann statt Veeam zu ersetzen. Dafür ist das Veeam Backup einfach zu gut.

 

[Hardware-Fan]

Das würde ich auch vorschlagen, wegen:

Grundsätzlich bin ich mit Veeam sehr zufrieden.

Es muss doch einen Weg "um das Problem herum" geben.

 

[wupi]

Es muss doch einen Weg "um das Problem herum" geben.

Klaro, nennt sich rsync, lädt nur die Veränderungen einer Datei hoch.

Da gibts jetzt sogar binaries für Windows.

https://en.wikipedia.org/wiki/CwRsync
https://github.com/rdiff-backup/rdiff-backup

 

[VRRisJut]

@wupi Ich glaube nicht, dass es die Veränderungen an einer Veeam-Image datei erkennt und nur diese hochladen kann?

 

[wupi]

cwRsync is an implementation of rsync for Windows. Rsync uses a file transfer technology specified by the rsync algorithm, transferring only changed chunks of files over the network in a given time.

https://en.wikipedia.org/wiki/CwRsync

Das bitte auch noch lesen. https://docs.hetzner.com/de/storage/storage-box/access/access-ssh-rsync-borg#rsync

 

[VRRisJut]

@wupi

Veeam speichert Backups in großen Container-Dateien (VBK/VIB), die bei jedem Sicherungslauf intern verändert und umorganisiert werden, etwa durch Metadaten-Updates und neue Block-Maps. cwRsync arbeitet jedoch dateibasiert und erkennt zunächst nur, dass sich eine Datei geändert hat. Zwar kann der rsync-Delta-Algorithmus theoretisch nur geänderte Datenblöcke übertragen, bei Veeam-Containern sind die Änderungen jedoch über die gesamte Datei verteilt, Blöcke werden verschoben statt nur angehängt und dadurch ändern sich nahezu alle Prüfsummen. In der Praxis entspricht das zu übertragende Delta daher fast der kompletten Datei. Zusätzlich muss rsync sowohl auf Client- als auch auf Serverseite die gesamte 130-GB-Datei einlesen, um dies festzustellen, was hohe CPU- und I/O-Last verursacht. Auch bei Nutzung einer Storage Box mit echtem rsync-Server ergibt sich deshalb keine relevante Einsparung, sondern lediglich zusätzlicher Aufwand ohne nennenswerten Nutzen.

Ich kann das so auch bestätigen, da ich es mit cwRsync bereits probiert hatte.
Mal davon abgesehen, dass der Check ewig gedauert hat, wurden dennoch immer die komplette Dabei übertragen.

restic scheint da wohl die beste Methode zu sein, wenn Veeam meint, es müsse das Hauptbackup jeden Tag aktualisieren. Blöd

 

[wupi]

Ach du Kacke.

Restic ist super.

 

[VRRisJut]

Jo. Ich dachte ich mache es mir einfach.
Veeam-Image Backup (was ja wirklich super funktioniert) und die Änderungen jeden Tag in die Cloud.

Bei 50 Mbit Upload HORROR.
Werde es wohl daher kombinieren.

Veeam als Image auf die 2. SSD und per restic die wichtigsten Daten sichern.
Das ist zwar nicht ideal, aber wenn es anders nicht geht

Da kann ich auch direkt jeden Tag ein Fullbackup machen als Image. Aber dann ist die SSD sicherlich beleidigt.

 

[madmax2010]

Ich habe an meinem OS sehr viel per Hand umgestellt und es wäre ein absolutes Drama, das jedes mal erneut konfigurieren zu müssen.

Kann man doch auch im Backup erfassen. Irgendwo im Dateisystem sind alle Einstellungen

@wupi Ich glaube nicht, dass es die Veränderungen an einer Veeam-Image datei erkennt und nur diese hochladen kann?

du kannst das image mounten und da rein schreiben

 

[VRRisJut]

Ich sichere meine VM (weil die fast immer läuft eignet sich restic dafür nicht) jetzt (statt meinen ganzen Computer inkl. VM) mit Veeam und meine privaten Daten und Configs der Programme sichere ich mit restic. Dann sind die Backups auch kleiner.

Wenn mal was flöten geht, installiere ich Windows neu, installiere die Programm neu, die ich wirklich brauche und hole mir aus den restic-Restore die Configs und privaten Daten zurück.

Ich denke, so ist es am effizientesten.
Danke für euren Input.