Backup mit Prüfsummen absichern

[bodoff]

Guten Tag

ich fertige meine Backups von "reinen Daten" wie Dokumenten, Filmen, Musik etc. als normale Dateikopien, organisiert in Ordnern, an.
Jetzt möchte ich anfangen, meine Backups jedes mal nach dem Kopiervorgang mit den Originalen abzugleichen. Dafür will ich Prüfsummen generieren, bei jedem Backup zuerst vom"original" Prüfsummen generieren, dann vom Backup. Dann beide vergleichen und dann die Prüfsummen, benannt als "Prüfsumme Backup Stand Datum" wegspeichern.

So sehe ich jedesmal, ob a) ein Backup identisch ist mit dem Original und b) im Restore-Fall, ob das Backup noch immer mit der damaligen Prüfsumme übereinstimmt.

Fragen:

-Wird das so funktionieren?
-Welche möglichst wenig komplizierte zuverlässige Software (gerne open source) nimmt man zum erstellen der Prüfsummen?
(wenn möglich keine Kommandozeile mit tausend Parametern... :-) :-) )

-Welche "Datenvolumen" fasse ich zur Erstellung einer einzelnen Prüfsumme zusammen?
Praktisch wäre ja, eine Prüfsumme für jeden Ordner (inkl. Unterordnern) der obersten Ordnerstruktur. Aber würden denn das nicht viel zu viele Daten pro Prüfsumme sein? Beim Film- oder Bilder- Ordner könnte das schnell in den Dreistelligen-GB-Bereich gehen. Oder eine Prüfsummer pro Datei? Das wäre doch viel zu Kleinteilig und total unübersichtlich? Wie organisiert man sowas? Was ist praktikabel?

Danke für Eure Meinung dazu :-)

 

[DEADBEEF]

sha256sum

Ich benutze das nur für einzelne Dateien oder Archive. Ob das auf Ordner geht, weiss ich nicht

 

[airwave]

Prüfsumme über was?
Dateigröße? NTFS-Rechte? Zeitstempel? Welcher Zeitstempel von den x-tasusend?
Über welches Datei- und Betriebssystem reden wir?
"rsync --checksum" wäre ne option

 

[KillerCow]

Oder vielleicht doch lieber auf ein sinnvolles Backuptool umsteigen, dass das von sich aus erledigt und dir ne Menge Arbeit und fehleranfälliges manuelles kopieren abnimmt!? Ein konkretes Tool kann ich dir leider nicht empfehlen (ich mache den Großteil via ZFS, was für dich wohl eher nicht in Frage kommt ).

 

[Yuuri]

Ein ordentliches Backup Tool macht das automatisch. :O

 

[KillerCow]

Oder eine Prüfsummer pro Datei?

Genau das, damit du pro Datei weißt, ob die kaputt/identisch ist. Und genau das macht nen ordentliche Backuptool ebenfalls.

 

[Mickey Mouse]

Ein ordentliches Backup Tool macht das automatisch. :O

genau das!
es macht mMn wenig Sinn, sich da etwas selber "zu basteln".
gerade in solch einem Fall hier. Wenn man eine Abneigung gegen die Kommando Zeile hat und erst hier nach dem Vorgehen fragen muss, dann ist ein "vorgekautes" Tool mit großer Wahrscheinlichkeit die bessere Lösung

 

[StefanArbe]

hier ist ein checker http://getmd5checker.com/download.html
ich denke du speicherst die werte und dann kannst du sie mit dem ergebnis vergleichen.

 

[madmax2010]

bitte nicht irgendwelche Software auf seltsamen seiten herunterladen.. windows 10 hat in der Poweshell certutil. das kann diverse checksummen
https://ladedu.com/de/md5-prufsumme-mit-windows-10-so-wirds-gemacht/

Ich benutze das nur für einzelne Dateien oder Archive. Ob das auf Ordner geht, weiss ich nicht

auch Ordner sind Dateien

Ein ordentliches Backup Tool macht das automatisch. :O

This. Gescheite Backup tools tracken automatisch die checksummen aller Daten.Entweder auf Datei- oder auf Block Level. So kannst du die Konsistenz des backups zu jedem Zeitpunkt verifizieren.
Selber was basteln hilft i.d.r wenig, wenn da beispielsweise ein cryptotrojaner daher kommt.
Restic / borg koennen das ganz gut

 

[GrumpyCat]

https://github.com/bup/bup baut auf dem Git-Format auf, das an so ziemlich allen Ecken und Enden Hashsums benutzt, und hat einige nette weitere Features wie das Handling von Streams ("Backup" eines Datenstroms aus dem Netzwerk oder aus dd von einem Block Device, inklusive Deduplikation).

 

[StefanArbe]

wie man sieht, viele wege führen nach rom

 

[Evil E-Lex]

windows 10 hat in der Poweshell certutil.

Öhhm. Also wenn schon Powershell, dann Get-FileHash bitte. 🙂

 

[gymfan]

-Wird das so funktionieren?

Ja, und wenn Du OS-unabhängig sein willst wird das mit irgendeinem "eigenwiligen" Backuptool nichts. Nur leider spricht da der Wunsch nach einer fertigen Klicklösung gegen. Da könnte man sich allenfalls einen quelloffnenen Dateibrowser suchen, der sowas kann und der mind. unter Windows wie auch unter Linux existiert. Also z.B. der Double Commander.

-Welche "Datenvolumen" fasse ich zur Erstellung einer einzelnen Prüfsumme zusammen?

Wozu zusammen fassen? Je Datei eine Prüfsumme und gut ist. Dann weisst Du, im Gegensatz zu einer Prüfsumme je Zip-File oder Backup-Archiv, welche Datei defekt ist und welce Du u.U. aus einem anderen Backup wieder herstellen kannst/musst.

Das einzige Problem könnte die Zeit zur Erstellung und Prüfung der Prüfsummen sein, wenn die Dateien extrem klein werden.

Praktisch wäre ja, eine Prüfsumme für jeden Ordner (inkl. Unterordnern) der obersten Ordnerstruktur. Aber würden denn das nicht viel zu viele Daten pro Prüfsumme sein? Beim Film- oder Bilder- Ordner könnte das schnell in den Dreistelligen-GB-Bereich gehen.

Bei mir sind es alleine für die Bilder 550k Dateien und gut 3 TB. Soviel Daten hat man ja exakt einmal zur Erstellung der Prüfsummen (meine Bilder ändern sich nie, die Verschlagwortung wird auch deshalb nicht in den Bildern gespeichert).

Oder eine Prüfsummer pro Datei? Das wäre doch viel zu Kleinteilig und total unübersichtlich? Wie organisiert man sowas? Was ist praktikabel?

Mich interessiert es recht wenig. ob in meiner Datenbank (kann auch ein triviales Textfile sein, wie es der Double Commander erstellt) 100 oder 550k Einträge sind. Die paar Byte zusätzlich je Datei (als Beispiel) sind es mir jedenfalls wert. Damit kann ich auch bei Bedarf das ext. gelagerte Dritt-Backup auf mehrere Datenträger aufteilen und alle Instanzen des Backups mit genau einer Prüfsumme (je Datei) prüfen lassen.

This. Gescheite Backup tools tracken automatisch die checksummen aller Daten.

Welches "gescheite" Backpu-Tool läuft unter mehr wie eiem Betriessystem, im Idealfall auch unter heute noch garnicht bekannten? md5/sha256 Prüfsummen kann man unter jeden OS testen, welches das Dateisystem lesen kann und einen C-Compiler bietet. Meine Acronis-Backups (ja, Acronis TI war noch nie ein gescheites Backup-Programm) bis 2013 kann ich heute wegschmeißen, außer ich werfe Acronis nochmal Geld hinterher oder finde einen uralt-Laptop, der sich noch vom damaligen Restore-Image booten lässt. Die Prüfsummen aus 2003 lassen sich immer noch prüfen und die Einzeldateien (Bilder und Videos, also Sachen, die sich nach der Erstellung/Bearbeitung nie wieder ändern) sind natürlich heute noch identisch. Das selbe wird auch in 30 Jahren noch gelten. Egal, welches (vollwertige) Betriebssystem ich dann nutze.

 

[DEADBEEF]

Wieso wird hier immer wieder md5 in den Raum geworfen? Empfehlt doch gleich Windows XP mit IE

 

[Evil E-Lex]

Wieso wird hier immer wieder md5 in den Raum geworfen?

Weil die Anfälligkeit für Kollisionen von MD5 bei Backups schlicht keine Rolle spielt. Da kommt es nur auf die Geschwindigkeit an. In einer idealen Welt würden alle Tools BLAKE3 unterstützen und würden so MD5 obsolet machen. Leider ist das nicht so. Und selbst wenn BLAKE3 unterstützt wird, ist die Qualität dieser Unterstützung unterschiedlich. TeraCopy beispielsweise bringt das Kunststück fertig, BLAKE3 massiv langsamer als MD5 laufen zu lassen. Der TotalCommander unterstützt BLAKE3 ebenfalls (mit guter Performance), aber leider nur für das Schreiben von Prüfsummendateien, für das reine Kopieren und Verifizieren nutzt der immer MD5.

 

[guzzisti]

Der reflexhafte Verweis auf ein "ordentliches Backup Tool" (wer definiert hier was "ordentlich" ist? jeder für sich selbst?) irritiert mich auch etwas. Je nach Anforderung ist eine simple Kopie der Daten absolut ausreichend und zielführend. Ich mach das üblicherweise auch so, weil in einem Restorefall es halt nicht mehr einfacher geht als Platte anstecken und Datei zurückkopieren. Bei nem Hardwareausfall schließ ich einfach die Backupplatte direkt an und weiter gehts. Da muss ich mich nicht mit proprietären Archivierungsstrategien rumschlagen.

Rekursiv 2 Verzeichnisbäume zu durchlaufen und von jeder Datei Prüfsumme zu erstellen & zu speichern, um diese dann miteinander abzugleichen ist doch ein eher triviales Problem.
Würde mich sehr wundern wenn es dafür nicht bereits für beliebige Shells oder Skriptsprachen einfach konsumierbare Lösungen gibt.

 

[HITCHER_I]

Man könnte das Backup durch irgend ein Archivierungsprogramm, wie WinRAR, oder 7z jagen, das versieht auch alle Dateien mit Prüfsummen.

 

[gaym0r]

Ja, und wenn Du OS-unabhängig sein willst wird das mit irgendeinem "eigenwiligen" Backuptool nichts.

Warum nicht? Seit wann gibt es keine betriebssystemübergreifende Backup Tools? Und was spricht GEGEN ein solches Tool, wenn es zudem nichts kostet?

 

[Acronis-Support]

ja, Acronis TI war noch nie ein gescheites Backup-Programm

Hallo gymfan,
Acronis-Vertreter hier. Hattest du da bestimmte Probleme mit dem Produkt, oder was hat nicht gestimmt? Falls du mir mehr Einzelheiten gibst, würde ich gerne intern weiterleiten.

 

[bodoff]

Hallo Leute, vielen Dank für Eure Antworten.

Also es scheint mir jetzt so, als habe ich mir das alles etwas zu einfach vorgestellt. Viele der Antworten kapiere ich nicht mal. ;-) Ich werde die Idee nochmal grundsätzlich überdenken und mich dann nochmal melden. Aber erstmal mache ich mich daran, meine neue SSD ins System zu integrieren, das ist der erste Schritt.
Viele Grüße