Dateiintegrität für Backups?

[Uridium]

Hallo,
ich habe eine externe "2.5" WD Elements 5TB USB SMR HDD", die ich als dateibasiertes Backupmedium (Archivierung) nutzen möchte.

Bei einem unbemerkten Bitrot würde eine simple Kopie nur bedingt helfen, bzw. erst einmal gar nicht auffallen. Im Zweifel wüsste man auch gar nicht welche Datei defekt ist. Aus diesem Grund würde ich gerne von Zeit zu Zeit einen manuellen Integritätscheck machen.

Mein erster Gedanke war, irgendwas mit rsync (Ordner/Dateien definieren) und alle Prüfsummen in eine Datei schreiben und ab und an prüfen lassen. Ob das praktisch überhaupt so umsetzbar ist, weiß ich noch nicht. Der Vorteil wäre, dass ich das auf Quell- und Zielordner anwenden könnte.

Der zweite Gedanke wäre "Checksumming", also Dateisysteme, die das nativ unterstützen, wie btrfs, zfs, bcachefs (ext4 kann das wohl teilweise auch, aber nur für Metadaten). Nachteil wäre, dass diese Formate für device-managed SMR HDDs nicht von jedem empfohlen werden. Außerdem würde das nur das Backup abdecken, nicht das Quelllaufwerk (ext4).

RAID kommt nicht in Frage, da ich nur ein Laufwerk verwenden möchte. Außerdem müsste das dann mindestens Raid-5, wenn nicht sogar RAID-6 sein (doppelte Parität).

Wie macht ihr das?

 

[|Moppel|]

borg

gui: vorta

 

[Yuuri]

Wie macht ihr das?

Mit nem ordentlichen Backup Tool. restic kann bspw. die Integrität des Repos prüfen.

 

[klapproth]

rsync mit Checksummen gegen btrfs / zfs.

 

[madmax2010]

restic

borg

Mehr ist eigentlich nicht zu sagen. Das sind mmn. die besten Backup Tools am Markt.

Außerdem müsste das dann mindestens Raid-5, wenn nicht sogar RAID-6 sein

Fair, ist bei dir ohnehin nichtsinnvoll

 

[Donnerkind]

Ich nutze auch Borg für meine Backups. Meine primäre Backupplatte ist eine alte 3,5-zöllige, auf der ich dann auch die Repositorys warte (sprich gelegentliches Löschen von Snapshots, was auch ein gelegentliches Umschreiben mehrerer GB bedeutet). Und dann rsynce ich zur Erfüllung der 3-2-1-Regel diese Repositorys auf 2,5-Zoll-SMR-Platten mit 4 TB. Da Borg Datendateien von 500 MB nutzt, sind sie viel schneller zu lesen als hunderte oder tausende kleiner Dateien. Somit ist auch ein Inhaltsvergleich schneller als wenn man die Nutzdaten selbst vergleicht. Außerdem profitiere ich extrem von dessen Deduplizierung. Denn mein PC und Laptop haben weitestgehend dieselben Dateien (selbes Linux-System und mit Unison synchronisierte Datenverzeichnisse) – aber eben nicht ganz identisch. So kann ich auf einer einzigen 3-TB-Platte zig Versionen von Vollbackups beider Systeme vorhalten, welche jeweils auf einer 2-TB-SSD beruhen.

Für meine aktiven Dateien nutze ich verzeichnisweise Checksum-Dateien, um die Integrität nachprüfen zu können. Erstens für die Langzeithaltung, denn so habe ich tatsächlich schon kaputte gegangene Dateien entdeckt, z.B. in der Musiksammlung auf der MicroSD, die in meinem Surface Go steckt. Zweitens nachdem ich Dateien kopiere, um die Kopien zu verifizieren. Eigentlich ist das nicht notwendig, die Technik ist ja durchaus zuverlässig. Aber man weiß ja nie und so habe ich immer eine Rücksicherung.