Prüfsumme oder ECC generieren & prüfen (zB MD5), aber für jedes Verzeichnis einzeln

[MiniPCHTPC]

Ich möchte gerne MD5-Prüfsummen aller Dateien erstellen, allerdings dabei nicht in einer Datei, die den ganzen Teilbaum enthält.
Ich möchte eine Prüfsummen-Datei in jedem Ordner für die Dateien darin OHNE die Dateien in Unterordnern.
Gibt es ein Tool, dass Prüfsummen so erstellen und prüfen kann?
Es gibt etliche Hash-Tools und ein schneller Google-Versuch hat mir nicht geholfen, so ein passendes Tool zu finden. Ausnahme: WinCRCSumme. Allerdings wird das Tool nicht mehr angeboten und nutzt nur CRC32. Die Prüfsumme sollte mindestens MD5 sein.

Noch besser wäre eine Art ECC, also eine Redundanz, die Fehler bis zu einem gewissen Grad auch reparieren kann. Allerdings finde ich da nichts, was auf wirklich große Datenbestände ausgelegt ist (.z.B Par2 eignet sich da ja nicht)

Ich werde weiter suchen, jedoch bin ich fast sicher, dass hier im Forum jemand eine Lösung dafür kennt.

DANKE!

PS: Die Krönung wäre, neue Dateien (nicht veränderte) ohne kompletten rebuild hinzufügen zu können, was zumindest bei Hashsummen konzeptionell ja kein Problem ist.

 

[0x8100]

magst du evtl. noch sagen, was du vorhast? deine anforderungen (dateien mit prüfsummen versehen, automatische reparatur) erfüllt ein raidz mit zfs. und das ganze ist transparent, keine manuellen eingriffe nötig.

 

[MiniPCHTPC]

Im prinzip folgendes: Ich habe ein großes "Datengrab" mit Backups, FLACs meiner CDs, Videos/Fotos, Setups etc - also eine riesige Menge unterschiedlichster Daten, die sich im Laufe der Zeit angesammelt hat. Jetzt habe ich am Montag festgestellt, dass ein Backup-Archiv defekt war. Nun haben Archive den Vorteil integrierter Prüfsummen, wodurch ich den Fehler feststellen und aus dem Backup (dazu gleich mehr) eine heile Version wiederherstellen konnte - Für die Zukunft möchte ich nun gerne an allen Daten mindestens prüfsummen haben. Ich habe ein manuelles Voll-Backup, so dass das schon einmal viel helfen würde. Änderungen werden im Backup nicht überschrieben, sondern ergänzt. Bequemer wäre natürlich, Prüfung und ggf. Reparatur ("Scrubbing") zu automatisieren.

Nun gibt es neben dem von dir genannten ZFS auch Btrfs und ReFS, die das zumindest teilweise integrieren. Allerdings nutze ich Windows, womit ZFS und Btrfs so ziemlich rausfallen. Es gibt zwar einen WinBtrfs-treiber, aber ob der so verlässlich ist....
Bei der Recherche zu ReFS bin ich darauf gestoßen, dass das offenbar zwangsweise unterliegende "Storage Spaces" mit unter so weit Probleme machen kann, dass man an das ReFS selbst gar nicht mehr "ran kommt" - das hat mich von ReFS dann auch erst einmal abgeschreckt.

PS: Leider sind alte Daten, die nicht in Archiven vorliegen oder wie manche Installer signiert sind, damit erstmal "möglicherweise beschädigt", aber das kann man wohl kaum ändern. Ich möchte nur darauf hinweisen, dass mir das klar ist.

 

[binolgruppe]

Was du suchst ist tatsächlich ein gegen "bit rot" geschütztes Dateisystem. Wie 0x8100 schon sagte eignet sich dazu ZFS eigentlich optimal. Leider ist man mit ZFS so gut wie gezwungen einen FreeBSD Abkömmling als Betriebssystem zu nutzen. Unter Linux gibt es dann noch das sehr ähnliche Btrfs Dateisystem, und unter Windows (Server) gäbe es noch ReFS, wobei Microsoft nicht die genauen spezifikationen offen legen will.

Das wäre zumindest die alltagstauglichste Lösung des Problems, da das ganze Monitoring und Error Correcting einfach direkt vom Dateisystem ausgeführt wird. Unter "klassischen" Dateisystemen wird das ganze relativ hässlich, wenn du versuchst das ganze manuell zu machen.

Edit: Du kannst mit ReFS auch ganze Platten formatieren, sodass du nicht auf Storage Spaces angewiesen bist.
Denn selbst Windows 8 versteht ReFS, kennt aber keine Storage Spaces.

 

[0x8100]

http://getmd5checker.com erfüllt schon mal deine anforderung, ganze verzeichnisse (auf wunsch nicht rekursiv) mit md5 zu hashen und zu verifizieren und dabei eine (oder auch eine pro datei) datei mit den checksummen anzulegen. lässt sich auch ins kontextmenü des explorers integrieren (hab ich aber noch nicht probiert)

 

[MiniPCHTPC]

Ich habe noch ein bisschen weiter recherchiert. Scheinbar kann man ReFS tatsächlich ohne Storage Spaces (was wohl auch 2 Datenträger erfordert) benutzen - allerdings hat man dann wohl nur Prüfsummen, keine Korrektur. Die nächste Frage ist, wie sich Windows dann verhält - wird bei Prüfsummenfehler ein zugriff komplett verhindert? Gibt es eine Warnung?
Auf welcher Granularität werden die Summen berechnet etc. Tatsächlich überlege ich gerade, mich in die Materie ReFS einzuarbeiten.
Bei Wikipedia steht, es sei nicht für Wechseldatenträger geeignet - was eine externe Festplatte ja gewisser Maßen auch ist. Mal sehen....

 

[binolgruppe]

Externe Festplatten sollten aufgrund ihrer, nunja, nicht besonders resistenten Bauart (2,5") eigentlich auch nicht als endgültiges Backup dienen. Die Dinger gehen leider so schnell Kaputt.

 

[MiniPCHTPC]

Ich sagte nicht 2,5"
Wobei ich auch noch nicht davon gehört habe, dass 2,5" HDD anfälliger wären als 3,5" ?!

 

[binolgruppe]

Wenn es eh 3,5" Platten sind kannst du ja mehr oder weniger gleich interne Platten verwenden und diese mit Festplatteneinschüben "extern" machen. Tut den Platten auch nicht weh wenn sie ohne ein Gehäuse in ner Schublade gelagert werden.

Das Problem mit modernen 2,5" externen Platten ist, dass der USB Controller in aller Regel direkt an die Platte gelötet ist. Raucht er ab kommt man nicht mehr an die Daten. Und da Externe Platten nur blöde Consumer-Ware sind passiert das leider häufiger als man sich das wünschen würde. Meist zufällig kurz nach Ablauf der Garantie.

 

[askling]

Sehr interessantes thema. Ich bin da in Win auch etwas genervt, das es keine dafür geeigneten Dateisysteme gibt. Ich löse das auch über Container, finde die Lösung aber unbefriedigend.