Bit Rot mit 2 verschiedenen NAS Systemen vermeiden?

[gymfan]

Ich habe gestern eine alte Festplatte rausgekramt, die seit 8 Jahren unberührt im Schrank lag.
Da habe ich alle großen Zip Dateien von je 1 GB problemlos kopieren und entpacken können.
Da war nix verottet!

Es gibt auch Leute,, die sich eine Hausrat-, BU oder Elementarschädenversicherug sparen, weil sie das Risiko für sich selber als zu gering einschätzen.

Ich betreibe seit mind. 10 Jahren einmal jährlich den Aufwand, nicht nur die Daten auf meinem NAS (und Backup-NAS), sondern auch auf ext. gelagerten USB-HDDs gegen Prüfsummen zu vergleichen. Dabei kommt immer das selbe heraus wie beim exemplarischen Vergleich von DVD-Rs von 2005-2008 oder beim Scrubbing des Backup-NAS (mit BTRFS): keine Fehler.

Und da mir in in den letzten 15 Jahren keine HDD ohne Vorwarnung ausgefallen ist, gebe ich diese (anscheinend nutzlose) Prüfung zwar trotzdem nicht auf, habe mich aber schon lange dagegen entschieden, auf meinem privaten NAS viel Geld für Redundanz ausgeben zu wollen (RAID1/5 oder was es das SW-seitig noch alles gibt).

Wiso sollten dann auf meiner neuen DS920+ die neu kopierten Dateien
schon nach 1-2 Jahren anfangen zu rotten?

Deine Auftrittswahrscheinlichkeit musst Du selber abschätzen. Technische Defekte geschehen irgendwann und man kann ihnen entweder durch Redundanz entgegen treten oder hoffen, dass man sie nicht erlebt. Da für mich die Wahrscheinlichkeit aber >0% ist, möchte ich sie so früh erkennen, dass ich Datenfehler aus der Redundanz wieder vollständig reparieren kann.

Was ist mit der M-Disc?
Bei guter Lagerung sollten die Dateien 1000 Jahre laut Wikipedia dort erhalten bleiben.
Mir reichen davon schon 40 Jahre Garantiert aus.

Wenn man jetzt die Lesegeräte komplett ignoriert (man wird in 40 Jahren schon irgendwo ein funktoinsfähiges BD-Laufwerk auftreiben), dann sollen (Simulation der Hersteller) die M-Disc 1000 Jahre (bei korrekter Lagerung) lesbar bleiben. Brennt das Haus/der Lagerort ab, nützt das aber auch nichts. Eine Flutkatastrophe übersteht sie vermutlich besser wie jede HDD und jedes Tape.

Aber ich gehe jetzt in dem Beispiel davon aus, das alle Dateien sauber auf der M-Disc sind.

Schöne Annahme welche auch der Grund ist, warum es keine/kaum aussagekräftige Tests zur Lesbarkeit von selber gebrannten BDs gibt. Im Gegensatz zu CD/DVD gibt es schlicht abseits der Hersteller-Labore keine Laufwerke, mit denen man nicht nur die Lesbarkeit NACH Anwendung der internen Fehlerkorrektur prüfen kann.

Das kann man ja alles vorher und nach dem Brenn Vorgang 1x prüfen.

Genau, Du weisst dann, dass die BD zum Zeitpunkt des Tests mit exakt diesem Laufwerk und inkl. Nutzung dessen Fehlerkorrektur lesbar ist. Wenn sie Disk und Optik/Mechanik des Laufwerkes die kommenden 40 Jahre nicht ändern, dürfte die BD auch dann noch lesbar sein.

 

[Rainer1981c]

Ich betreibe seit mind. 10 Jahren einmal jährlich den Aufwand, nicht nur die Daten auf meinem NAS (und Backup-NAS), sondern auch auf ext. gelagerten USB-HDDs gegen Prüfsummen zu vergleichen. Dabei kommt immer das selbe heraus wie beim exemplarischen Vergleich von DVD-Rs von 2005-2008 oder beim Scrubbing des Backup-NAS (mit BTRFS): keine Fehler.

Gibt es ein Programm das während des kopierens von Dateien auf ein beliebiges Zielgerät
z.B. USB Speichermedien oder NAS
direkt Prüfsummen inklusive Wiederherstellungsdateien mit schreibt?

Beispiel mit WinRAR könnte ich folgendes machen:

Einen ganzen Ordner voll mit Dateien packen und 100% Wiederherstellungsdateien hinzufügen.

Dann würden z.B. aus einer 1 GB Datei direkt 2 GB werden,
weil ja sich ja noch 100% Wiederherstellungsdateien in dem Container mit drin befinden!

Bei einem Kopierfehler oder Bit Rot Befall,
könnte dann WinRAR anhand der Wiederherstellungsdateien alle Dateien rekonstruieren.

Sonst wüsste ich leider keine Möglichkeit :-(

Und da mir in in den letzten 15 Jahren keine HDD ohne Vorwarnung ausgefallen ist, gebe ich diese (anscheinend nutzlose) Prüfung zwar trotzdem nicht auf, habe mich aber schon lange dagegen entschieden, auf meinem privaten NAS viel Geld für Redundanz ausgeben zu wollen (RAID1/5 oder was es das SW-seitig noch alles gibt).

Kann man bei einer Synology NAS Prüfsummen zu den kopierten Dateien automatisch mit beifügen?
Am besten direkt mit Wiederherstellungsdateien!

Ist mir egal ob aus 1 MB = 2 MB wird.

Wenn bei einer Synology NAS im SHR2 bzw. Raid 6
Paritätsdateien mit angelegt werden, ist das nicht so wie ein Prüfsummen Schutz?

Wenn man jetzt die Lesegeräte komplett ignoriert (man wird in 40 Jahren schon irgendwo ein funktoinsfähiges BD-Laufwerk auftreiben), dann sollen (Simulation der Hersteller) die M-Disc 1000 Jahre (bei korrekter Lagerung) lesbar bleiben. Brennt das Haus/der Lagerort ab, nützt das aber auch nichts. Eine Flutkatastrophe übersteht sie vermutlich besser wie jede HDD und jedes Tape.

Also gibt es bis jetzt nix bessers zur Archivierung als die M-Disc oder?
Du hast ja schon sämtlichen Faktoren wie Wasser, Feuer usw.. mit gerechnet.

 

[gymfan]

Gibt es ein Programm das während des kopierens von Dateien auf ein beliebiges Zielgerät
z.B. USB Speichermedien oder NAS
direkt Prüfsummen inklusive Wiederherstellungsdateien mit schreibt?

Beispiel mit WinRAR könnte ich folgendes machen:

Da ich bei sowas grundsätzlich eine Abneigung gegen Closed Source Software habe, die dann auch noch nur unter Windows läuft, nutze ich par2 (gibt es für Winodws, Linux und als ANSI-C Queltext).

Dabei kann man dann, genauso wie bei WinRAR, die Größe der Wiederherstellungsdateien konfigurieren.

Reine Prüfsummen kann man entweder unter Windows mit fciv oder mit einem Batch/Shell-Script und md5sum/sha256sum erstellen und prüfen.

Um sowas während dem Kopieren zu machen ist mir nichts bekannt. Außer, man nutzt entsprechende Dateisysteme (zfs, btrfs) mit dem Nachteil, dass das unter Windows nicht funktioniert. Jedenfalls traue ich WinBTRFS nicht genug, um dieses bei meinem NAS zu nutzen.

Kann man bei einer Synology NAS Prüfsummen zu den kopierten Dateien automatisch mit beifügen?
Am besten direkt mit Wiederherstellungsdateien!

Keine Ahnung, was Synology kann. Im Zweifel BTRFS und RAID5 nutzen, dann würde ich erwarten, dass beides vorhanden ist (muss man aber nachlesen). SHR2 mag es genauso können. Kostet halt alles Geld für den Vorteil., die Verfügbarkeit seines Systems zu erhöhen.

Mit solchen Dateisystemen bist Du aber, ohne weitere Massnahmen, bei dem von Dir erwähnten möglichen Problem ohne ECC-Ram. Wenn das System Wiederherstellungsdaten besitzt und "standardmäßig" konfiguriert ist, dann prüft es regelmäßig die Daten und versucht erkannte Fehler sofort zu korrigieren.

Beruhen diese Fehler aber nicht auf Disk-Fehlern sondern darauf, dass das Ram Fehler generiert, die nicht erkannt werden (kein ECC, Programmcode läuft im intakten Bereich des Ram), dann "korrigiert" das System u.U. blind alle Daten, obwohl diese garnicht korrupt waren.

Von daher lasse ich bei mir (Backup-NAS mit Linux und BTRFS) die reine Prüfung von Hand laufen und würde ein Recovery (wenn es dann mal irgendwann nötig sein sollte) manuell über die Daten, die auf anderen HDDs liegen.

Also gibt es bis jetzt nix bessers zur Archivierung als die M-Disc oder?
Du hast ja schon sämtlichen Faktoren wie Wasser, Feuer usw.. mit gerechnet.

Es gibt weder eine gute noch eine schlechte Universallösung.

Wenn Du so paranoid bist wie ich und keinem Langzeitspeicher ohne regelmäßige Prüfung traust, dann ist M-Disc nichts für Dich. Außer, Du schaffst Dir auch noch einen BD-Wechseler an, um ohne manuelle Disk-Wechsel dutzende von Medien testen zu könen.

Traust Du den M-Disc ohne Prüfung, lagerst eine Version davon außerhalb und rechnest damit, dass Du in X Jahren noch ein Laufwerk besitzt/auftreiben kannst, mit dem Du die M-Disc lesen kannst, mag es für Dich und statische Archive die richtige Lösung sein.

Mir sind meine Daten nur so lange wichtig, wie ich mich auch darum kümmern kann. Daher landen die statischen Daten (z.B. Bilder/Videos) auf diversen HDDs (ohne RAID oder vergleichbare HW-Redundanz im selben System), werden teilweilse extern gelagert und jährlich geprüft. Zusätzlich landet ein Backup meiner dynamischen Daten (Texte, Mails) monatlich verschlüsselt auf meinem Webspace.

 

[fgordon]

Das stimmt aber nicht dass Fehler im RAM tatsächlich das ganze Filesystem mit ZFS (und vermutlich auch BTRFS) etc beschädigen, das ist auch dann extremst extremst unwahrscheinlich - zufällge Hashübereinstimmung bei unterschiedlichen Daten das ist wohl so im 1: x Zig hunderte Milliarden Bereich.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Aber ich habe trotzdem ECC auf den Servern kostet ja wenn man nicht die aktuelle DDR4 sondern noch die DDR3 Variante nutzt fast nix.