Leserartikel Gedanken zum Thema Bitrotting auf HDD und SSD

[mchawk777]

Mit größer werdenden Datenträgern wird nicht nur das Thema Bitrotting auch immer relevanter für den Einzelnen.

Bei magnetischen Datenträgern, wie HDDs, ist das in der Regel sehr überschaubar, denn Magnetismus verflüchtigt sich langsamer als - lapidar ausgedrückt - die Elektronen aus den Speicherzellen.

Eine Möglichkeit bei HDDs wäre die bewusste, aktive Remagnetisierung von Sektoren.
Z. B. mit dem Programm DiskFresh. Es liest die Speicherzellen aus und schreibt sie wieder neu.
Achtung: Bitte nicht auf SSDs anwenden, wenn Du keinen Superverschleiß verursachen möchtest.

Mitunter werden auch Tools wie SpinRite empfohlen und der zu erzielende Effekt ist auch nicht unumstritten.

Meine Meinung: Alle 2-4 Jahre Archiv-HDDs aus dem Schrank zu holen und Diskfresh drüber laufen zu lassen mag zwar etwas Zeit in Anspruch nehmen - fällt im Zweifel aber nicht durch.

Bei RAID-Systemen sollte man um Bitrotting entgegenzuwirken ab und an mal ein Scrub - eine RAID-Bereinigung durchführt.
Wozu hat man den sonst die Redundanz-Daten. 😉

Kommen wir zur SSD.
Hier haben wir das Problem, dass zwischen den Speicherzellen und dem Betriebssystem noch ein Controller sitzt, der verhindert, dass das Betriebssystem direkten Zugriff bekommt.
Allerdings sollen diese Controller-Chips halt Speicherzellen umsortieren, wenn deren Datenqualität sinkt.

Hier ist mein Lösungsansatz recht banal: Regelmäßig Image-Voll-Backups anlegen. (Mache ich automatisiert 1 Mal pro Monat)
Damit zwingt das Backup-Programm den Controller letztendlich an alle Zellen mit Daten anzusteuern und zu lesen.
...in der Hoffnung, dass der Controller evtl. Leseprobleme findet und die Daten dann reorganisiert.

Das gleiche erreicht man auch, wenn man beispielsweise für alle Dateien auf dem Datenträger HASH-Werte errechnen lässt.
Beispielsweise unter Windows mit dem Programm ExactFile.
Theoretisch kann man damit natürlich auch sämtliche Änderungen an Dateien feststellen, indem man den Digest testet.
Bleibt dann nur noch die Kunst der Einschätzung, ob eine Änderung gewollt oder Bitrot ist.
Daher - nett zu wissen - aber für mich irgendwie witzlos.

Hoffe das hilft einigen von euch weiter.
Weiter Ideen gerne hier notieren.

...und wie heißt es immer im Chaosradio abschließend: Verschlüsselt schön eure Backups! 😉

 

[DorMoordor]

Kann man dafür nicht einfach Btrfs oder Zfs nutzen? Die machen doch genau das

 

[mchawk777]

@DorMoordor Ja, könnte man - sofern man es kann. 😉
(...und ich hatte schon damit gerechnet, dass das auf den Tisch kommen wird - es aber extra raus gelassen.)

Das ist aktuell wohl weniger eine Lösung für normalsterbliche Windows-User.
Ich gehe erst mal von nativ unterstützen Dateisystemen aus.

Wenn, dann dürfte in der Windows-Welt eher ReFS mittelfristig ein Thema werden.

 

[dx1]

Bei magnetischen Datenträgern, wie HDDs, ist das in der Regel sehr überschaubar, denn Magnetismus verflüchtigt sich langsamer als - lapidar ausgedrückt - die Elektronen aus den Speicherzellen.

Eine Möglichkeit bei HDDs wäre die bewusste, aktive Remagnetisierung von Sektoren.
Z. B. mit dem Programm DiskFresh. Es liest die Speicherzellen aus und schreibt sie wieder neu.
Achtung: Bitte nicht auf SSDs anwenden, wenn Du keinen Superverschleiß verursachen möchtest.

HDDs haben keine Speicherzellen und unter dem Link lese ich, dass das Program für die Anwendung auf SSDs gedacht ist. Und so durcheinander geht es weiter. Der Artikel setzt Vorwissen voraus, aber wer dieses besitzt, benötigt den Artikel nicht mehr.

 

[CoMo]

Wenn, dann dürfte in der Windows-Welt eher ReFS mittelfristig ein Thema werden.

Genau, ReFS und Storage Spaces wären das Windows-Pendant zu ZFS RAIDz. Das lässt sich auch heute schon nutzen. Aber soweit ich weiß, nur mit einer Windows Pro for Workstations oder Enterprise Lizenz.

 

[Organix]

Ich hätte dazu eine Frage(oder mehr):

Ich habe vor 2-3 Wochen diverse HDD und SSD ausgebuddelt die seit etwa 2018-2021 nicht mehr am Strom wahren.

SSDs: 120GB-275GB HDDs: 640GB-2TB

Darunter eine OCZ von 2012 aus einer der Serien die seinerzeit als superempfindlich bewertet wurden.

Alle wurden erkannt und auf keiner hat etwas gefehlt oder war defekt, bin aus Interesse mal durch dutzende Videos und hunderte Fotos geblättert. Hab alte Software ohne Fehler entpackt und einfach mal installiert.

Habe dann sogar eine SSD mit BS gefunden und einen passenden Rechner, der läuft auch ohne Probleme...

Null Fehler, Glück oder Zufall? Gibt es wirklich verlässliche Angaben dazu?

Ich lese immer nur ist möglich, kann passieren, RISIKO!

Vielen Dank im Voraus für Meinungen dazu.

 

[Krik]

Null Fehler, Glück oder Zufall? Gibt es wirklich verlässliche Angaben dazu?

Ich wiederhole das gerne:
Die JEDEC-Norm gibt vor, dass Consumer-SSDs ihre Daten bei 30°C für mindestens 1 Jahr vorhalten müssen. Je kühler sie gelagert werden, desto länger halten sie. Auch der Verschleiß der Flashzellen fließt da mit ein.

Eine neue SSD würde bei bspw. 15°C Lagertemperatur den ersten Satz Daten für locker mehrere Dekaden vorhalten können.

 

[xxMuahdibxx]

HDDs haben keine Speicherzellen

Und was ist dann ein Sektor am Ende?. Eine Speichereinheit?

 

[dx1]

@xxMuahdibxx Ich habe bewusst vier aufeinander folgende Sätze vom Anfang des Leserartikels zitiert.

 

[xxMuahdibxx]

Da hast schon Recht das dieses Programm für SSDs sein soll... Aber in deren Beschreibung ist auch immer wieder von Festplatte zu lesen.. konfus

 

[floTTes]

Sollte die Firmware das heutzutage nicht bei online-SSDs übernehmen? Wäre doch schlimm wenn nicht ...
Offline-SSDs müssten natürlich refreshed werden.

 

[Aduasen]

konfus

Wirklich konfus, ja.
Festplatten haben mit SSDS (auch technisch) überhaupt nichts zu tun.

 

[MoonTower]

Gerade bei Festplatten wird das Thema meiner Meinung nach überbewertet / wird viel Angst im Netz verbreitet! Hatte mich auch mal damit intensiv beschäftigt mit dem Ergebnis: Es passieren >1000 andere "Unglücke" mit meinen Daten bis so etwas wie Bit Rot / Datenverfall auftritt. Ansonsten nutze ich MultiPar und bei Winrar die "add recovery record" Funktion.

 

[KingLz]

Null Fehler, Glück oder Zufall? Gibt es wirklich verlässliche Angaben dazu?

Woher weißt du denn das es keine Fehler gab?
Interne Datenträger-Fehlerkorrekturdaten ausgelesen?
Hast du Checksummen der Dateien gehabt, so dass du einzelne Bitflips bemerkt hast?

Eigentlich ist der "ich hatte doch gar kein Problem", aber unbemerkt sind ein paar Bits jetzt geflippt, das große Problem. In Zip Dateien gibt es immerhin zum Entpacken Checksummen, aber wenn bei Videos oder Bildern ein paar Bits gedreht sind, das merkt man nicht mal.

Es passieren >1000 andere "Unglücke" mit meinen Daten bis so etwas wie Bit Rot / Datenverfall auftritt.

Bis du den Bit Rot bemerkst oder bis er wirklich passiert? Smartwerte geprüft ob interne Fehlerkorrekturen vorgenommen wurden? Eigene Checksummen (Dateisystemchecksummen) gehabt zum überprüfen?
Bitflips sind absolut harmlos und fallen nicht mal auf bis desaströs.

Ich gebe dir aber Recht, dass am Ende vermutlich der Bit Rot gar nicht das Kernproblem ist, sondern die Tatsache das niemand Verifikationsdaten manuell anlegt oder Dateisysteme mit diesen benutzt (wie Btrfs etc.), so dass man gar keine Aussage treffen kann ob Bit Rot überhaupt ein Problem ist... wenn die JPG ein paar minimal andere Sektoren hat.... das sieht keiner.

Sogesehen ist es sogar besser die Daten als non-zip abzulegen und im Zweifelsfall halt ein paar Bilder zu verlieren/verändert zu haben als ein kaputtes Archiv.

 

[Rickmer]

Darunter eine OCZ von 2012 aus einer der Serien die seinerzeit als superempfindlich bewertet wurden.

Empfindlich war der Controller, der NAND selbst war damals noch MLC

 

[wern001]

Also ich defragmentiere meine SSD 1x Jahr nach Name auch wenn das Defragprogram meint man sollte es nicht tun und gut ist.
HDD sowieso defragmentieren.

 

[kieleich]

Eine Möglichkeit bei HDDs wäre die bewusste, aktive Remagnetisierung von Sektoren.

ein Vorgang der mit ein möglicher Auslöser für Silent Bitrot ist

kleiner RAM Fehler und das "neu schreiben" schreibt dir falsche Bits, fehlermelder gibts dann keine da für die HDD, das die gewünschten geschriebenen richtigen daten sind

SpinRite

Schwurbel

Wer keine Daten verlieren möchte sollte mehrere Kopien davon auf bewahren

Speichermedien melden Lesefehler ordentlich, ist dann sache der Kopierprogramme diese Fehler weiter zu geben. Defekte Dateien sind dann aus dem Backup zu holen

Wenn man hinter dem Dateisystem auf der Platte rumfuscht ist diese Fehlermeldung nicht mehr gegeben, dann bleiben wirklich nur noch, eigene Prüfsumme für alle Dateien, durchs Dateisystem oder komlett selber machen

 

[mae]

wenn bei Videos oder Bildern ein paar Bits gedreht sind, das merkt man nicht mal.

Doch, wenn die Bilder wie ueblich in einem komprimierten Format gespeichert sind (bei Videos wohl auch). Ich hatte einmal einen Datenfehler in einem JPEG (durch ein fehlerhaftes Motherboard), da war das Bild unterhalb eines bestimmten Punkts in anderen Farben zu sehen. Ich vermute, bei Videos wuerde ein Datenfehler sich bis zum naechsten key frame deutlich sichtbar auswirken.

niemand Verifikationsdaten manuell anlegt oder Dateisysteme mit diesen benutzt (wie Btrfs etc.)

Ich verwende BTRFS auf dem Desktop seit 2015 und auf dem Laptop noch frueher (2011?). Bisher kein Anzeichen fuer bitrot.

 

[nutrix]

Der Artikel ist in allen Belangen nicht gut, und zeugt von wenig Grundkenntnisse in dieser Materie. Jedes Refreshtool ist für Festplatte absolut sinnlos, man müßte dafür einfach nur alle Daten von A nach B neu kopieren, und dann würde das passen.

Ich hab hier über hunderte HDDs liegen, und ich suche gerade die älteste, die ich noch habe, da ist sogar noch eine XP Partition drin (Samsung 400GB). Die älteste Datei laut Zeitstempel ist von 2001, die jüngste von 10.2010. Ich habe gerade mal eine Backupdatei von Acronis von 2007 geöffnet, eine tar.gz aus dem Unix-Bereich, und andere gepackte wie nicht gepackte Dateien (Texte usw.). Ich habe nirgendwo Probleme feststellen können. Das heißt, ich kann hier Daten von über 18 Jahren problemlos lesen wie bearbeiten. Vielleicht finde ich sogar noch eine IDE HDD, die ich mit IDE-SATA Adapter anklinken kann.

Persönlich handhabe ich es so, daß die wichtigsten Daten auf M-Disk wie auf neue Datenträger alle paar Jahre kopiert werden. Daher habe ich einiges bestimmt mehrfach vorliegen. Alte HDDs (IDE, SCSI, SATA unter 400GB) hatte ich immer rechtzeitig noch verkauft. Ich lagere trocken und mit entsprechenden HDD-Koffern, genauso wie optische Datenträger in Cases und weg vom Licht lagern.

Probleme machen definitiv CDs und DVDs, da hatten sich bei mir schon einige aufgelöst, wobei eine uralte R/W CD von ca. 2000 letztes Jahr sogar noch funktionierierte.

Wenn ich hier was von 2-4 Jahren für eine HDD lese, muß ich nur müde schmunzeln. Ich würde mal behaupte, daß man sich hier in diesem Rahmen überhaupt keine Gedanken machen braucht. Meine älteste SSD von Transcent mit 32GB ist leider tot, aber eine alte Intel SSD mit 80GB (40er wurde verschenkt) funktioniert bis heute, leider hatte ich sie schon ein paar mal neu partitioniert, daher kann ich über die Haltbarkeit wenig sagen. Ich muß eh mal prüfen, wo all meine SSDs (hier auch über 40 Stück) noch rumfliegen oder verbaut sind. Manche hatte ich ja auch wieder verkauft. Ich hab sogar noch alte USB-Sticks, SDs mit ein paar MB, die gehen alle noch.

 

[gymfan]

Ich gebe dir aber Recht, dass am Ende vermutlich der Bit Rot gar nicht das Kernproblem ist, sondern die Tatsache das niemand Verifikationsdaten manuell anlegt

Gut, dass ich dieser Niemand bin, und das seit mind. 10 Jahren. Archivdaten (mittlerweile einige TB an Fotos, Videos und Textarchiven) ändern sich nach der Erstellung nie wieder. Mit den Prüfsummen kann ich wunderbar auch ext. gelagerte Archivmedien (bei mir HDDs, die mittlerweile bis zu 15 Jahren alt sind) prüfen ohne einen zweiten, garantiert korrekten Datensatz zur Hand zu haben. Im Zweifel ließe sich das sogar mit einem nicht gerooteten Smartphone machen, was allerspätestens bei ZFP oder BTRFS aufgibt. Oder gibt es mittlerweile Apps, um sowas unter Android oder iPadOS zu lesen?

Ich käme nie auf die Idee, heute noch USB2-Gehäuse und mickrigen 500GB bei 1,5TB HDDs für irgendwas anderes zu nutzen. Ob diese HDDs an Weihnachten beim Familienbesuch 4 oder 12 Stunden am Laptop zur Überprüfung hängen, ist völlig egal.

wenn die JPG ein paar minimal andere Sektoren hat.... das sieht keiner.

Weil die Leute unfähige Decoder nutzen und ihre 48 MPix Bilder bei der Anzeige auch noch verkleinern, womit einzelne defekte Blöcke nicht immer auffallen. Die meisten Endanwender wollen es standardmäßig so, Fehlermeldungen sind störend und unwichtig, darauf müsste man reagieren.

Wer keine Daten verlieren möchte sollte mehrere Kopien davon auf bewahren

Im Grunde zwar korrekt, aber trotzdem bleibt es eine schöne Theorie, wenn ich dann manuell im Vergleich von 3 Dateien auf drei Datenträgenr feststellen muss, welche die (hoffentlich einzige) defekte der drei Varianten ist. Was mache ich, wenn ich dabei drei untershciedliche Varianten der Datei erhalte? Ein JPG, das sich nicht öffnen lässt, eines, das defekte EXIF Daten hat und eines, das noch originalgetreu ist.

Sobald eine solche defekte Datei auf dem Datenträger auftritt und nicht zu 100% nachvollziebar ist, dass der Fehler nicht am Datenträger liegt, muss man diese Prüfung für alle Dateien durchführen. Ich würde dabei auch nicht blind dem zweiten Datenträger vertrauen, der mir die eine korrekte Datei liefern konnte.

Ich hab sogar noch alte USB-Sticks, SDs mit ein paar MB, die gehen alle noch.

Die Daten von meinen CF-Karten von 2003-2010 lassen sich auch noch lesen, die Daten sind fast genauso alt und die Karten waren teils über 10 Jahre in keiner Kamera und keinem Kartenleser mehr.

Schön für die Karten, das dürften meist MLC-Flashzellen sein und ich habe, bis auf die paar getestete Bilder, keine Ahnung, ob alle gelesenen Daten noch bitgenau denen entsprechen, welche die Kamera damals geschrieben hat.

Das ist mir bisher auch egal, SSDs sind mir immer noch viel zu teuer für mein Langzeitarchiv. Interesant wäre daher eher, wie sich HAMR HDDs im realen Langzeittest verhalten werden. Das kann aber noch niemand ermittelt haben und Klimakammertests traue ich dafür weniger.