Test WD Red Pro 26 TB im Test: Elf Magnetscheiben gegen die Laser-Technik HAMR

Banned schrieb:
Müsste man meinen. Andererseits kann es eben gerade, wenn selten gelesen wird, dazu kommen, dass sich Fehler kumulieren. Prüfsummen haben immer ihre Grenzen. Ich hatte auf jeden Fall schon Dateien auf alten Laufwerken, die Bitfehler aufgewiesen haben, aber nicht als Fehler korrigiert oder erkannt wurden von der HDD.

Bei den error-correcting codes gibt es einen Bereich, in dem korrigiert wird, und einen, indem ein Fehler gemeldet wird. M.W. sind die Bereiche, in denen korrigiert wird, sehr klein im Vergleich zu denen, in denen ein Fehler gemeldet wird, eben um zu vermeiden, dass die Platte falsche Daten liefert. Hier ist z.B. eine ST2000VX008-2E3164, bei der melder SMART:

Code:
  1 Raw_Read_Error_Rate     0x000f   113   099   006    Pre-fail  Always       -       51825616
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0

Die Platte hat also offenbar 51 Millionen Faelle, in denen sie einen Sektor fehlerhaft gelesen hat (im Durchschnitt fast 1000 Faelle pro Betriebsstunde). Das hat sie dann offenbar lieber erkannt statt es falsch zu korrigieren, und hat den Sektor dann wohl noch einmal und diesmal erfolgreich gelesen, und deswegen den Sektor auch nicht reallokiert.

Dafür könnte man aber auch andere Verfahren nutzen (z.B. Rsync mit Prüfsumme). Somit sehe ich das nicht so.

Wie sollte das etwas nutzen? Wenn z.B. der SATA-Controller einer Maschine gelegentlich Bits kippt, und Du das auf eine andere Maschine mit rsync hinueberkopierst, wird rsync die Pruefsumme von den schon gekippten Bits berechnen, und die wird daher auf der anderen Maschine als korrekt ausgewiesen werden, obwohl die Daten kaputt sind.

Die Übertragung zwischen den Laufwerken und dem jeweiligen Controller ist ja über einen CRC abgesichert. Wenn hier falsche Daten übertragen werden, dann wurden diese schon vorher korrumpiert (oder der Controller hat einen weg).

Genau. Die HDD irgendwo zwischen dem Fehlerkorrigieren der ausgelesenen Daten und dem Hinzufuegen des CRC beim versenden (habe ich so aber noch nicht erlebt), oder der Host-Adapter, oder die Uebertragung vom Host-Adapter zum Speicher (das habe ich schon erlebt). Oder was auch immer. Die Pruefsummen im Dateisystem sind eine End-to-End-Ueberpruefung, die solche ansonsten ungesicherten Teile des Uebertragungswegs mit absichert.

Gegen Übertragungsfehler zwischen CPU und RAM bzw. für deren Erkennung verwendet man z.B. ECC-RAM.

In einem Fall, in dem Fehler auftraten, war sogar ECC-RAM im Computer. Das hilft halt nur gegen einen weiteren Abschnitt.

So oder so können Fehler durch defekte Hardware natürlich generell auftreten. Das hat dann aber nichts mehr mit ZFS zu tun und lässt sich dadurch auch nur bedingt vermeiden. Wenn dein RAM z.B. defekt ist und ständig Daten korrumpiert, hast du ein großes Problem - so oder so.

Vermeiden laesst es sich nicht (wenn man nicht in Richtung voll redundanter Hardware geht), erkennen aber schon, und dadurch vermeiden, dass es ein grosses Problem wird. Defektes RAM hatten wir auch schon einmal, da haben wir dank ECC gemerkt, wo das Problem lag und haben es eliminiert. Auf der Maschine haben wir uebrigens ZFS als File System, das hat aber keinen Fehler gemeldet. Es gab ohnehin nur einen korrigierbaren (und korrigierten) Fehler, und der trat offenbar nicht in einem der Puffer auf, in denen ZFS seine Ueberpruefungen vornimmt.

P.S.: Das steckt auch hinter der Empfehlung von ECC fuer ZFS. Nicht dass ZFS nicht auch ohne ECC gehen wuerde, aber ZFS sichert den Uebertragungsweg von den Schreibpuffern des Betriebssystems (im RAM) zur Platte/SSD und zurueck wieder bis zu den Lesepuffern des Betriebssystems. Wenn man dann ECC hat, ist der weitere Weg gesichert, wenn nicht, nicht.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Banned
AlphaKaninchen schrieb:
Und eine 8TB SN850X kostet unter 600€, also 75€/TB, ist also nicht mal 3x so teuer pro TB als die WD 26TB zum WD Shop Preis.

Bitte nicht falsch verstehen, im Desktop hab ich auch eine 4-TB NM790 und eine 2-TB SKC3000.

Bei den günstigsten NAS-HDDs mit 15–16 €/TB ist der Unterschied zu 75 €/TB immerhin noch Faktor 5. Für eine einzelne Platte noch verschmerzbar, aber wenn man 2, 4 oder noch mehr HDDs in ein x-Bay-NAS steckt, summiert sich das eben zum oben schon genannten gebrauchten Kleinwagenpreis.
 
DeusoftheWired schrieb:
Bei den günstigsten NAS-HDDs mit 15–16 €/TB ist der Unterschied zu 75 €/TB immerhin noch Faktor 5.
Das meinte ich mit Sweet Spot, wenn man davon weg kommt kostet die SSDs schnell "nur" noch Faktor 3, bei kleineren Kapazitäten kaufe ich dann die SSDs, bei größeren mehr von die "kleineren" HDDs. Einzige Ausnahme 8TB SSDs, da kaufe ich fürs Backup lieber größere HDDs und nehme die zusätzlichen TB mit als die SSD, fürs Original nehme ich aber die SSD.

Ich sehe schlicht nicht ein eine 4TB HDD für 100€ zu kaufen, wenn eine 4TB SSD 250€ kostet. Oder eine 8TB HDD für 200€ wenn es eine 18TB für 300€ gibt.
 
Zuletzt bearbeitet:
DevPandi schrieb:
Das kommt am Ende immer auf die genauren Umstände an und was du da erwartest.

Beides hat Vor- und Nachteile und wirkt sich am Ende unterschiedlich aus, weswegen ich die Aussage hier auch aufgreife:

Und direkt vorweg: Das ist nicht falsch, am Ende wird hier aber einiges "vergessen". Je mehr Festplatten man nutzt in einem RAID, um so "fehleranfälliger" wird es, egal wie gut das eigentliche Raid-Level ist. Geht man nach den "mechanischen" Belastungen der Festplatten, dann ist es in der Regel deutlich sinnvoller weniger dafür größere Festplatten zu nutzen. Warum? Weil eine RAID-Wiederherstellung immer ein "Kraftakt" für Festplatten ist und sobald eine Festplatte abgeraucht ist im RAID und man die ersetzt, kommt es doch durchaus häufiger vor, dass bei der Wiederherstellung die nächsten Festplatten die Gerätsche machen und man dann einen Dominoeffekt hat.

Einer der Gründe, warum bei uns bei dem Ausfall einer Festplatte in der Regel alle Festplatten auf einen Rutsch getauscht werden und der Raid dann "vollständig" wieder hergestellt wird mit neuen Platten, die die Daten der alten übernehmen und ggf. die fehlenden wiederherstellen.

Was gegen große Festplatten spricht, ist dann wieder Zeit. Es ist eben ein "kommt darauf an" und was für dich wichtiger ist.
"bei uns bei dem Ausfall einer Festplatte in der Regel alle Festplatten auf einen Rutsch getauscht werden.."
Kann ich zwar gut verstehen, wirft aber die Frage auf, was Ihr denn dann mit den HDDs des Arrays macht, die nicht ausgefallen sind?
 
Rawday schrieb:
Was issen für ein NAS sinnvoller? 2x solch dicke Dinger wie hier oder mehrere kleinere?
Du kaufts KEINE explizit als NAS benannte Festplatten (egal ob von WD oder Seagate) sondern stattdessen eine Seagate Exos Server Platte.
Die Hersteller rupfen uns nur unnötig mit den speziell als NAS betitelten Platten. Denn beides sind Server Festplatten für den 24/7 Dauerbetrieb.
 
Püppl schrieb:
Wie gesagt rein aus Interesse
Videos und natürlich auch Linux ISO's
Fotos sind lächerliche 1tb.
Musik auch nicht mehr.
Dokumente par GB

DeusoftheWired schrieb:
Der UHD-BD-Remux eines Kinofilms kommt gut und gerne mal auf 80 GB
Wenn du das in AV1 konvertierst bist du bei 5-10gb ohne Sichtbaren Verlust.
 
Haldi schrieb:
Wenn du das in AV1 konvertierst bist du bei 5-10gb ohne Sichtbaren Verlust.

Jo, hatte schon überlegt, H.265 oder AV1 in #62 zu packen. Das aktuelle Wiedergabegerät kann leider noch kein AV1, obwohl es von 2022 ist. Könnte allerdings Plex auf der 918+ es dafür transkodieren lassen. Und müßte noch mal alle 60 Scheiben aus der Akte-X-BD-Box durchs Laufwerk jagen.
ugly.gif
Reencode von H.264-Bestandsmaterial ist natürlich möglich und ließe sich sogar verskripten, bei der Serie, die mir am Herzen liegt, würde ich aber gern das Bestmögliche rausholen.
 
Banned schrieb:
hWenn bei einem einfachen RAID irgendwo ein Sektorfehler erkannt wird, der nicht über den ECC korrigiert werden kann, kann aus der Redundanz bzw. über die Parität des RAID korrigiert werden (vorausgesetzt, es sind keine weiteren Fehler erkannt worden, die dies unmöglich machen).
Aber dann muss das RAID ja wissen, wo der Fehler liegt. Wenn man nen Mirror hat, dann ist es 50/50. Bei einem Raid5 stimmt eine von dreien nicht, aber woher weiß das RAID nun, ob Datenblock 1, Datenblock 2 oder der Paritätsblock beschädigt ist? Nur wenn die Platte tatsächlich einen Fehler wirft, weiß das RAID den Fehlerort. Bei stillem Bitrot ist das nicht der Fall.

mae schrieb:
Wie sollte das etwas nutzen? Wenn z.B. der SATA-Controller einer Maschine gelegentlich Bits kippt, und Du das auf eine andere Maschine mit rsync hinueberkopierst, wird rsync die Pruefsumme von den schon gekippten Bits berechnen, und die wird daher auf der anderen Maschine als korrekt ausgewiesen werden, obwohl die Daten kaputt sind.
Deshalb habe ich mir vor vielen Jahren, als ich aus Geldmangel mit alten Platten hantieren musste, die teils schon defekte Sektoren bekamen, angewöhnt, md5-Summen von zumindest meinem Medienarchiv anzulegen. Dazu hab ich mir ein Skript geschrieben, das automatisch rekursiv eine Datei pro Verzeichnis anlegt (Anwendungsfall Musikalben oder Serien), bzw. eine pro Eingangsdatei (Anwendungsfall Filmdateien). Dann konnte ich anhand dieser Dateien nach jedem Kopiervogang sicher sein, dass die Daten gut angekommen sind.

Inzwischen hatte ich sogar hin und wieder kaputte Dateien auf diese Art entdeckt, allerdings nicht auf einer Platte, sondern der MicroSD im Tablet, auf dem die Musik drauf liegt.
 
Donnerkind schrieb:
Aber dann muss das RAID ja wissen, wo der Fehler liegt. Wenn man nen Mirror hat, dann ist es 50/50.
Nein, in dem besprochenen Fall weiß das RAID genau, wo der Fehler vorliegt, selbst bei RAID1.
  • Platte 1 liefert den angefragten Sektor
  • Platte 2 versucht ihn zu lesen, ermittelt aber einen Lesefehler. Wäre der aus den intern vorliegenden ECC-Infos korrigierbar (z.B. da nur ein einziges Bit gekippt ist) würde sie den Sektor selbst neu schreiben und die Daten liefern. In dieser Situation klappt das aber nicht (Mehr-Bit-Fehler, der nur erkennbar aber nicht eigenständig korrigierbar ist). Sie versucht das Lesen daher nochmals und nochmals, bis es entweder klappt (hier mal nicht) oder die vorgegebene zulässige Zeit (TLER) abgelaufen ist. Dann signalisiert sie dem anfragenden RAID Controller einen Lesefehler bei dem Sektor.
Der RAID Controller weiß nun also, dass Platte 2 den Sektor nicht lesen konnte und kann die von Platte 1 erfolgreich gelesenen Sektordaten an Platte 2 zum Auffrischen des Sektors bereitstellen.

Das woran Du offenbar denkst sind Mehr-Bitfehler, die in genau so einer Kombination vorliegen, in der die Fehlererkennung den Fehler nicht erkennt (da die veränderten Daten zufällig auch zur Checksumme passen) und daher falsche Daten rausgibt. Also nicht reparierbare und gleichzeitig nicht erkennbare Multibit-Fehler. Das ist allerdings der seltenste Fall...
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Banned
Nein, ich sprach wiederholt von „silent bitrot“. Also dass die Platte keinen Fehler bemerkt und meldet, aber trotzdem ein falsches Bit an der Theke ausgibt.
 
Donnerkind schrieb:
Nein, ich sprach wiederholt von „silent bitrot“. Also dass die Platte keinen Fehler bemerkt und meldet, aber trotzdem ein falsches Bit an der Theke ausgibt.
Du hast dann aber geantwortet auf das Zitat:
Wenn bei einem einfachen RAID irgendwo ein Sektorfehler erkannt wird, der nicht über den ECC korrigiert werden kann,
Und dazu gesagt, dass der RAID Controller die Fehlerquelle nicht kennen kann. Und in dem von dir zitierten Text ging es um erkannte Fehler. Nicht um unerkannte...
 
  • Gefällt mir
Reaktionen: Banned
herrStreusalz schrieb:
Ist so nicht ganz richtig, manchmal so manchmal anders
Kann ich so nicht bestätigen. Defekte und teildefekte HDDs waren in den 2000er und 2010er Jahren quasi mein täglicher Begleiter. Ich durfte so einige Kunden wegen ihrer ausgefallenen HDDs und verlorenen Daten trösten u. belehren (kein Backup :x) bzw. auf die teuren Datenrettungsfirmen verweisen.

Wenn ich mir dagegen SSDs anschaue (seit 2009 hab ich mit SSDs zu tun): Bisher hatte ich genau 4 defekte SSDs vor meiner Nase. Meine eigene erste Intel Postville G2 160GB SSD (Firmwareschaden nach 2 Wochen Benutzung), eine im Server langjährig laufende Crucial MX100 250GB und 2 defekte Kunden SSDs, die aber wohl so richtige Billigteile waren (glaub eine war eine Intenso Sata und die andere eine Trancent Sata).

Ein "Vorteil" bei Defekten von HDDs ist, dass diese häufig nur teildefekt sind und die Daten zu größten Teilen wiederhergestellt werden können, ohne teure Datenrettungsfirmen beautragen zu müssen. Aber selbst bei einem Totalausfall hätte man über Datenrettungsfirmen halt noch eine Chance, an die Daten ranzukommen (natürlich teuer).

Bei SSDs ist das nicht so. Wenn die ausfallen, werden sie meist im BIOS gar nicht mehr erkannt o. z.B. mit nur 8MB Größe angezeigt. Mit Softwaretools kommt man da nur noch selten an die Daten. Datenwiederherstellung wird zum Glücksspiel, auch für die Datenrettungs-Profis.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: herrStreusalz, AlphaKaninchen und eastcoast_pete
DeusoftheWired schrieb:
Jo, hatte schon überlegt, H.265 oder AV1 in #62 zu packen. Das aktuelle Wiedergabegerät kann leider noch kein AV1, obwohl es von 2022 ist. Könnte allerdings Plex auf der 918+ es dafür transkodieren lassen. Und müßte noch mal alle 60 Scheiben aus der Akte-X-BD-Box durchs Laufwerk jagen. Anhang anzeigen 1650424 Reencode von H.264-Bestandsmaterial ist natürlich möglich und ließe sich sogar verskripten, bei der Serie, die mir am Herzen liegt, würde ich aber gern das Bestmögliche rausholen.
Falls Du Transkodieren willst und Geschwindigkeit wichtig ist: v.a. die neuesten ASICs wie NVENC (jetzt glaube ich in der 9. Generation) schaffen gleich hohe Qualität in h.265 oder AV1 wie Software, bei ~ 1.2 x größeren Datei. Was meistens immer noch deutlich kleiner ist als x264. Ausnahme (bei HEVC, fast egal wie enkodiert ) sind ältere Filme bei denen man die Körnung des Filmmaterials sehr deutlich sieht. Da kann man es oft gleich in x264/h.264 belassen, denn zB HEVC "mag" sowas gar nicht, und das Enkode wird bei ähnlicher Qualität nicht viel kompakter.
 
  • Gefällt mir
Reaktionen: DeusoftheWired
qiller schrieb:
Hey, könnte ich sein (hab seit 1,5 Jahren kein Backup gemacht :freak:) Sollte mir da evtl. mal ne Festplatte für kaufen
 
@herrStreusalz
Es kommt immer drauf an, wie wertvoll du die Daten einstufst.

Persönliche Erinnerungen (z. B. Fotos) und gewisse Dokumente sind für die meisten unersetzlich, die dürfen ruhig mehrfach gesichert werden. Die Linux-ISO, die gerade der letzte Schrei ist, ist hingegen eher egal und muss nicht gesichert werden. Man kommt ja auch so recht schnell wieder an sie heran.
 
  • Gefällt mir
Reaktionen: TomH22, MalWiederIch und AlphaKaninchen
Krik schrieb:
Es kommt immer drauf an, wie wertvoll du die Daten einstufst.
Ich hab eigentlich nur wertlose Screenshots, meine Spiele (Außer Minecraft alle in Steam, in Minecraft zock ich nur Multiplayer), meine Minecraft Texture-Packs, ein Paar HTML, Python, C Dokumente und das wars mehr oder weniger
 
Donnerkind schrieb:
Aber dann muss das RAID ja wissen, wo der Fehler liegt.

Wie schon dargelegt wurde, anhand der Sektorprüfsumme. Bei ZFS hast du zusätzlich einfach noch die Blockprüfsumme auf Dateisystemebene, welche dir eine höhere Wahrscheinlichkeit gibt, dass Fehler erkannt werden. Außerdem wird durch die zusätzliche Prüfsumme der Prüfsumme noch die Möglichkeit minimiert, dass eine korrumpierte Prüfsumme zum Abgleich verwendet wird.
 
  • Gefällt mir
Reaktionen: AlphaKaninchen
eastcoast_pete schrieb:
Falls Du Transkodieren willst und Geschwindigkeit wichtig ist: v.a. die neuesten ASICs wie NVENC (jetzt glaube ich in der 9. Generation) schaffen gleich hohe Qualität in h.265 oder AV1 wie Software, bei ~ 1.2 x größeren Datei.
Also meine 4090 ist nicht mehr ganz neuste generation. Aber die sieht hinten und vorne kein land gegen Software encodes mit SVT-AV1. Viel grösser und schlechtere Qualität.
Besonders weil mein 7950x3d so viel CPU power hat das ich um die 200fps rum konvertieren kann.
Kleiner unterschied zu den 5FPS die die erste beta version von av1 damals gebracht haben.

eastcoast_pete schrieb:
sind ältere Filme bei denen man die Körnung des Filmmaterials sehr deutlich sieht. Da kann man es oft gleich in x264/h.264 belassen, denn zB HEVC "mag" sowas gar nicht, und das Enkode wird bei ähnlicher Qualität nicht viel kompakter.
Av1 hat nen speziellen Software filter. Der entfernt die Körnung, encoded das video neu und bringt die Körnung dann als Overlay wieder zurück die Software technisch berechnet wird und nicht im original video gespeichert ist.
Wie gut der wirklich funktioniert hab ich nie ausführlich getestet.
Aber die alten Bud Spencer und James Bond Filme in 520p DVD Qualität sind sowieso mies. Egal was. Kann man nicht mal mehr mit AI enhancern irgendwie verbessern ^^
 
  • Gefällt mir
Reaktionen: eastcoast_pete
  • Gefällt mir
Reaktionen: TomH22, mae und Banned
Zurück
Oben