Welche RAID Controller kennst Du denn? Also selbst
auf der Zeichnung des RAM Riegel in dieser alten Anleitung von HP RAID Controllern sind 9 RAM Chip auf dem Riegel zu sehen, da hat sich nicht einmal der Zeichner das ECC RAM gespart.
Filesysteme mit Prüfsummen die daraufhin die Daten auch korrigieren ohne ECC RAM zu verwenden ist höchster Blödsinn, denn bei einem normalen SW-RAID wie dem md RAID wird das RAID normalerweise die Parity Daten nicht mitlesen, also auch keine Bitefehler im RAM erkennen, die Daten sind dann falsch aber ohne ECC RAM risikiert man das eben immer. Bei Scrubbing werden bei RAM Fehlern dann die Parity Daten angepasst, so dass sie zu den wegen RAM Fehlern verfläschten Daten passen, was aber solange kein Problem ist, wie eben die Parity Daten nicht gebraucht werden, weil noch alle Datenplatte die Daten liefern und die Paritiy also nicht einmal gelesen wird. Beim nächsten Scrubbing trifft es vermutlich einen anderen Block (Stripe) und die durch den letzten Lesefehler verfälschten Paritydaten werden wieder auf korrekte Paritydatren zurückkorrigiert. Erst wenn eine Platte einen Lesefehler in dem Bereich hat wo auch beim letzten Scrubbing ein RAM Fehler zugeschlagen hat, werden als bei der Rekontruktion dann die originalen Daten (Dateien) verfälscht, sonst nicht!
Die Filesysteme mit Prüfsummen und Botfehlerkorrekur wie ZFS gehen aber anders vor, die unterstellen das ihre Prüsumme stimmt, nur wenn diese aber wegen eines RAM Fehler eben im RAM anders steht als sie von der Platte gelesen wurde, werden dann die Dateien entsprechend kaputt korrigiert und das nicht nur beim Scrubbing, sondern bei jedem Lesen, weil bei jedem Lesen auch immer die Prüfsummen mitgelesen und die Daten geprüft und ggf. eben korrigiert werden. Daher frisst sich dort Datenkorruption wie ein Krebs durch die Daten und das kannst Du in nicht wenigen Berichten betroffener User die dann erst danach auf ECC RAM (und die pasende Plattform, die gehört immer dazu) gesetzt haben.
Die Datenübertragung über SATA ist immer über eine CRC32 pro FIS (kann maximal 8192 Byte Nutzdaten enthalten) gesichert, was so ungefähr eine unerkannte Fehlerrate von 1:10^40 bedeutet, wenn also 10^40 FIS mit Bitfehlern übertragen werden, könnte einer mal unerkannt durchrutschen und wie viele Daten das bei bis zu 8192 Bytes sind, rechnest Du mal selbst aus, es sind jedenfalls sehr, sehr viele.
Genau wie SATA verwendet auch PCIe in den höhren Layern des Protokolls CRC Prüfsummen, der Data Link Layer hat z.B. für jedes TLP (Transaction Layer Packets) ebenfalls eine CRC32. Generell wird ja selbst bei Consumer-HW immer dort eine Sicherung eingebaut wo die Fehlerwahrscheinlichkeit besonders hoch ist und dazu gehören eben alle Arten von Datenübertragungen, zuletzt wurde nun sogar bei DDR4 wenigstens die Übertragung der Daten entsprechend gesichert. Offenbar gab es da eben so oft Bitfehler, dass es unvermeidbar war dies nun einzuführen, leider hat man nicht gleich ECC RAM für DDR4 obligatorisch gemacht, aber ich wette das wird auch nich irgendwann kommen, wenn die Strukturbreiten der RAM Chips weiter fallen. Bei NAND Flash steigt ja damit der Aufwand für die interne ECC des Controller immer weiter an, ich kann mir also nicht vorstellen, dass es bei den RAMs da nicht irgrendwann an einen Punkt kommt, wo so wenige Elektronen für ein gespeichert werden, dass die Fehler eben einfach steigt weil kleinste Abweichnung der Elektronenanzahl schon zu einer anderen Interpretation des Ladungszustand der Zelle führt.
Bzgl. konkreter Vorschläge für die HW hatte ich doch schon in #18 auf
diesen Beitrag in einem anderen Thread verwiesen. Für genauere Vorschläge müsste man mehr Details wie vor allem die geplante Gesamtkapazität kennen.
Mein N54L Nachfolger könnte z.B. so aussehen:
SilverStone DS380, Mini-ITX (SST-DS380B) ab € 162,90
SilverStone Strider Series 300W SFX12V (SST-ST30SF) ab € 49,15
ASRock C2550D4I ab € 289,38 (12 SATA Ports) oder
ASRock C2750D4I (12 SATA Ports) und
2x8GB DDR3 Unbuffered ECC RAM ab 100€
Vielleicht aber auch gleich
ein Xeon-D Board, also das
Supermicro X10SDV-4C-TLN2F retail (MBD-X10SDV-4C-TLN2F-O) ab € 521,69, das hat auch gleich noch 2x 10GBase Ethernet und einen 4 Core Broadwell mit 2,2GHz (Turbo bis 2,6GHz), da wird es schon schwer einen Skylake E3 mit Board für das Geld zu finden. Dazu dann zwei
8GB Unbuffered DDR4 8GB Riegel ab 52€/St. , also 104€ oder
DDR4 reg. ECC RAM, welches ähnlich viel kostet, damit damit kann man mehr RAM realisieren.
Dann noch beim Xeon-D eine
Digitus DS-30104-1 mit 4 SATA Ports ab € 43,29 oder einen richtigen SAS HBA und natürlich die HDDs. vermutlich würde ich im Moment zu den
Seagate Surveillance HDD 7200rpm 8TB, SATA 6Gb/s (ST8000VX0002) ab € 335,55 greifen, die haben
laut Datenblatt eine UBER von 1:10^15 (nur die 8TB!), RV Sensoren für 8+ HDDs in einem Gehäuse, 24/7 Zulassung, 180TB Workload-Rating, 1,8A Anlaufstrom und sind mit unter 42€/TB nicht wirklich teuer. 8 im RAID 5 wären dann 56TB netto, bei einer 1:10^15er UBER durchaus noch vertretbar, sonst macht man halt ein RAID 6 und hat 48TB.
Das wäre dann mit dem Gehäuse, Netzteil und dem C2750D4I und 16GB RAM zusammen €601,43.
Nimmt man das Xeon-D 1520 und die Digitus, wäre man bei 881,03€, hätte ECC RAM, auch 8 Bays, zwei 10Gb Ethernet Ports, 4 schnelle Broadwell Kerne +HT und könnte wenn mehr CPU Power gefragt ist auch das
Supermicro X10SDV-TLN4F retail (MBD-X10SDV-TLN4F-O) ab € 1047,71 mit 8 Kernen mit 2GHz (ebenfalls 2,6GHz Turbo und ebenfalls 45W TDP) nehmen und wäre dann mit 1407,05€ noch knapp 1000€ unter der
Qnap Turbo Station TVS-871T-i5-16G mit 8 Bays, einem
i5 4590S (3GHz Grund-, 3,7Ghz Turbotakt und 65W TDP) und 16GB RAM ohne ECC.
Rechnet man dann aber noch die 2684,40€ für 8 HDDs drauf, komme ich beim Atom auf 3285,83€ für 48TB bei RAID 6 bzw. 56TB bei RAID 5, also auf 58,68€/TB bzw. 68,45€/TB und wenn es der Xeon-D 1520 Vierkerner und 10 Gbit Ethernet wird, dann sind es 3565,43€, also 63,67€/TB bzw. 74,28€/TB. Mit dem dicken 8 Kern Xeon-D 1540 8 Kerner wäre es zusammen 4091,45€ und damit 73,06€/TB bzw. 85,24€/TB. Damit kommt man bei der Luxusversion mit RAID 6 und 8 Kerner am Ende auf den doppelten Preis der HDDs pro TB und ist das Backup ist da noch nicht mit drin.
QNAP gibt für das TVS-871T von den 8TB HDDs nur die
ST8000NM0055 Seagate Enterprise Capacity ab € 468,99 und die
ST8000NE0001 Seagate Enterprise NAS ab € 411,19 sowie die noch teureren HGST 8TB frei. Sind noch bessere Platten als die Surveillance, aber zusammen mit den
€ 2351,48 für die Qnap Turbo Station TVS-871T-i5-16G sind es mit der Enterprise NAS dann immerhin 5641€, also 100,73€/TB bei RAID 5 und 56TB Nutzkapazität bzw. 117,52€/TB bei RAID 5 und 48TB Nutzkapazität und das für ein Storage ohne ECC RAM.