Konfiguration von Storage NAS

[Olli2k]

Hallo,

ich möchte mein altes NAS in Rente schicken und ein komplett neues aufbauen. Die aktuelle Kapazität von 16 TB reicht vorne und hinten nicht mehr. AUch nutze ich momentan nur einen Onboard SATA Kontroller.

Primäre Basis des neuen NAS soll ein NAS mit 3HE (passives oder semipassives Netzteil) und 16 Hotswap 3,5 Zoll Schächten sein.
Hier habe ich zunächst an dieses hier gedacht:
http://geizhals.de/inter-tech-3u-3316l-a790246.html

An diesem Punkt komme ich dann zu meiner ersten Frage: Welcher Formfaktor ist ein 3HE Server Netzteil? SFX? SFX-L?

Nun kommen wir zum wichtigsten Teil, dem Raid Controller.. Ursprünglich habe ich da an einen LSI Megaraid 9260 16i bzw. 2 mal den 9260 8i gedacht(um einiges günstiger), allerdings habe ich mittlerweile hier einiges gelesen und bin mir bei dieser Wahl überhaupt nicht mehr sicher. Aufgrund von verschiedenen Ausführungen des Cache, sollen hier Adaptec Modelle wohl besser sein. Irgendwelche Empfehlungen?
Ursprünglich habe ich an ein Raid 5 gedacht. Mit dem Controller sollte es also möglich sein, immer mal wieder eine neue Festplatte einzubinden, ohne das ganze Array neu aufsetzen zu müssen. Auch hier habe ich viele widersprüchle Informationen gelsen. Generell sollte das aber möglich sein, oder?

Festplatten:
Ich möchte das Teil modular aufbauen und bei Bedarf immer mal wieder 1 oder 2 Festplatten nachschieben. Grundlage sollen 6TB Festplatten sein.
Meine Wahl ist auf dieses Modell gefallen: http://geizhals.de/western-digital-wd-red-6tb-wd60efrx-a1143813.html?hloc=at&hloc=de
Ist die Serie in Ordnung, oder sind andere Modelle weitaus mehr zu empfehlen?

Und nun zu meiner letzten Frage, wenn ich einen entsprechenden Kontroller betreibe, gibt es dadurch Mindestanforderungen an CPU/Board und RAM? Aktuell ist das System auf ein leises Betriebsgeräusch ausgerichtet und auf möglichst wenig Energieverbrauch. Moemtane CPU: i3 2100T (2,5 Ghz) und 16GB RAM.
Hauptanwendungsbereich des NAS ist es Mediendaten im Netzwerk zur Verfügung zu stellen, Backup Speicher zu liefern und das TV Signal im Netzwerk zur Verfügung zu stellen.

Vielen Dank schon mal für Anregungen und Tipps.

 

[Fischje]

Mich würden noch ein paar Dinge interessieren, bevor es mit der Beratung losgeht:

Wenn dir mehr als 16 TB Speicher bereits nicht mehr ausreichen, warum dann noch immer teure HW-Raid-Controller die nichts gegen Data-Rot tun kaufen?

Welches OS soll denn laufen? (Wegen des Dateisystems)
Wird das System als Datenspeicher für Hostsysteme genutzt?

WD Red ist in Ordnung, aber wenn du mehr als 8 Platten gehst dann bitte die Pro-Reihe. Grundsätzlich kannste dir aber auch mal HGST angucken. Ich mische verschiedene Anbieter.

Muss es 3 HE sein? Gibts nicht viel mehr 4 HE Gehäuse?

 

[Masamune2]

Ist dir die Bit Error Rate Problematik bei so großen Raid 5 Volumes bekannt und bewusst? Ich würde bei den Ausmaßen eher auf Raid 6 schielen um die Integrität des Raids bzw. der Daten nicht zu gefährden.
https://www.high-rely.com/blog/why-raid-5-stops-working-in-2009-not/

 

[KillerCow]

Moin

Ich hab die 4HE Variante von dem von dir genannten Gehäuse. An sich erstmal nicht verkehrt. Allerdings scheinen die verbauten Backplanes kein staggered spinup zu unterstützen. Das solltest du ggf. beim Hersteller nochmal gezielt erfragen (vielleicht sind da mittlerweile neuere/bessere Backplanes verbaut) bzw. das bei der Anschaffung des Netzteils berücksichtigen.

In ein 3HE Gehäuse kann ein normales ATX Netzteil reinpassen, wenn das vom Hersteller vorgesehen ist. Bei dem von dir gewählten Gehäuse sieht das aber nicht so aus (siehe inter-tech webseite). Hier also ggf. auch nochmal nachfragen.

Bei einem Raid mit Redudanz (also Raid 5, Raid 6 etc) kommst du um ein Rebuild nicht herum, wenn du eine Platte dazuhängen willst. Bessere Controller können das zwar on-the-fly, aber schön ist es trotzdem nicht.

WD Red habe ich auch in Betrieb und bin zufrieden. Sicherlich wirst du auch Leute finden, die die Dinger garnicht leiden können... ist halt wie immer ein Glaubenskrieg. Ich kann nur sagen, sie sind leise, sparsam und werden nicht dolle warm. BEdenke aber, dass die "normalen" Red von WD nur für Arrays mit 8 oder 12 Platten freigegeben sind, soweit ich weiß. Erst die Red Pro sind für größere Arrays konzipiert (wird mit der erhöhten Vibration in einem solch großen Array begründet und ist sicherlich auch nicht völlig von der Hand zu weisen).

Wenn du wirklich ein Raid5/6 betreiben willst und das dann auch noch perfomant bleiben soll, sollte der Controller, sofern du auf Hardware Raid setzt, auf jeden Fall genug Speicher als Cache haben.

PS: Denk eventuell mal drüber nach, kleinere Arrays aufzubauen und die dann über einem logical volume manager zu benutzen. So kannst du relativ einfach neue Platten dazupacken, ohne das ganze Array neu aufbauen zu müssen.

 

[d4nY]

Hast du schon mal an Software-Raid bzw. die neueren Dateisystem, die alles in einem sind, gedacht? Also z.B. ZFS, BtrFS, StorageSpaces

Denn dann könntest du statt den doch sehr teuren RAID-Controllern nen relativ günstigen SAS-HBA nutzen (z.B. den IBM ServeRaid M1015 auf nen LSI 9211 geflasht). Dann nen Core i3 oder nen kleinen Xeon und ECC-RAM (ich halte mich einfach mal an die Empfehlung von FreeNAS, ob sinnvoll oder nicht muss jeder selbst entscheiden)

Vor allem bei so großen Kapazitäten finde ich die Vorteile von ZFS und co schon interessant und bedenkenswert.
Auch das nachsetzen von Festplatten wäre möglich, bei ZFS gibts da aber ein paar Dinge zu beachten:
Du kannst jede Festplatte durch eine größere ersetzen, sobald die letzte ersetzt wurde, steht dem pool der Speicher zur Verfügung
Du kannst deinem pool jederzeit neue vdev's hinzufügen, allerdings die vdev's später nicht mehr ändern.

Falls du Interesse daran hast, kann ich gerne noch ausführlicher beschreiben :-D

Zum den HDDs: Offiziell sieht WD die normalen RED nur für Systeme vor, die weniger als 5 Platten besitzen (wegen Vibration und co). Die RED Pro sind für 6-16 Laufwerke vorgesehen. Ob da was dran ist, weiß ich ehrlich gesagt nicht

E: @KillerCow: Tatsache, zu Beginn waren es noch 5 Platten (ich hab nämlich 6 davon im Einsatz und es gibt keine Probleme...zumindest keine, die mit der Anzahl in Zusammenhang steht)

 

[KillerCow]

Hab eben nochmal nachgeschaut. Die WD Red (ohne Pro) sind für Systeme mit bis zu 8 Laufwerken freigegeben. Sollen es bis zu 16 werden, ist die Pro Reihe "empfohlen".

 

[Masamune2]

Die Pro Platten gibt es allerdings noch nicht mit 6TB, fallen hier also eh raus.

 

[Fischje]

sind bestimmt 4 platter - da wirds schwieriger mit den schwingungen und der synchronisation....

aber nur ne vermutung...

 

[Olli2k]

Mich würden noch ein paar Dinge interessieren, bevor es mit der Beratung losgeht:

Wenn dir mehr als 16 TB Speicher bereits nicht mehr ausreichen, warum dann noch immer teure HW-Raid-Controller die nichts gegen Data-Rot tun kaufen?

Welches OS soll denn laufen? (Wegen des Dateisystems)
Wird das System als Datenspeicher für Hostsysteme genutzt?

WD Red ist in Ordnung, aber wenn du mehr als 8 Platten gehst dann bitte die Pro-Reihe. Grundsätzlich kannste dir aber auch mal HGST angucken. Ich mische verschiedene Anbieter.

Muss es 3 HE sein? Gibts nicht viel mehr 4 HE Gehäuse?

Als OS muss leider Windows laufen, weil ich keine Alternative für die DVB Viewer Recording Services habe, mit dem ich das TV Signal und auch meine Sky Smartcard im LAN zur Verfügung stelle. 3 HE sollten es sein, weil ich das Ding durch eine Wartungsluke in der Wand einlassen werde (frische Luft ist ausreichend vorhanden).
Wird das System als Datenspeicher für Hostsysteme genutzt? >> Nein.

Ist dir die Bit Error Rate Problematik bei so großen Raid 5 Volumes bekannt und bewusst? Ich würde bei den Ausmaßen eher auf Raid 6 schielen um die Integrität des Raids bzw. der Daten nicht zu gefährden.
https://www.high-rely.com/blog/why-raid-5-stops-working-in-2009-not/

Nein, diese Problematik war mir bisher nicht bewusst, aber das sollte ich ja umgehen, wenn ich mehrere Arrays mit weniger Platten mache, oder? Da man offensichtlich ein grpßes Array nicht einfach mit weiteren Platten erweitern kann, ist das wohl die beste Alternative für mich.

Hast du schon mal an Software-Raid bzw. die neueren Dateisystem, die alles in einem sind, gedacht? Also z.B. ZFS, BtrFS, StorageSpaces

Denn dann könntest du statt den doch sehr teuren RAID-Controllern nen relativ günstigen SAS-HBA nutzen (z.B. den IBM ServeRaid M1015 auf nen LSI 9211 geflasht). Dann nen Core i3 oder nen kleinen Xeon und ECC-RAM (ich halte mich einfach mal an die Empfehlung von FreeNAS, ob sinnvoll oder nicht muss jeder selbst entscheiden)

Vor allem bei so großen Kapazitäten finde ich die Vorteile von ZFS und co schon interessant und bedenkenswert.
Auch das nachsetzen von Festplatten wäre möglich, bei ZFS gibts da aber ein paar Dinge zu beachten:
Du kannst jede Festplatte durch eine größere ersetzen, sobald die letzte ersetzt wurde, steht dem pool der Speicher zur Verfügung
Du kannst deinem pool jederzeit neue vdev's hinzufügen, allerdings die vdev's später nicht mehr ändern.

Falls du Interesse daran hast, kann ich gerne noch ausführlicher beschreiben :-D

Zum den HDDs: Offiziell sieht WD die normalen RED nur für Systeme vor, die weniger als 5 Platten besitzen (wegen Vibration und co). Die RED Pro sind für 6-16 Laufwerke vorgesehen. Ob da was dran ist, weiß ich ehrlich gesagt nicht

E: @KillerCow: Tatsache, zu Beginn waren es noch 5 Platten (ich hab nämlich 6 davon im Einsatz und es gibt keine Probleme...zumindest keine, die mit der Anzahl in Zusammenhang steht)

Öhm ja, dass sagt mir jetzt erstmal so gut wie nichts. Aber da ich an WIndows gebunden bin, fallen die alternativen Dateisysteme jawohl schon automatisch weg.


Schon mal vielen Dank für die ganzen Anregungen. Bei den Platten habe ich jawohl die richtige Wahl getroffen, auch wenn es denn wohl besser die Pro Variante werden sollte, da im Endeffekt ja 16 Platten im Gehäuse stecken werden.

Ach ja, was ist: staggered spinup? Wäre das ein Grund ein anderes Gehäuse zu nehmen? Und in das gewählte Gehäuse passt kein ATX Netzteil. Auf der Webseite wird nur 3HE Server Netzteil angegeben, sonst nichts.

Und zum guten Schluss, ist der von mir gewählte Controller in Ordnung? Oder lieber eine Adaptec Alternative?

Nochmals vielen Dank für den ganzen Input.

 

[Fischje]

staggered spinup: verzögert den start der festplatten in reihenfolge, weil der anlauf am meisten energie braucht und man so etwas weniger starke netzteile nutzen kann. man versucht halt energiespitzen zu vermeiden.

nein, raid schützt garnicht gegen data rot. im gegenteil. je mehr festplatten desto höher die wahrscheinlichkeit für bit-/data-rot.

windows kannste ja nutzen, die frage ist ob das 16 TB storage dann nicht entweder unter zfs abgebildet und ne virtuelle platte an die windows vm durchgereicht werden sollte oder ob du nicht mit sowas wie snapraid und greyhole besser zurecht kommst, denn bei 16 tb+ daten brauchste auch ordentlich ecc-ram. ohne gehts zwar auch aber dann wirds schon heftig, je nachdem was du noch nutzen möchtest.

btw. die grauzone sky-smartcard funktioniert tadellos unter linux. da kommts auch eigentlich her. dvblink wird glaube ich dazu mit headend erweitert. das nutze ich aber z.b. alles garnicht....

 

[d4nY]

Hmm ok, bei Windows gäbs dann noch Storage Spaces oder ReFS...ist aber beides noch relativ neu (und Storage Spaces braucht meiner Erfahrung nach unbedingt ne SSD, sonst ist es ziemlich langsam) und braucht ein Server-OS (zumindest die Spaces)

Es wäre möglich trotzdem ZFS zu nutzen, allerdings mit mehr oder weniger großem Aufwand (Virtualisierung)

Stimme KillerCow zu, dass kleine Verbünde sinnvoller sind. Dann kannst du mit z.B. 6 x 6 TB im RAID-6 anfangen und dann wieder 6 x 6 TB anhängen usw. Dann kannst du jeden Verbund einzeln an Windows durchreichen und entweder zu nem Stripe (Daten werden auf die Volumes aufgeteilt) oder nem übergreifenden Volume zusammenfügen. Auch wenn meine Erfahrungen mit dynamischen Datenträgern eher negativ waren =/

 

[Masamune2]

Wie wichtig ist denn die Schreibperformance? Unter Windows kannst du natürlich noch Storage Spaces mit ReFS als Dateisystem nutzen. Das bildet Hash Werte für die Daten und Metadaten und erkennt somit Bitrot. Bei 16 Platten geht auch Dual Parity, also Raid 6.

Nachteile sind die geringe Schreibperformance (wenn man nicht noch 2 (bei Single Parity) oder 3 (bei Dual Parity) SSDs als Cache mit einbaut) und die Tatsache, dass bei Dual Parity drei Platten verloren gehen statt zwei.

 

[Holt]

Erstmal: RAIDs ersetzen keine Backups!

Dann sollten wir bevor wir überhaupt über data rot reden, erstmal über ECC RAM reden, denn dort lauert die größte Gefahr für Silent-Data-Corruption und ja, RAID schützen dagegen, wenn man das Scrubbing nicht vergisst, denn dabei werden die Daten gelesen und die Wahrscheinlichkeit eines unerkannten Bitfehlers ist noch einmal ungleich geringer als die eines unkorrigierbaren Bitfehlers. Letztere werden dann von der Platte mit einem Lesefehler quittiert und führen zu einem schwebenden Sektor, den das RAID dann durch die Wiederherstellung mit der Paritiy und Überschreiben des fehlerhaften Sektore korrigieren kann, was ggf. zu einem Wiederzuweisungsereignis bei der Platte führt. Dann wird also ein physikalisch defekter Sektor durch einen Reservesektor ersetzt, demm die Controller merken sich die schwebenden Sektoren und prüfen die Daten nach dem erneuten Schreiben auf diese Sektoren, dann verschwinden diese einfach oder werden eben durch Reservesektoren ersetzt.

Schwebende Sektoren sind einfach Sektoren deren Daten nicht mehr zur ECC passen, da gibt es also eine Lesefehler wenn man versucht diese zu lesen. Das kann auch anderen Gründe als defekte Oberflächen haben, z.B. einen Stromausfall während eines Schreibvorgang der dazu führt, dass eben nicht die ganze Daten plus der neuen ECC geschrieben wurden oder wegen eines Stoßes oder Vibrationen ist der Kopf beim Schreiben aus der Spur gekommen und hat Daten auf der Nachbarspur überschrieben.

So einfach werden also die Daten auf einem RAID nicht korrupt, wobei bei Cosumer Platten (egal ob SSD oder HDD) aber i.d.R. eine Schutz der internen Datenpfade vor Datenkorruption fehlt, wenn da also z.B. im Cache RAM ein Bit kippt, egal ob aufgrund eines soft- oder hard errors, dann merken die das meist nicht. Einige haben aber z.B. schon wenigstens eine Erkennung, so haben z.B. einige Seagate Consumer HDDs wie die ST3000DM001 das S.M.A.R.T. Attribut B8 Ende-zu-Ende Fehler. Die WD Red hat es meines Wissen nicht.

Bevor man sich also über tolle Serverfilesysteme mit Fehlererkennung und -korrektur Gedanken macht, sollte man wenigstens ECC RAM nutzen und am Besten auch Enterprise Platten mit vor Bitfehlern geschützten internen Datenpfaden.