RAID5 oder RAID-Z1 bei 3x 4TB? + weitere Fragen

[Flühlingslolle]

Hallo!

Ich werde mir einen HP ProLiant MicroServer Gen8 (G1610T) bestellen und daraus ein NAS basteln.

Ich werde 3x 4TB Platten einbauen.

Meine Daten sind nicht allzu wichtig, sind haupts. Filme/Serien/Musik/..., wirklich wichtige Dinge werden sowieso extra gebackupt!

Geschwindigkeit ist auch kein so großes Problem, da selten mehr als 2-3 Leute gleichzeitig zugreifen werden, meist nur ich vielleicht gleichzeitig von 2 Geräten oder so...

RAID 0 ist mir dennoch nicht so ganz geheuer --> 1 Festplatte kaputt, ganzes Array im Arsch. Das würde ich schon gerne verhindern.

RAID 1 / RAID 10 / RAID 6 --> würde gerne mit nur 3 Festplatten auskommen und Netto 8TB Storage haben, sind immerhin 150€ die ich mir da spaare, und wie gesagt die Daten sind nicht soo wichtig.

Da ich ja sowieso die Möglichkeit hätte ZFS zu verwenden, wegen ECC RAM, stellt sich jetzt die Frage:
RAID 5 oder RAID-Z1. (RAID-Z1 müsste ich halt wsl. zu den vorhanden 4GB noch ein 8GB Modul ECC Ram kaufen, wären ~50€)

Ich habe jetzt teils widersprüchliche Aussagen gehört.

Hier z.B., dass wenn eine Festplatte kaputt geht, und eine andere Festplatte einen unrecoverable error hat, das Array nicht wiederhergestellt werden kann. An anderen Orten habe ich gehört, dass halt nur die Datei(en), die auf dem Error liegen, nicht 100%-ig hergestellt werden können, was nicht soo ein großes Problem wäre, weil die Daten nicht so wichtig sind.
Was stimmt nun? (Die zweite Annahme, oder?)
Und werden diese unrecoverable Errors nicht mit ZFS und ECC RAM unwahrscheinlicher, durch die "Überprüfung" die sich dadurch ergibt? Oder hat das nichts direkt damit zu tun?

Habe ich neben dem Vorteil, dass RAID-Z1 weiß, welcher Speicher belegt ist und welcher nicht, und somit beim wiederherstellen eines Arrays schneller ist, noch irgendwelche Vorteile, wenn ich den NAS halt normal als NAS verwende --> viel mehr als Plex, Backupsystem und ähnliches wird darauf nicht laufen...

Eigentlich wollte ich OpenMediaVault verwenden eben mit RAID5, jetzt bin ich halt am überlegen ob es doch FreeNAS mit ZFS / RAID-Z1 wird...

Was würdet ihr mir empfehlen?

Und noch eine Frage:
Ich könnte sowohl bei RAID5 als auch RAID-Z1 eine vierte 4TB einhängen, um dann Netto 12TB Speicher zu haben, richtig? Und ich müsste nicht erst alle Dateien irgendwo anders ablagern, die vierte Festplatte würde direkt ins vorhandene Array integriert werden, oder doch nicht?

 

[IronEagle]

Du hast Raid 0 und 1 verwechselt. 0 ist striping ohne Redundanz, 1 ist Spiegelung. Eselsbrücke: Raid 0 = 0 Sicherheit.

Ansonsten Raid Z1, einfach weil es die Nutzung von ZFS impliziert, und das will man aus diversesten Gründen haben. Stichworte wären Checksumming, Fehlererkennung, Rebuildzeiten. Bitfehler bzw defekte Sektoren haben unterschiedlichste Auswirkungen. Im besten Fall ist nur eine Datei im Eimer, wenn der Fehler aber Dateisystem-Daten betrifft ist das ganze Array hinüber.

Also: Meine Empfehlung ist an der Stelle FreeNas.

Edit für dein Edit: Nein, bei ZFS kann man nicht einfach um eine Platte erweitern. Da müssen alle Daten runter und das Array neu gebaut werden. Aber auch bei nem Linus Software Raid5 will man das so machen, auch wenn es online geht. Zu hohes Risiko von Datenverlust.

 

[HominiLupus]

RAIDz wenn du die Möglichkeit dank ECC hast.

Wenn du das "RAID" einfach erweitern willst brauchst du ein (Synology) NAS oder UnRAID (kostenpflichtig) oder so was.

 

[martinallnet]

RAID-Z1 ist vergleichbar mit RAID5, nur ist ZFS wesentlich effizienter, Vorteile wurden ja bereits aufgezeigt.
Daher kann ich aus eigener Erfahrung ZFS mit FreeNAS empfehlen, dazu am besten den RAID-Controller des Microserver im BIOS auf AHCI umstellen und das RAID von FreeNAS verwalten lassen.
Mit FreeNAS machst du nichts falsch.

Ich habe sogar noch SSD-Cache in Form von L2 und ZIL hinzugefügt. Bringt gerade bei kleinen Dateien schon einen Performancegewinn, wenn man den Microserver jedoch immer ausmacht bei Nichtbenutzung wird der Cache jedes mal geleert und bietet dann keinen Mehrwert mehr.

Im übrigen ist ZFS sehr RAM-lastig, empfohlen wird pro TB Speicher 1 GB RAM. 4 GB ist Unterkante zur sinnvollen Nutzung, bei 8 GB läuft das ganze auch immer vernünftig und schnell.

 

[Flühlingslolle]

Okay -- dann wird es wohl FreeNAS mti RAID-Z1!

Ich habe irgendwo gelesen, dass die WD REDs nicht gerade Vorteilhaft bei RAID-Z1 sind, aber halt nur 1x irgendwo aufgeschnappt.

Sind da wirklich andere Festplatten evtl. besser, oder kann ich mir einfach die 4TB WD REDs bestellen?

 

[IronEagle]

Der legendäre RAM Hunger von ZFS ist übertrieben. Ja, mehr Ram schadet nicht, aber 8 GB reichen für das beschriebene Szenario wohl aus.

Die WD Red sind schon ok, ich habe mir aus Kostengründen die Intenso (Toshiba) 4TB geholt.

 

[martinallnet]

Ich nutze nur WD Reds, laufen auch problemlos.
Die sind sogar speziell für die RAID-Nutzung optimiert, daher immer eine gute Wahl.

RAID optimierte Festplatten melden bei fehlerhaften Sektoren z. B. schneller zurück, das der Sektor defekt ist und versuchen nicht ewig lang diesen zu lesen.
Der Sinn davon ist, das wenn eine Festplatte durch zu lange Leseversuche hängt, sie nicht automatisch aus dem RAID geworfen wird und als defekt markiert wird.

Ein Desktop kann durchaus mal eine Minute durch die Leseversuche hängen, bei einem RAID ist das aus genannten Gründen sehr ungünstig.

Daher mein Tipp, immer darauf ausgelegte Platten nehmen, es sind nicht einfach nur umgelabelte Desktop-Festplatten, es hat einen Sinn!

Ich habe aktuell 3x 3 TB im RAID-Z1, die Platten liefen vor einem Jahr schon etwa 2 Jahre im RAID1 + die 3. als Backup in einem Zyxel NSA325, jetzt halt alle 3 im RAID-Z1 im Microserver.
Ich habe mir dazu dann einfach eine 6 TB für das Backup gekauft, so habe ich die Nettokapazität des RAID wieder als Backup da liegen.

Im übrigen sind die 6 TB RED Festplatten merklich lauter als die 3 TB, die sind für lärmempfindliche Leute also nichts, zumindest nicht im Dauerbetrieb.

OK, z. T. erweiterbar: https://forums.freenas.org/index.php?threads/raid-z-ohne-datenverlust-mit-neuen-hdds-erweitern.3188/

ist aber auch ganz nett, wenn man Stück für Stück die Platten durch größere ersetzen kann ohne Datenverlust.

 

[acidarchangel]

Da man das Z1 nicht einfach so erweitern kann bin ich auf ein SW-RAID5 umgestiegen nachdem ich ein wenig getestet hatte. Hat auch den Vorteil, dass man das Raid im Notfall auch auf anderer Hardware wieder zum laufen bringen kann.

PS: Geschwindigkeit ist mir auch nicht so wichtig.

 

[martinallnet]

Mir war so als könnte man ZFS jederzeit erweitern, nur verkleinern geht nicht.

 

[Flühlingslolle]

acidarchangel: Kann man in den HP ProLiant MicroServer Gen8 den ohne weiteres 6 Festplatten einhängen, so wie es in deiner Signatur steht?
Ich mein, hat man noch extra SATA-Ports am Mainboard (oder andere Alternativen), dass man das machen kann? (Das man nur 4 Einschübe hat weiß ich, deswegen frage ich ja...)

 

[martinallnet]

Insgesamt 5 Ports, ich habe für die 2 kleinen SSDs einen PCI-e SATA Controller eingebaut.
So sind die SSDs auch mit vollen 6 Gbit angebunden, ansonsten hat man 2 Bays 6 Gbit, 2 Bays 3 Gbit und intern einen SATA mit 3 Gbit.
Der im Gehäuse direkt auf dem Board befindliche USB3-Anschluss (ein richtiger) ist übrigens sehr nützlich für den Stick mit dem FreeNAS-System.

Die SSDs habe ich einfach in den Laufwerksschacht platziert, da ich kein Slimline-Laufwerk benötige.

Achtung: Das Netzteil hat nur noch einen Floppy-Stromanschluss frei, ich habe für die SSDs einen Adapter auf SATA und ein Y-Kabel gebraucht.
2 Festplatten würde ich da aber nicht ranhängen, SSDs gehen vom Strombedarf aber noch.

Aber bei 2 Festplatten wirds im Gehäuse dann aber auch wirklich eng.

 

[IronEagle]

RaidZ1 bzw die redundanten ZFS Modi allgemein sind auch immer "Softwareraid" und sind nicht von speziellen Controllern oder Mainboards abhängig.

Und nochmal zu Online Erweiterungen: bei Raid 5 oder Raid 6 müssen alle Parity-Informationen neu berechnet werden. Dazu müssen alle Platten komplett ausgelesen werden, und das dauert bei so großen Platten ewig. In der Zeit darf kein crash, kein Stromausfall und kein Lesefehler passieren. Ja, es hiess die Daten sind nicht wichtig. Aber sind sie auch so wichtig das sie auch komplett weg sein dürfen? Raid ersetzt kein Backup, und bei nem online resize sollte man ein Backup haben.

Noch ein wichtiges ZFS Feature was noch nicht erwähnt wurde ist übrigens scrubbing. Dabei werden alle Daten auf Fehler überprüft, und man findet Defekte oft weit vor Smart-Meldungen...

 

[martinallnet]

Ein paar Bilder meiner Bastelei.

 

[Flühlingslolle]

martinallnet: Dürfte ich wissen wofür du die kleinen SSDs am ProLiant verwendest und warum du die 6Gbit brauchst? Du verwendest das Gerät nicht _rein_ als NAS, oder?

​Für mich, in meinem Fall so wie ich das beschrieben habe, ist das ganze nicht wirklich relevant, oder?

Und könnt ihr mir noch irgendeinen USB Stick empfehlen, so dumm das jetzt klingt?
Bzw. ich habe irgendwo gelesen das man auch SD-Karten verwenden kann, also wirklich ein Slot dafür verfügbar ist?! Weil SD Karten habe ich noch rumliegen, USB Sticks nicht, sind bei mir grad Mangelware...

 

[martinallnet]

Da laufen auch VMs und Jails drauf, die profitieren massiv vom Cache.
Um die 100 GB Lesecache im RAID0 sind schon eine Hausnummer. Der Schreibcache ist RAID1, ich habe also je 2 Partitionen, für beide SSDs identisch angelegt und diese in die entsprechenden RAID-Verbunde gepackt.
Lese-Cache ist auf Performance getrimmt, da richtet ein Datenverlust keinen Schaden an, Schreibcache Redundant.

 

[Flühlingslolle]

Rein Interessehalber, ich werde vorerst soetwas sicher nicht realisieren, ich bin mal froh wenn ich meine FreeNAS irgendwie zum laufen bringe ^^: Was genau machst du mit den VMs / Jails?

Hoffe die Frage ist dir nicht zu blöd. Und danke auf jeden Fall an euch alle für die schnelle Hilfe und Auskunft!

 

[martinallnet]

In Jails laufen Services wie z. B. Plex, gibt es fertig über FreeNAS zum herunterladen.
So eine Art virtuelle Maschine, teilen sich aber die Ressourcen mit dem Host, haben lediglich ein eigenes virtuelles Netzwerkinterface.

Vorteil der Lösung ist z. B. das man eine Jail die verbastelt ist einfach neu anlegen kann und man hat nicht das gesamte FreeNAS beschädigt.

Virtuelle Maschinen muss ich aber nicht erklären, oder?
Ansonsten Google bemühen.

 

[Flühlingslolle]

Neinein, die Antwort war perfekt!

 

[Holt]

Und werden diese unrecoverable Errors nicht mit ZFS und ECC RAM unwahrscheinlicher, durch die "Überprüfung" die sich dadurch ergibt? Oder hat das nichts direkt damit zu tun?

Das hat damit nichts zu tun, es geht alleine um die Fehler der Platten selbst und die haben eben laut den Datenblättern bis zu einem Fehler je 10^14 oder 10^15 gelesener Bits, also etwa 12TB bzw. 120TB gelesener Daten. Damit solche Probleme unwahrscheinlicher werden, macht man beim RAID ein Scrubbing, OMV stellt es auf einmal im Monat ein und mehr ist wegen dem Workload Rating auch nicht sinnvoll, aber trotzdem besteht ein Risiko beim Rebuild wenn so einen Fehler auftritt. Die theoretisch Wahrscheinlichkeit ist bei einer HDD mit einer UBER von 1:10^14 bei 3 HDDs je 4TB im RAID5 eben 44% und für HDDs mit einer UBER von 1:10^15 (wie z.B. die aktuellen Seagate NAS und alle Seagate Enterprise NAS) 93%, die UBER macht also viel aus.

Was würdet ihr mir empfehlen?

Entscheide danach ob Du ein OS auf Linux Basis wie OMV willst oder eben eines auf Basis von FreeBSD, wie FreeNAS oder NAS4Free.

Und noch eine Frage:
Ich könnte sowohl bei RAID5 als auch RAID-Z1 eine vierte 4TB einhängen, um dann Netto 12TB Speicher zu haben, richtig? Und ich müsste nicht erst alle Dateien irgendwo anders ablagern, die vierte Festplatte würde direkt ins vorhandene Array integriert werden, oder doch nicht?

Nein, beim Linux-SW-md-RAID geht das, dort kann man weitere Platten direkt in das RAID integrieren und danach ist es als wäre das RAID gleich mit allen Platten gebaut worden, bei ZFS geht das nicht. Dort werden zusätzliche Platten wie bei einem JBOD (BIG) angeklebt, haben dann aber eben nicht die Ausfallsicherheit wie die alten Platten des Pools. Da muss man der Pool Auflösung und neu anlegen, was mit totaler Datenverlust verbunden ist, wenn man später eine weitere Platte wirklich vollständig in den Pool integriert haben möchte. Was geht ist in beiden Fälle die HDDs durch größer zu ersetzen, also eine nach der anderen und dann ein Rebuild und am Ende die Größe auf die Größe der neuen HDDs anpassen.

 

[acidarchangel]

Kann man in den HP ProLiant MicroServer Gen8 den ohne weiteres 6 Festplatten einhängen, so wie es in deiner Signatur steht?
Ich mein, hat man noch extra SATA-Ports am Mainboard (oder andere Alternativen), dass man das machen kann? (Das man nur 4 Einschübe hat weiß ich, deswegen frage ich ja...)

Der Server hat 4 Bays mit SATA Anschlüssen für 3,5" HDDs und einen SATA onboard, an dem bei mir eine SSD hängt. Dazu habe ich einen HP Smart Array P410/256MB als RAID Controller drin und dadurch die Möglichkeit weitere 8 HDDs anzuschließen. Habe die entsprechenden Kabel durch das Gehäuse raus gelegt und an eine Backplane angeschlossen. Aktuell hängen 8 HDDs und eine SSD an dem Server (die Signatur ist nicht aktuell, danke für den Hinweis ).