Entscheidungshilfe ZFS RAIDZ2 oder doch nicht?

[Engelsen]

Moin zusammen,

ich bin zurzeit dabei meinen "alten" Proxmox-Server zu einem neuen zu migrieren.

Dabei ist mir in den Sinn gekommen, dass ich mein Synology 1517+ aufgeben könnte und die 5x6TB (SHR2 auf der Syno) in den neuen Server integriere.

Mein erster Gedanke war TrueNAS zu virtualisieren und die Platten über einen HBA Controller entsprechend weiterzureichen.

Da ich neben den VMs und LXC Container aber lediglich einen Fileserver mit NFS und Samba brauche, bin ich von dem Gedanken wieder abgerückt und werde in Zukunft einen LXC Container mit Cockpit aufsetzen, welcher diverse Mountpoints bekommen soll.

Jetzt stehe ich noch vor der Frage, wie ich die 5 Platten am besten anbiete.

Ich habe mittlerweile viel gelesen und tendiere wohl zu einem RAIDZ2, damit ich, wie beim Synology, 2 Platten als Ausfallsicherheit habe.

Ich hab auch schon von einem Striped Mirror gelesen, was mich wohl effektiv auf 12TB bringt und ich dann eine Platte rumfliegen hätte, die ich dann evtl. noch als weiteren Backup-Storage nutzen kann (ist vielleicht etwas over the top).

Über Backups brauchen wir nämlich nicht sprechen, da diese auf ein separates USB Laufwerk und einen Cloudspeicher gefahren werden.

Nun meine Frage: Spricht etwas gegen RAIDZ2 ? Oder gibt es bessere Vorschläge?

Bisher ist nur der PVE Server mit i5 10500, 32GB RAM (non ECC) und der Sys-Platte (256GB NVME als Mirror) gesetzt.

Vielen Dank für Tipps und Ideen

 

[Dig.Minimalist]

Wie wichtig is der Speed des HDD pools vs. Redundanz?

Speed: striped mirror
Redundanz: RAIDZ2

Ich habe mich mit meinen 4 HDDs für striped mirror entschieden

 

[Engelsen]

Danke für das Feedback.
Mir reicht es vollkommen, wenn ich mit meinen Gbit Leitungen 50-70 MB/s habe ...
solange ich hier im Haus noch nicht auf 2,5 Gbit umgestiegen bin, lebe ich erstmal damit ...

Also kann die Entscheidung tatsächlich so einfach sein?

 

[sandreas]

Ich halte RAIDZ(2) in den meisten Fällen für den falschen Weg. Ich bevorzuge den Kauf von 2 größeren Platten im Mirror.

Um die Platten anzubieten kannst du entweder Samba auf dem Host installieren (fühlte sich für mich irgendwie falsch an), TrueNAS virtualisieren oder einen bind-mount im LXC freigeben.

Ich habs bei mir so gemacht (weil ich nur EINE NVMe nutze), dass ich ein Verzeichnis "shared" an den LXC-Container mit Docker weiterreiche und dann die Samba-Freigabe über einen Docker-Container mache (https://github.com/crazy-max/docker-samba). Das funktioniert recht zuverlässig und reicht für meine Performance-Bedürfnisse aus. Außerdem kann ich (theoretisch) den gesamten Platz zwischen Host und Containern teilen.

 

[Bohnenhans]

Nun ZFS ist aktuell denke ich eines der sichersten Filesysteme - es gab ja vor kurzem einen Fehelr der in seltenen bestimmten Fällen kritisch war, der wurde aber dann recht schnell angegangen.

Seit es OpenZFS gibt also Linux und FreeBSD eine Codebasis haben ist auch die Entwicklung sehr aktiv- die war unter FreeBSD schon gut aber ist jetzt duch die grosse Linux Entwicklerschar halt noch besser geworden.

Ich würde nicht mehr auf das Chercksummenfeature verzichten wenn ich nicht muss - erst das macht dann ein RAID auch sinnvoll. Auch dass Checksummen bei jedem Zugriff überprüft werden finde ich praktisch.

Denn eigentlich noch wichtiger als die Dateien zu haben ist natürlich zu wissen dass sie korrekt sind - sonst schaut man sich die irgendwann an und merkt die Datei ist zwar "da" aber der Inhalt defekt - das finde ich tatsächlich schlechter.

Hehe die 2,5 GBit sind für Deinen geplanten Server sicher auch überhaupt kein Problem der wird sich auch bei 2,5 GBit langweilen - erst bei 10 GBit müsstest Dir etwas mehr Gedanken machen.

 

[Engelsen]

Ich halte RAIDZ(2) in den meisten Fällen für den falschen Weg. Ich bevorzuge den Kauf von 2 größeren Platten im Mirror.

Um die Platten anzubieten kannst du entweder Samba auf dem Host installieren (fühlte sich für mich irgendwie falsch an), TrueNAS virtualisieren oder einen bind-mount im LXC freigeben.

Warum hälst du es für den falschen Weg?

Samba möchte ich auch nicht auf dem Host installieren, sondern wie du schon schreibst, in einem LXC Container Da werden dann nur die Mountpoints eingebunden.

@Bohnenhans
Danke für dein Feedback! Das hört sich doch sehr positiv an!

 

[Bohnenhans]

Es gibt sicher auch viele andere gute Filesysteme aber denke tatsächlich wenige die RAID und Filesystem zusammen abdecken (BTRFS wäre ähnlich)

Es gibt halt sehr wenig was wirklich gegen ZFS spricht, es hat inwzsichen auch wenn man will Kompression und Verschlüsseluing intern eingebaut - nutzt man keine Deduplication reichen 8 Gbyte RAM für ein 100 Tbyte+ ZFS Filesystem mit max 5 gleichzeitigen Nutzern meiner Erfahrung nach (10 GBit + 2,5 GBit Netzwerk)

https://de.wikibooks.org/wiki/ZFS_auf_Linux/_Deduplizierung

Ich nutze Deduplication grundsätzlich nicht - einfach wiel ich die Wahrscheinlichkeit für zu klein halte für die Performancenachteile, dass ich so viele ähnliche Daten habe.

 

[Fusionator]

Ich würde nicht mehr auf das Chercksummenfeature verzichten wenn ich nicht muss - erst das macht dann ein RAID auch sinnvoll. Auch dass Checksummen bei jedem Zugriff überprüft werden finde ich praktisch.

Aber sowas von

Spricht etwas gegen RAIDZ2 ? Oder gibt es bessere Vorschläge?

5 Platten im RAIDZ2 dürfte unnötig CPU Last verursachen und nicht die volle Performance bringen.
Bei 1G wirst du zwar noch nichts davon merken, aber trotzdem.
RAIDZ2 würde ich mit einer geraden Anzahl an Platten machen.

 

[Bohnenhans]

IUch habe auch nur ungerade HDD Anzahl 9 / 9 / 7 als RAIDZ2 da merkt man nichts was Performance angeht.

Mein kleinster war bisher ein alter i7 3720QM der hat auch kaum messbare CPU Last (< 40%) gehabt bei 2,5 GBit (gecryptetes ZFS) - der wurde nur wegen fehlendem ECC ersetzt - nicht wegen der Performance.

Sein viel modernerer i5 ist da sicher deutlich performanter.

 

[Fusionator]

Hm.. Komisch. Ich bin 100% sicher, dass mein RAIDZ2 aus 5 Platten beim Schreiben nur knapp über GBit-LAN Geschwindigkeit lag. Ist erst aufgefallen als ich die Rechner über 10G verbunden habe. Auch die CPU Last war definitiv höher alsdann ein RAIDZ2 aus 4 Platten, wo auch die Geschwindigkeit höher war.
Ist jetzt kein Weltuntergang, aber ich habe es gemerkt.
Egal, jetzt habe ich ein RAIDZ3 aus 15 Platten, dass trotz allen Unkenrufen funktioniert 😛
Ob dass immer so bleibt, weiß ich im Moment auch noch nicht. Manche Ordner mit sehr vielen Dateien bauen sich sehr langsam auf. Da muss ich mal wegen L2ARC mit Metadatencaching schauen.
Man soll ja bloß nicht mehr als 8/9 Platten in einem vdev haben, bla bla bla.
Ja, meine Aussage ist pauschalisiert, denn es ist vermutlich je nach usecase eine blöde Idee ein RAIDZ3 aus 15 Platten zu bauen.

 

[Engelsen]

Danke für deine Erfahrungswerte @Fusionator !

Bei mir handelt es sich allerdings um ein HomeLab, auf das nur ich zugreife .... Und ab und an meine Frau, wenn sie Bilder über Immich schaut oder was via Jellyfin streamt...

Da wäre sogar ein 100Mbit NIC ausreichend 😅

Und unsere Nextcloud beinhaltet auch keine Terrabytes an Daten.

Von daher passt das schon

 

[Fusionator]

Gbit LAN lastest du auf jeden Fall aus

 

[sandreas]

Warum hälst du es für den falschen Weg?

RAIDZ2 bedeutet mindestens 4 Platten. Das braucht Strom ohne Ende und ist was Performance und Ausfallsicherheit angeht nicht optimal. Auch Backup / Wiederherstellung sind etwas langsamer / aufwändiger, auch wenn das in deinem Fall vielleicht vernachlässigt werden kann.

Ich hatte früher auch RAIDZ(2), aber ich sehe das eher im Small-Business und Enterprise Bereich mit > 8 Platten statt zu Hause.


Ich nutze inzwischen eine 2TB NVMe für die Verkehrsdaten (Fotos, Musik, Hörbücher, Dokumente) und mache dafür ein regelmäßiges aber verhältnismäßig günstiges Backup auf einer zweiten 2TB NVMe, einer 3TB HDD und die wichtigsten Sachen noch mal in der Cloud. Alle größeren Sachen habe ich auf meinem NAS (2x10TB Seagate Exos), das aber nicht 24/7 läuft.

 

[Dig.Minimalist]

Ich hatte früher auch RAIDZ(2), aber ich sehe das eher im Small-Business und Enterprise Bereich statt zu Hause.

Wenn du große HDDs nutzt, dann ist aus Sicherheitsgründen RAIDZ2 angeraten. Resilvern dauert ewig und dein Array ist extrem unter Risiko.

Mirror ist natürlich nett, aber nur wenn die Kapazität einer HDD ausreicht.

 

[sandreas]

Mirror ist natürlich nett, aber nur wenn die Kapazität einer HDD ausreicht.

Ja, aber heutzutage müsste man mir im Privatbereich mal etwas zeigen, was mehr als 20TB Platz braucht... gut klar, wenn man 8K Youtuber ist, muss man umdenken, aber für Otto Normalverbraucher sollten 10TB sehr lange reichen.

 

[Bohnenhans]

Nun die Erfahrungen sind sicher unterschiedlich weil ja auch das Umfeld immer anders ist.

Ich nutze ZFS seit es das in FreeBSD gibt - also so ~ 15 Jahre - und hatte noch nie einen Server der nicht völlig problemlos 1 Gbit gepackt hat - und meine Server sind immer alt - aktuell 2x 1155 Sockel, die haben sogar noch 2x PCI ohne E auf dem Board - und der modernste jetzt ganz "neu" ausgemustert gebaucht 1x 1151 Sockel.

Mit z.B.

 zfs iostat -v 1

kann man sehen wie perfekt ZFS die Schreib- und Leselast aufteilt - die Datenmenge kann man einfach durch die Anzahl der Daten HDDs teilen.

5 ZFS RAIDZ2 heisst 3 Daten HDDs => 100 Mbyte / sec über Netz heisst jede DatenHDD muss 30 Mbyte / sec schrieben... das ist doch gar nichts.... halbwegs gute HDDs packen locker 150 Mbyte / sec dauerhaft.

 

[Engelsen]

@sandreas

Ich habe mit RAIDZ2 dann auch "nur" 16TB - die sind auch locker ausreichend. Aber wenn man Kinder hat und viele Fotos in hoher Auflösung + 4K Videos mit der DLSR macht, hat man schon relativ "viel" Storage Bedarf

Da ich das Synology NAS ablösen möchte, erhoffe ich mir dadurch sogar eine Stromersparnis, denn momentan läuft ja der PVE Server + NAS.

Die VMs kommen in der Regel auf SSDs, Mount Points dann auf HDDs.
Kurze Frage noch: Machen die Platten im RAIDZ2 auch einen Spindown, wenn sie nicht benötigt werden?
Das klappt bei der Synology nämlich recht gut.

 

[Dig.Minimalist]

Ja, aber heutzutage müsste man mir im Privatbereich mal etwas zeigen, was mehr als 20TB Platz braucht... gut klar, wenn man 8K Youtuber ist, muss man umdenken, aber für Otto Normalverbraucher sollten 10TB sehr lange reichen.

Ich habe ca. 8TB an Fotos
Backups von Windows PCs
Digitalisierte Musik & Film Sammlung

Also ich habe schon einen Grundbedarf von ca. 16TB heute und habe 10TB Luft für die nächsten Jahre

 

[Banned]

Also mMn ist es so bei RAIDZ2:

Positiv:

• Hohe Ausfallsicherheit
• Unrecoverable Read Error (welcher je nach UBER statistisch früher oder später auftritt) kann ausgeglichen werden beim Rebuild.

Negativ:

• höhere Systemlast / mehr Stromverbrauch
• Rebuild dauert länger.

Ich persönlich habe auch RAIDZ2 laufen, vor allem aufgrund des zweiten positiven Merkmals.

 

[Donnerkind]

In meinem kleines Selbstbau-NAS mit dem kleinsten i3-4000 (ECC und AES-NI) laufen auch vier Platten im Z2. Wenn ich mich recht erinnere (das Teil ist zurzeit aus), schafft es locker 250..270 MB/s dauerhaft, denn das war WIMRE die Geschwindigkeit, die mir beim Prüfsummenberechnen angezeigt über meine Archivdaten wird. Es kann sogar sein, dass das Raid eigentlich noch mehr schafft, aber der Durchsatz durch die Software limitiert war (MD5 in Python berechnen).