ZFS RAID 0 mit PCIe 3.0 und 4.0

[Gabgobie]

Hi. Habe mich jetzt ne Weile auf dem Forum umgeschaut aber leider keinen passenden Artikel gefunden.

Ich plane in einem GIGABYTE Z590 Vision G alle vier M.2 Slots zu verwenden und in einem ZFS RAID 0 zusammenzuschließen. Da das Motherboard PCIe Gen 4.0 auf drei der Slots unterstützt gedenke ich zu diesem Zweck die Corsair Force Series MP600 Core 2TB zu verwenden. Nun zu meinem Problem bzw. meiner Frage.

Wenn ich die vier SSDs im ZFS RAID zusammenschließe und (zwangsläufig) eine von ihnen PCIe 3.0 bekommt, wird das gesamte Array langsamer?

Sie sind mit jeweils 4 Lanes angebunden (PCIe 4.0 x4 = 7,8 GByte/s und PCIe 3.0 x4 = 3,9 GByte/s).
Die SSDs haben Lesegeschwindigkeiten von bis zu 4950 MB/s und Schreibgeschwindigkeiten von bis zu 3700 MB/s.

Ich bedanke mich für jede Hilfe.

Mit freundlichen Grüßen

Maurice

 

[L0g4n]

Hallo,

warum gerade RAID 0? Gerade mit ZFS will man doch auf Ausfallsicherheit setzen, aber warum dann mit RAID 0 das alles sabotieren? Nur wegen der höheren Geschwindigkeit?

 

[KillerCow]

Über Sinn und Unsinn eines solchen Setups werden andere bestimmt noch ein Wort verlieren. Was deine konkrete Frage angeht: natürlich muss sich das Array nach dem langsamsten Laufwerk richten. Geht ja nicht anders. Ob dich das im praktischen Einsatz tangiert, kommt dann wohl auf das konkrete Szenario an.

 

[madmax2010]

Darf ich nach einem usecase fragen, der von 15-20gb/s profitiert? Und wie genau planst du das ganze anzubinden?
Welcher RAM und welche CPU kommen zum einsatz?
Welches Betriebssystem?

Gaming boards und ZFS sieht man selten kombiniert. Vor allem da die meisten hier doch lieber ECC RAM wollen

 

[Gabgobie]

Hi L0g4n,

Die Geschwindigkeit ist ein netter Zusatzaspekt. Die Datensicherheit erreiche ich durch ein RAID 1 Array von 2 IronWolf Festplatten, auf die alles gespiegelt wird. Daher sehe ich kein Problem dabei die vier einzelnen SSDs zu einem RAID 0 Laufwerk zusammenzufassen. Ich würde sogar sagen, dass es in meinem Fall mein Leben angenehmer gestaltet.

Hi KillerCow,

Danke für deine schnelle Antwort. Hab's mir schon gedacht aber wollte auf Nummer sicher gehen. Dementsprechend wäre dann anzunehmen, dass die Schreibgeschwindigkeit aller Laufwerke gleich bleibt allerdings die Lesegeschwindigkeit auf 4x 3,9GByte/s fällt?

MfG

Maurice

 

[HisN]

Das langsamste Glied einer Kette bestimmt deren Leistung.
Das trifft für praktisch alles zu über das man im Leben so stolpert^^

Und ich will ja nix sagen ... aber hängen die ganzen M.2 nicht an einem 4-Lanes Multiplexer? Nicht das diese 4 Lanes die Leistung des ganzen Konglomerates bestimmt.

Auch dieses Mainstream-Board beherbergt nur CPUs die 20 Lanes haben.

 

[Mickey Mouse]

da kommen mir mehrere Fragen. Allerdings muss ich dazu sagen, dass ich mich mit aktueller PC Hardware nicht (mehr) besonders gut auskenne.
erstmal sehe ich im Handbuch "nur" zwei M.2 Plätze?!?
bei meiner uralt HW ist es auch so, dass bei "Voll-Bestückung" nicht mehr die volle Anzahl an PCIe Lanes zur Verfügung steht. Z.B. werden die NVMe im PC mit "normaler" Grafikkarte kastriert und im ansonsten baugleichen Rechner ohne (also nur mit iGPU) GraKa läuft dieselbe SSD mit doppelter Geschwindigkeit.

und jetzt etwas Wortklauberei: RAID0 wäre wohl das dümmste was man machen kann, JBOD wäre noch etwas sinnvoller. Ob das alles als Basis für ein ZFS Sinn macht ist dann wieder einer ganz andere Sache.

also ganz ehrlich? Ich glaube, es geht hier mehr um Posen als Sinnhaftigkeit, oder?

 

[Gabgobie]

Hi madmax2010,

In erster Linie gilt mein Interesse dem, die vier Laufwerke in eines zusammenzufassen. Ich erhoffe mir davon zu profitieren, wenn viele gleichzeitige Anfragen bedient werden müssen. Gedenke das System unter Anderem als NAS zu verwenden.

Bearbeitung, da du deinem Beitrag noch Fragen bezüglich Soft- und Hardware hinzugefügt hast.

Betriebssystem wird Proxmox sein.
i7 11700k und Crucial Ballistix. Hatte mich für das Board entschieden, da es relativ genau meinen Vorstellungen an Steckplätzen entspricht. ECC wird meines Wissens weder von dem Board noch von der CPU unterstützt und ich möchte gerne vermeiden zu den Teuren XEON zu greifen, ein anderes passendes Board zu finden etc. des Weiteren ist meines Wissens die Single Core Performance von den consumer grade CPUs besser und in meinem Fall ist das recht praktisch. Hoffe ich habe nichts vergessen weil für mich gerade die Zeit knapp wird.. im Zweifelsfalle melde ich mich dann erst morgen oder übermorgen wieder. Greife auf ZFS zurück, da der HW RAID nur mit Intel SSDs funktioniert. Laut GIGABYTE eine Limitierung des Chipsets.

MfG
Maurice

Hi Mickey Mouse,

mir geht es keines Wegs ums Posen... davon halte ich nichts und ich sehe auch keinen Vorteil darin einigen Fremden zu sagen, dass ich coole Hardware kaufen will. Im Handbuch sind alle vier Steckplätze vermerkt (siehe https://download.gigabyte.com/FileList/Manual/mb_manual_z590-vision-g_1002_210527_e.pdf Seite 4)

Ich sehe aber auch nicht inwiefern uns eine solche Anschuldigung weiter bringt ^^.

JBOD kommt mir eher verschwenderisch vor, wenn die Redundanz durch die IronWolf Backup Platten gegeben ist und man kostenlose zusätzliche Leistung auf dem Tisch liegen lässt.

MfG
Maurice

 

[madmax2010]

enn die Redundanz durch die IronWolf Backup Platten gegeben ist

wie das? Bekommst du die konsistent gehalten?

ohne ECC hätte ich bei einem raid0 in der größe schon angst, dass da mal ein bit flipped. Vor allem bei diesen SSDs.

Damit du die performance eines solchen arrays nutzen kannst, empfehle ich dir 2 von denen: https://www.fs.com/de/products/119647.html
Sowas hier ist für den Uplink solcher Anwendungen schonmal sinnvoll: https://www.fs.com/de/products/115385.html



Die MP600 sind absolut ungeeignet.
1. Da ist QLC verbaut. Damit hast du latenzen aus der hölle und 2. die beworbenen IOPS bekommst du halt auch nur, wenns gerade aus dem cache kommt
Die hier ist bei Anwendungen mit massiv vielen Zugriffen schneller als die 4 zusammen: https://geizhals.de/samsung-oem-client-ssd-pm9a1-2tb-mzvl22t0hblb-00b00-a2454430.html

Reicht in der Performance für eine Postgres Datenbank + Webanwendung, mit ca 25.000 simultanen Nutzern.

 

[Humptidumpti]

Der Intel Z590 Chipsatz ist mit 8 PCIe 3.0 Lanes an die CPU angebunden. Mehr als 2 PCIe 3.0 SSDs mit je 4 Lanes und einer PCIe 4.0 SSD mit 4 Lanes von der CPU direkt geht also sowieso schonmal nicht bzw. bringt nix mehr in "Geschwindigkeit".

Wenn man sowas aufziehen möchte dann bitte auch auf wirklich cooler HEDT Hardware und nicht auf consumer Spielkram. Da gehen einem nämlich ganz schnell die PCIe Lanes und vorher noch die Bandbreite aus.

 

[Gabgobie]

Danke vielmals für die Hinweise. Ich werd's mir sobald ich die Zeit finde auf jeden Fall genauer anschauen.

 

[madmax2010]

Da das board hat nur einen 2.5G Etherner Port. Der ist mit einer einzelnen gedrosselten SATA2 SSD überfordert.
Beo Proxmox kann ich sehr dazu raten compute und storage in getrennten systemen zu halten.

 

[Gabgobie]

Hi madmax2010,

Die Festplatten sehen richtig gut aus. Ich denke die werde ich dann anstelle der Corsair nehmen. Selbstverständlich hatte ich bereits geplant da Netzwerkkarten drauf zu setzen ^^

Darf ich fragen warum man bei Proxmox Compute und Storage auf getrennten Geräten halten sollte? Hatte eigentlich geplant auf dem System auch einen OPNsense Router und einige andere Anwendungen zu hosten. Bevor wir aneinander vorbei reden: Der Plan war, dass das ganze wird am Ende der zentrale Knoten meines Heimnetzes wird, in den im Optimalfall alle anderen Anwendungen integriert sind.

Hi Humptidumpti,

Auf dem Schaltplan, den ich vorhin verlinkt habe sieht man, dass nur der eine PCIe 3.0 M.2 Steckplatz am Chipset hängt. Die anderen sind soweit ich das verstehe direkt an der CPU

MfG
Maurice

PS Ich muss mich für heute verabschieden aber bin spätestens übermorgen wieder voll dabei.

Euch noch einen schönen Abend ^^

 

[Mickey Mouse]

dann gehen noch mehr PCIe Lanes "flöten"!
aus meiner Sicht drehst du dich im Kreis. Du kannst da immer noch mehr "im einzelnen ganz tolle" Hardware verbauen, aber bei diesem Basis-Ansatz wirst du keine (deutlich) gesteigerte Performance als mit 08/15 Kram erreichen.

 

[Humptidumpti]

Lanes reichen nicht aus. Wenn du sowas machen willst, wieso auch immer, kommst du um PCIe 4.0 und Threadripper praktisch nicht herum. Cascade Lake Xeons haben nur 48 PCIe 3.0 Lanes.

 

[Ebrithil]

Ich erhoffe mir davon zu profitieren, wenn viele gleichzeitige Anfragen bedient werden müssen. Gedenke das System unter Anderem als NAS zu verwenden.

Und du betreibst bei dir daheim ein 100 Gigabit Netzwerk? Ansonsten ist selbst eine simple SATA SSD mehr als ausreichend.

 

[wern001]

In erster Linie gilt mein Interesse dem, die vier Laufwerke in eines zusammenzufassen. Ich erhoffe mir davon zu profitieren, wenn viele gleichzeitige Anfragen bedient werden müssen. Gedenke das System unter Anderem als NAS zu verwenden.

Ein Raid0 ist nur bei der Datenübertragung schneller. In der Latenz aber langsamer als eine einzelne SSD. Die IOs von einzelnen SSD sind so hoch das man die normal fast gar nicht ausreizen kann.

Wenn man wirklich mehrere schnelle SSDs zusammenschalten will kommt man um u.2 oder u.3 schlecht rum

 

[Gabgobie]

Hallo nochmal. Ich habe mich nochmal ein wenig umgeschaut und sehe betrübt ein, dass das mit den Lanes nicht hinhaut... Wenn ich aber das Upgrade zum Threadripper mache gehen die kosten von CPU und Mainboard von ca. 580€ direkt auf 1910€ hoch. Das ist mir doch was viel ^^

Mein nächster Ansatz wäre anstelle von 4 M.2s mit einem M.2 Boot Drive und 4 S-ATAs zu gehen. Das sollte dann ja eigentlich mit den Lanes hinhauen und da mir auch ein 100GBit Netzwerk etwas sehr teuer ist und eher keine Anwendung findet hatte ich mich für 10GBit entschieden.

Macht mich gerne drauf aufmerksam, wenn ich was übersehen habe und danke für die Inspiration und die Hilfe. Habt ihr Empfehlungen bezüglich der S-ATA SSDs? Hatte bis jetzt gute Erfahrungen mit Samsung gemacht und würde mich daher nach einer solchen umschauen. Ich hatte aus vorherigen Kommentaren verstanden, dass ich TLC QLC vorziehen sollte?

Ich werde später eine Teileliste Posten damit, sofern sich jemand die mühe machen will darüber zu schauen, letzte Fehler in der Konfiguration auffliegen.

 

[Lord_Dragon]

Wer das eine will, muss das andere mögen.

Zum Raid selber: Raid 10 wäre wohl idealer bei 4 Platten.

 

[Gabgobie]

RAID 10 hatte ich drüber nachgedacht aber dann geht mir der Speicherplatz flöten. Daher RAID 0 auf den SSDs und RAID 1 auf 2 IronWolf platten. Dann für die Datensicherheit entweder eine Art RAID 1 zwischen den beiden Arrays oder einfach ein regelmäßiges Backup. Hängt davon an ob das funktioniert bzw. die Performance negativ beeinflusst.