PCIe Kompatibilität und Datendurchsatz

[nutsman]

Hallo Kollegen,
mich beschäftigt gerade eine PCIe Frage und mich würde eure Meinung interessieren.
Baue gerade einen Fileserver und bin etwas vom Mainboard eingeschränkt.
Es soll ein RAID Controller 8 Ports mit einer PCIe 3.0 x8 Schnittstelle eingebaut werden. Leider ist auf dem Board nur noch ein PCIe 3.0 x16 mechanisch/ x4 elektrisch verfügbar.
Man kann es erahnen das ist ein PCH angebunderner Slot auf dem Board.
Stell mir gerade die Frage ob die Anbindung vom Durchsatz her ausreicht.
In der Regel wird der RAID Controller mit HDDs bestückt Später sollen aber auch mal SSDs angeschlossen werden. Die haben dann mit SATA 3 max. um 500MB/s.
Selbst wenn ich alle 8 Ports mit SSD ausstatte und jede zu einem Laufwerk mache sollte ich die Bandbreite vom PCIe 3.0 x4 mit ca 4GB/s wohl so gut wie garnicht auslasten können und damit wird es im Betrieb wohl kein Unterschied sein ob der RAID Controller in einem x8 oder x4 Slot eingesetzt ist.

Habe ich das richtig durchdacht oder einen Denkfehler gemacht. Was denkt ihr über dieses Szenario, wird der PCIe Slot für den Controller ein Flaschenhals sein?
Wäre für eure Einschätzung dankbar!

Viele Grüße

 

[madmax2010]

pciee 3.0 erlaubt dir 1gb/s pro lane.

Es wird nur die bandbreite gebraucht, die gerade gebraucht wird. 99.9*% der zZit werden da also ein paar kb/s lang kommen.
Selbst wenn du da 8, simultan komplett ausgelaste SSDs, dran hast wird da nichts bremsen

 

[nutsman]

pciee 3.0 erlaubt dir 1gb/s pro lane.

Es wird nur die bandbreite gebraucht, die gerade gebraucht wird. 99.9*% der zeit werden da also ein paar kb/s lang kommen. Selbst wennd a 8 simultan komplett ausgelastee SSDs dran sind wird da aber nix bremsen

Genau so dachte ich mir das. Danke für die Bestätigung!
Es ist halt manchmal verwirrend wenn Hersteller ihre Karten spezifizieren und die Schnittstelle als 3.0 x8 angeben. So einen Durchsatz wird man mit 8 Ports und selbst mit SSDs niemals in der Praxis brauchen.
Ja theoretisch vielleicht SATA3 macht 550MB/s mal 8 dann kommt man schon knapp über die Bandbreite eines 3.0 x4 slots hinaus und vermutlich werden dann die Karten direkt als x8 gemacht.

Soweit ich weiß ist bei den Intel z390/z490 Chipsätzen der DMI 3.0 (Anbindung CPU/RAM zum PCH) auch nur 4 Lanes groß.
Somit dürfte das mit dem RAID Controller auch komplett unproblematisch sein 😀

 

[Mickey Mouse]

ich würde mir erstmal die Frage stellen, was "an die andere Seite" kommt?
und dann, was "später" heißt...
es ist doch schon jetzt so, dass NVMe/PCIe SSD im Preis vergleichbar, wenn nicht günstiger als gute SATA Modelle sind.

da würde ich mir die Frage stellen, ob es überhaupt irgendeinen Sinn macht, sich jetzt groß Gedanken um ungelegte Eier zu machen. Wenn jetzt ein 2,5Gb/s oder gar nur Gigabit Ethernet Controller und HDDs verwendet werden, dann nimmt man einfach "irgendwas".

und in 1, 2 oder vielleicht 3 Jahren lacht man über den Spielkram mit SATA SSDs, den man heute für ganz toll hält. Da sind vermutlich >10TB PCIe5 oder 6 SSDs Standard und die MoBos haben SFP+ Slots, in die man 10 oder 40Gb/s GBICs stecken kann, vermutlich nur noch Fibre und gar kein Kupfer mehr, dafür haben die Boards einen 2,5Gb/s RJ45 Port "für Notfälle"

 

[Mente]

Hi
es wird aber ehr das Problem auftreten das der Controller nicht im Modus X4 laufen will da er X8 benötigt, zu mindestens ist das meine Erfahrung mit diesen Controllern bisher gewesen.
lg

 

[nutsman]

Ah jetzt muss ich noch kurz erklären weil die Maschine doch ein wenig größer ist als man denkt. Das System hängt mit einem QSFP+ NIC mit 40GBit's am LAN Switch. Weiterhin stellen zwei M2 NVMe SSD ein schnelles Netzlaufwerk zur Verfügung.
Der RAID Controller stellt auch ein Netzlaufwerk mit HDDs als Datengrab bereit ( später wenn große SATA SSDs mal günstiger werden kann man upgraden).
Der Controller ist abwärts kompatibel was die Lanes angeht. Der sollte sich problemlos auf PCIe 3.0x4 einstellen.

Ich greife auf den Server über meine Workstation zu auch mit 40GBe Glas gebunden. Wobei dir Karte auch in einem x4 Slot stecken muss und daher nur 32Gbe in der Theorie bringt. Reicht aber auch um den NVMe's im Server Dampf zu machen.

Ich werde es mit dem RAID Controller im x4 Slot mal versuchen. Die Bandbreite über diesen PCIe Slot sollte locker reichen 🙃

 

[nutsman]

kurze Rückmeldung:
mein Supermicro AOC-S3108L-H8iR RAID Controller PCIe 3.0 x8 hat heute seinen Platz
auf dem Mainboard PCH PCIe 3.0 x4 Slot gefunden.
Der Controller wird einwandfrei mit 4 Lanes erkannt und Performance scheint okay zu sein.
Aktuell ist da nur ein RAID 5 mit 3 HDDs drauf da wird sich der PCIe 3.0 x4 Slot ganz schön langweilen.
Mal sehen wann die Preise von großen SATA3 SSDs mal erträglich werden. Im Moment geht ja nix
an HDDs vorbei wenn es um viele Terabyte geht (Preis/Leistung).

 

[madmax2010]

deez nuts man

(sorry)

 

[nutsman]

deez nuts man

(sorry)

boah der war schlecht, genau wie der erzählte Witz.... und mit der Musik kann ich auch nix anfagen 😉😅

Ergänzung (11. Mai 2022)

Da hätte ich noch ein Anschlussthema 🧐

Wer hat sich schon mit den Intel Z690 Chipsätzen viel beschäftigt....
Die Boards gibt es ja auch in Multi PCIe Slot Support von der CPU z.B. für Grafikkarten.
Daher, PCIe 5.0 x16 (1x x16, 1x x8 elektrisch) Sind beide Slots mit CPU Anbindung von Karten belegt stellt sich wohl der PCIe auf x8 + x8 Lanes ein weil diese shared sind.
Zusätzliche PCIe x8 Ports sind auf den Mainstream Boards ja auch eher selten anzutreffen, da meist von PCH nur x4 elektrisch kommt.
Jetzt mal eine Frage dazu: Macht dann jeder Slot (CPU) für sich den PCIe Standard aus oder wird dieser immer gemeinsam für beide Slots festgelegt?
Ein Szenario, man hat eine PCIe 4.0 x16 Karte und nimmt eine PCIe 3.0 x8 dazu.
Dann laufen beide mit x8 Lanes und PCIe 3.0 oder geht die eine Karte die 4.0 unterstützt auch auf diese höher Spezifikation..... Frage für einen Freund !? 🤓