Workingstation Mainboard mit PCIe 4.0 Switch

[Tibor93]

Hallo liebes ComputerBase-Team,

Ich habe mich in letzter Zeit viel in das PCIe Thema eingelesen und bin am Ende immer wieder auf das eine große Problem gestoßen - die Geschwindigksreduzierung der einzelnen Lanes, umso mehr Lanes von SSDs, erweiterungskarten, USB-Anschlüssen, Grafikkarten usw. genutzt werden.

Nun bin ich auf die so genannten PCIe Switches gestoßen. Zu dem Thema habe ich nun folgende Verständnisfragen:

1. Sind die Switches tatsächlich in der Lage allen PCIe Verbindungen die volle Geschwindigkeit zur Verfügung zu stellen? Also z.B. bei einem voll besetztem PC (workstation) mit 3 gleichzeitig (extern) angesteckten Festplatten + einer thunderbolt fähigen (externen) Festplatte. Überträgt der Switch (je nach Switch Größe) dann alle Datenraten zu 100%? - oder habe ich hier grundlegend was falsch verstanden?

2. Wo bekomme ich Mainboards mit entsprechenden Switches? Entweder ich war nicht hartnäckig genug in meiner Suche oder sie sind super selten - aber ich finde keine…

3. Falls es keine gibt - wie bekomme ich den Switch auf das Mainboard?

4. Es würde für mich durchaus Sinn machen einen derartigen Switch zu installieren wenn man vorhat eine high-end Workstation, bestehend aus 10Gbit-Lan, xeon w3365 (vielleicht auch 2), mehreren TB an satas, voll belegten ssd-slots, 2 Grafikkarten und täglicher Benutzung der thunderbolt Karte + mehreren angeschlossenen externen Festplatten zu bauen. (Ich ziehe das jetzt zur Veranschaulichung jetzt einfach mal ins extreme)

Was meint ihr zu den ganzen Thema - ich hoffe, ich bin nicht komplett auf dem Holzweg und bin gespannt über eure Antworten/ Anregungen!

LG

 

[ghecko]

die Geschwindigksreduzierung der einzelnen Lanes, umso mehr Lanes von SSDs, erweiterungskarten, USB-Anschlüssen, Grafikkarten usw. genutzt werden.

Eigentlich nicht. Es können Lanes je nach Belegung umverteilt werden, abängig von den Funktionen des Boards. Oder die Geschwindigkeit in einem Slot reduziert werden, wenn das angeschlossene Gerät den höheren PCIe Standard nicht unterstützt. "Je mehr, desto langsamer" ist pauschal aber falsch.

 

[Drewkev]

Was genau hast du überhaupt vor bzw. was möchtest du alles anschließen?

 

[kamanu]

Einfach bei AMD umschauen. 64 PCIe 4.0 Lanes bzw. 128 PCIe 4.0 Lanes mit jeweils einem Thunderbolt-Header.

 

[ghecko]

1. Sind die Switches tatsächlich in der Lage allen PCIe Verbindungen die volle Geschwindigkeit zur Verfügung zu stellen? Also z.B. bei einem voll besetztem PC (workstation) mit 3 gleichzeitig (extern) angesteckten Festplatten + einer thunderbolt fähigen (externen) Festplatte. Überträgt der Switch (je nach Switch Größe) dann alle Datenraten zu 100%? - oder habe ich hier grundlegend was falsch verstanden?

Auch das lässt sich nicht pauschal beantworten. Welcher Switch? Welches PCIe wird unterstützt? Wie viel lanes? Daraus ergibt sich eine Bandbreite, die für an dem "Switch" betriebene Geräte zu Verfügung steht. Und kein kb/s mehr.

2. Wo bekomme ich Mainboards mit entsprechenden Switches? Entweder ich war nicht hartnäckig genug in meiner Suche oder sie sind super selten - aber ich finde keine…

Ich denke du verstehst was grundlegend falsch.
Du schaust dich nach einen Mainboard um, welches die passende Ausstattung für dich hat und dann kannst du in der Betriebsanleitung nachlesen, ob es bei deiner gewünschten Bestückung zu Konflikten wegen Doppelbelegung von Lanes kommen kann. Zb die Deaktivierung von PCIe Slots bei Nutzung eines M.2 Slots.

4. Es würde für mich durchaus Sinn machen einen derartigen Switch zu installieren wenn man vorhat eine high-end Workstation, bestehend aus 10Gbit-Lan, xeon w3365 (vielleicht auch 2), mehreren TB an satas, voll belegten ssd-slots, 2 Grafikkarten und täglicher Benutzung der thunderbolt Karte + mehreren angeschlossenen externen Festplatten zu bauen. (Ich ziehe das jetzt zur Veranschaulichung jetzt einfach mal ins extreme)

Wenn du viele Lanes/Bandbreite gleichzeitig brauchst, dann hilft dir auch kein Switch. Zumal mir immer noch nicht klar ist, was du jetzt genau darunter verstehst. Am besten verlinkst du mal ein entsprechendes Beispiel.

 

[RalphS]

Hat hier wirklich noch nie jemand von PCIe Switches gehört?

Zunächst: Boards mit verbautem PCIe Switch sind teuer. Die fallen buchstäblich auf dadurch. Es gibt natürlich auch teure Boards ohne, aber keine günstigen Boards mit.

PCIe Switches sind Multiplexer. Die Idee ist, wenn ich zwei Lanes nativ habe, daß ich die zusammenfassen kann in einen multiplexed Datenstrom. Der besteht nun aus der Nutzlast zweier Lanes, die normalerweise nicht zu 100% ausgereizt sind.
So und jetzt kann ich die Bandbreite tatsächlich "nachbearbeiten". Wenn an dem einen x16 nur sowas wie x12 rübergehen, dann kann ich für den anderen x16 nun zwar nicht x16 tatsächlich anlegen, aber zumindest zwei Lanes mehr, als ich ohne den Multiplexer gehabt hätte.

Entsprechend fällt das Limit, meine 16 Lanes FIX auf Slot A und Slot B zu verteilen und beiden x8 geben zu MÜSSEN. Die sind nun mal fest verdrahtet - PCIe ist kein Bus.

Aber zwei x16 Karten, die beide zusammen x16 auch wirklich verlangen, die müssen sich trotzdem reinteilen.
Auch wenn es flexibler ist als ein statisches x8/x8. Da kommt es dann auf die tatsächliche momentane Auslastung an.


Was die Suche danach angeht:
- Boards, die "Zuviele" Lanes an die PCIe Slots anbinden.
Zwei mechanische x16, beide x8? Vermutlich keins.
DREI, alle drei acht? Möglicherweise PLX.
- Boards wo von PCI PLX die Rede ist. Vor allem im Handbuch und/oder im Blockschaltplan des Mainboards sind PCIe Switches notwendigerweise aufgeführt.


AMD Systeme (Threadripper, EPYC) sind nochmal extra, die bringen selber unendlich Lanes mit und man braucht den Switch nicht unbedingt. Aber auch da gilt, je mehr Lanes angebunden sind, desto wahrscheinlicher ist ein PCIe Switch verbaut. Oder mehr. Einfach deswegen, weil je mehr verbaute Lanes auch mehr potentiellen Freiraum bedeutet und man mit dem Switch signifikant weniger Bandbreite benötigt als ohne.


Ein Beispielboard hier:
ASUS WS X299 SAGE II

• zu erkennen an dem Eintrag PLX PEX in den "Besonderheiten"
• und der Auflistung der PCIe-Anschlüsse:

7x PCIe 3.0 x16 (4x x16, 3x x8) = 88(!) Lanes
PLUS 2x M.2/M-Key (PCIe 3.0 x4 = 8 Lanes
PLUS 3x SFF-8643/U.2/Mini-SAS (PCIe 3.0 x4) = weitere 12 Lanes.

Selbst wenn PLX PEX nicht angegeben wäre, wären die mindestens 108 Lanes (noch ohne die restlichen verbauten Komponenten) ohne Switch auf dieser Plattform eher nicht realisierbar.

 

[ghecko]

Hat hier wirklich noch nie jemand von PCIe Switches gehört?

Durchaus, nur ist nicht klar was der TE darunter versteht, da er Angaben macht die man teils eher Chipsätzen und Controllern zuordnet und nichts mit Multiplexern zu tun haben.

 

[Tibor93]

Vielen Dank für die vielen unterschiedlichen Antworten und Anregungen! Vieles davon wusste ich noch nicht und hat mir jetzt schon weiter geholfen!

Um so gut es geht bei der anfangsfrage zu bleiben versuche ich mal meine Frage anhand von einem
Beispiel zu spezifizieren:

Eigenbau workstation Bsp. 1:
CPU: Xeon w3365 (64 pcie lanes)
GPU: 2x gtx a6000 (32 lanes)
Mainboard (nehmen wir jetzt einfach mal das von oben

ASUS Pro WS X299 Sage II)​

SATA: alle 8 Plätze belegt (ich weiß jetzt leider nicht wie viele lanes diese beanspruchen)
M.2 SSD: belegt
Thunderbolt ex Card: (4 lanes)
Externe Festplatten angeschlossen: 2x usb 3.2 gen2 (weiß auch hier nicht wie viele lanes beansprucht werden)

Das Ding nehme ich jetzt in Betrieb:

1. kann ich jetzt davon ausgehen, dass auf Grund der, von der CPU zur Verfügung gestellten lanes und dem zusätzlich eingebauten PLX Alle meine Lanes die volle Bandbreite nutzen und alle Geschwindigkeiten bei volllast und Nutzung ALLER Geräte und Karten gleichzeitig übertragen?

Oder

2. Muss ich, um das zu erreichen, einen zusätzlichen PCIe Switch wie z.B. diesen hier https://www.tweakpc.de/news/46204/microchip-pcie-switch-fuer-bis-zu-100-pcie-4-0-lanes/
einbauen?

LG und einen schönen Abend
Tibor

 

[Drewkev]

SATA: alle 8 Plätze belegt (ich weiß jetzt leider nicht wie viele lanes diese beanspruchen)

Der Chipsatz kriegt die Lanes, die sind halt für SATA, den M.2 Slot (der halt daran angebunden ist) usw., zumindest bei Consumer Plattformen sind es mWn 4 Lanes.

Externe Festplatten angeschlossen: 2x usb 3.2 gen2 (weiß auch hier nicht wie viele lanes beansprucht werden)

Auch gar keine, das ist USB und nicht PCIe.

GPU: 2x gtx a6000 (32 lanes)

Also beide GPUs insgesamt 32 Lanes, bleiben nochmal 32 Lanes übrig. Wenn du die ohne einer dritten GPU verbrauchst, bin ich überrascht

Alle meine Lanes die volle Bandbreite nutzen

Eine Lane hat immer die gleiche Bandbreite. Mit zusätzlichen Lanes wird die Bandbreite halt höher. Aber die Bandbreite einer Lane schwankt nicht, entweder die steht zur Verfügung, oder halt nicht.

 

[RalphS]

Zunächst:
Da liegt ein Missverständnis vor. Nicht Du als Endkunde kaufst den PCIe Switch. Das tut der Mainboardbauer.

Das könnten "wir" auch nicht, denn der Switch hat Auswirkung auf die Topologie des Mainboards. Um einen verbauen zu können, müßten wir zumindest die Slots neu verdrahten, die über den Switch laufen sollen.

... Eher nicht. 😁

Und dann, aber das nur für das Hinterstübchen, damit man es weiß und dann prinzipiell nie wieder vorholen muß:

PCIe ist das Backend des PCs, wie vor ihm ISA, VLB, VLB, PS2/MCA und verschiedene andere.

Entsprechend läuft (so gut wie) alles darüber. Aber nicht alles bekommt eigene Lanes.

Typisches Beispiel: Ein Board mit vier SATA III Anschlüssen (also 6G) schiebt diese vier Anschlüsse durchaus mal über eine einzelne Lane. Entsprechend gibt es Verluste mit mehreren Platten, wenn die gleichzeitig laufen... und Gewinne mit dedizierten HBA unter denselben Bedingungen.
"Privat" laufen normalerweise nicht viele Daten gleichzeitig über mehrere SATA Ports verteilt. Entsprechend wird dort gespart.

Natürlich gibt es dann noch Overhead - das PCIe Protokoll will berücksichtigt werden und das oder die Nutzprotokolle wie SATA oder auch die Ethernetprotokolle, die darüber übertragen werden, haben nochmal eigene Metainformationen, die Bruttobandbreite "rauben".

Entsprechend hat man bei modernen Boards nicht so das Problem mit der Performance. Man hat stattdessen das Problem mit den Anschlüssen. Im Consumerbereich, wo es nur vergleichsweise wenige Lanes gibt... sind die ganz schnell voll.

Daher das Lane-Sharing (auch wenn die Bezeichnung irreführend ist): Dieselbe physisch vorhandene Lane wird für verschiedene Ziele wiederverwendet (shared usage), aber bleibt dediziert für das ausgewählte Ziel.
Deshalb ENTWEDER den einen x4 Slot ODER die drei x1 Slots plus vielleicht noch den x4 im x1-Modus, aber definitiv nicht die insgesamt kolportierten sieben Lanes gemeinsam.

DAFÜR hätte es den Switch gebraucht. Der kostet viel Geld. Und wird infolgedessen auf dem gemeinen Consumerboard meist nicht verbaut.

 

[Tibor93]

Also ich versuche es mal zusammenzufassen:

1. pcie lanes haben immer volle Bandbreite
- umso mehr, umso mehr Bandbreite und umso weniger kommen sich die lanes in die „Quere“, sprich sie müssen nicht (wie auf kommerziellen boards üblich) entscheiden welcher Hardware sie welche lanes zur Verfügung stellen.

2. USB + SATA teilen sich keine lanes - max. 1 lane von den SATA-Plätzen. Auf kommerziellen Boards wird entweder entschieden SATA oder M.2 (M.2 min. 4 lanes) und auf „high-end-boards“ wird nichts entschieden sondern beiden beides zur Verfügung gestellt.

2. PLX ist ein eingebauter pcie Switch, der auf teuren mainboards zu finden ist und die Problematik der „Hardware-Geschwindigkeitsnutzung“ sozusagen aufhebt. Externe „Single-Switches“ auf ein mainboard zu bauen ist somit hinfällig (auch wenn sie für Endverbraucher sowieso nicht „erhältlich“ sind)

3. „Lösung“ Für „non-pcie-lane-Begrenzung“:
Mainboard besorgen was PLX verbaut hat + genügend lanes zur Verfügung stellt.
Und eine CPU verbauen die diese lanes auch „verarbeiten“ kann - wie z.B. die w 3365 von Intel Xeon.

Stimmt das so in etwa?

 

[Drewkev]

Auf kommerziellen Boards wird entweder entschieden SATA oder M.2 (M.2 min. 4 lanes) und auf „high-end-boards“ wird nichts entschieden sondern beiden beides zur Verfügung gestellt.

Es gibt schon Boards bei denen ein gewisser M.2 Slot bei Verwendung bestimmter SATA-Ports deaktiviert wird, oder eben umgekehrt.

 

[Tibor93]

All right, vielen Dank für die vielen Antworten - ihr habt mir sehr weiter geholfen und ich bin definitiv schlauer als vorher!

Danke und schönes Wochenende

LG