X570/Zen 3 und B550/Zen 2 (Renoir), PCIe-Bifurcation klappt nicht (M.2 NVMe SSDs)

[JBG]

Kann ich verstehen, nach x Tagen ausprobieren wurde ich auch schon langsam mürbe im Hirn, da das Verhalten der Technik für mich nicht logisch nachvollziehbar ist

 

[JBG]

@FUSION5

Ja, bei mir kein Problem (habe die erste Mainboard-Revision 1.05).

"Normale" PCIe-Karten mit x1, x2, x4, x8 und x16 werden anstandslos wie erwartet in den CPU-PCIe-Slots erkannt.

[...]

Versuche gerade noch ein ASUS Pro WS X570-ACE zum Testen freizumachen, dort gibt es mit der Hyper M.2 x16 Gen 4 auch eine Bifurcation-Karte, die offiziell mit dem Mainboard unterstützt wird.

Mein "Bauchgefühl" sagt mir, das irgend etwas mit den x8 zu 2 x M.2-Adaptern nicht stimmt, kann es aber noch nicht genauer eingrenzen.

Das ASUS-Mainboard ist noch nicht frei, die 4x4-Bifurcation-Karte kam dagegen heute an.

Am ASRock X570 Taichi (nun mit BIOS P4.00) erkennt nach wie vor nur die erste von zwei installierten M.2-SSDs
(PCIe-Switch ist auf x8/x4-x4 gestellt)

Das Gigabyte B550 noch nicht getestet...

Edit:

Das ASUS Pro WS X570-ACE konnte nun getestet werden, die 4x4-Karte funktioniert hier mit den 4 SSDs bestückt normal wie ursprünglich erwartet.

Werde noch die zwei PCIe x8 zu 2 x M.2-Adapter später nachtesten.

Scheint also ein Bug bei ASRock und Gigabyte im BIOS zu sein.

 

[FUSION5]

@JBG

Hast du die Asus Hyper-X Karte, mit zwei SSDs bestückt, auf dem Asrock und Gigabyte Mainboard getestet?

 

[JBG]

@FUSION5

Ja, im ASRock X570 Taichi habe ich die 4x4-Karte bereits getestet (nur mit den ersten beiden M.2-Slots belegt, man sieht auch die Traces gut, so dass man nicht versehentlich Slots bestückt, die in einem x8-PCIe-Slot gar nicht elektrisch angebunden sind).

Keine Veränderung zu den beiden x8-Adaptern, nur die erste SSD wird erkannt.

Habe gerade wenig Zeit zum Testen, werde aber hier alle Entwicklungen schildern.

 

[JBG]

Wollte es nun doch noch wissen:

1) Keine Veränderungen beim ASRock X570 Taichi (BIOS P4.00) oder Gigabyte B550 Vision D (nun noch BIOS F13a getestet), egal ob Dual oder Quad-M.2-Karte, maximal eine SSD wird erkannt.

2) Im ASUS Pro WS X570-ACE funktionieren Dual- und Quad-M.2-Adapter

Das ASUS-Board hat ja 3 mechanische PCIe x16-Slots (CPU: (x16/x8)/Chipsatz: x8), mit der Besonderheit dass auch der dritte Chipsatz-PCIe-Slot mit x8 und nicht wie üblich mit x4 angebunden ist.

Im BIOS lässt sich die Bifurcation-Funktion für alle Slots aktivieren, sogar beim x8-Chipsatz-Slot.

Eigentlich ein klasse Board:

Mit x4-Link lassen sich 5 NVMe-SSDs über die CPU anbinden, 2 NVMe-SSDs im x8-Chipsatz-Slot und nochmal 1 NVMe-SSD über den U.2-Port.

Eine GPU muss dann in einen x1-Slot aber egal, finde das für die X570-Plattform schon "geil".

Mache mich dann langsam an das Aufsatz-Schreiben für den ASRock- und Gigabyte-Support

 

[JBG]

Eventuell eine Spur, was des Pudels Kern sein könnte:

- Bei dem ASRock- und Gigabyte-Board stellt man die PCIe-Bifurcation mit 4x4, 2x8, x8/x4-x4 etc. ein.

- Bei dem ASUS-Board, wo alle Adapter vollständig funktionieren, gibt es je PCIe-Slot nur einen "Auto"- oder einen einzigen "PCIe RAID Mode".

- Bei AMD-Systemen wird PCIe-Bifurcation gar nicht mithilfe von PCIe-Switches, sondern rein über Software umgesetzt.

 

[ghecko]

Bei AMD-Systemen wird PCIe-Bifurcation gar nicht mithilfe von PCIe-Switches, sondern rein über Software umgesetzt.

Na ja, so ganz richtig ist das nicht:

Das ist die Matrix der PCIe Switches auf dem Vision D, für die x16/0 und x8/x8 Konfiguration.
Ohne Hardwareswitches bräuchte man mehr Pins auf dem CPU-Sockel um die ganzen Lanes für jeden Slot bereitstellen zu können. Und dann wären die Switches innerhalb der CPU. Oder die CPU hätte real mehr PCIe Lanes als sie vorgibt zu haben.

Bifurcation eines Ports hingegen passiert nur in Software. Und zwar bei allen Systemen, egal ob AMD oder Intel. Das hebt die Zugehörigkeit der Lanes zu einem physischen Sockel auf und erzeugt kleinere Lanepaare, auf denen separate Geräte adressiert werden können.
Somit ist Lane 0-15 nicht mehr PCIe0 ->Erster Slot, sondern 0-3 PCIe00, 4-7 PCIe01 usw...

 

[JBG]

Hmmm, vielen Dank für diesen Hinweis, dann hat mir wer eventuell Schmarn erzählt.

Stehe mit jemandem im Kontakt, der wiederum direkteren Kontakt zu ASRock und Gigabyte hat und Bugs etc. bestätigt, bevor die zu den BIOS-Entwicklern weitergegeben werden.

Edit: Ja, war von ihm konkret auf "Bifurcation" bezogen, also die Aufteilung von dem, was in dem jeweiligen Slot ankommt. Übersetzt:

"Bifurcation sollte eigentlich rein über Software funktionieren. Braucht nicht einmal PCIe-Switches. Bei AMD zumindest."

Dass er bei der Erläuterung am Ende noch AMD konkret erwähnt hat, macht mich jedoch weiterhin etwas stutzig.

Könnte es sein, dass AMD-Systeme durch ihren allgemeinen SoC-Charakter diese PCIe-Switches "eigentlich" gar nicht benötigen und eventuell dadurch die geschilderten Probleme kommen?

 

[ghecko]

diese PCie-Switches "eigentlich" gar nicht benötigen und eventuell dadurch die geschilderten Probleme kommen?

Wie oben dargestellt: doch sie brauchen diese Switches, wenn das Mainboard derartige Konfigurationen bieten möchte. Und jede CPU ist heute mehr oder weniger ein SOC.

- Die Swiches sorgen dafür, dass man die wenigen Lanes von Consumer-CPUs variabel auf mehrere physikalische Slots verschalten kann. Also die 16 Lanes für Slot 1 in 2x 8 Lanes für Slot 1 und 2 aufzuteilen.
Oder bei Belegung von einem Slot den anderen zu deaktivieren.
Das ist an sich auch Bifurcation, die aber in Hardware wie auch in Software umgesetzt werden muss.

- (Software)Bifurcation sorgt dafür, dass man mehrere voneinander unabhängige Geräte über die Lanes eines Slots betreiben kann. Denn sonst geht der Prozessor stumpf davon aus: ein Slot, ein Gerät. Alle Lanes die dieser Slot enthält gehören dann zu dem Gerät welches er als erstes darin identifiziert (steck da nicht tief drin, aber ich glaube der Aufruf startet auf der 1. Lane des Slots und danach wird der Slot dem Gerät fest zugeordnet), egal ob dieses Gerät alle nutzt oder nicht.
Die (Software)Bifurcation sorgt also dafür, dass statt nur auf der ersten Lane, auch auf den übrigen Aufrufe nach anderen Geräten gestartet werden. Und die Aufteilung im Bios bestimmt die Zuordnung der Lanes bzw wo solche Aufrufe passieren.

Um also seine Aussage zu vervollständigen: Bifurcation (Mapping der PCIe-Lanes zu spezifischen Slots/Geräten) ist per se eine reine Softwareangelegenheit. Und das bei jeglichen Systemen, die diese Funktion bieten, unabhängig des Herstellers. Weil es schlicht ein Teil der PCIe Spezifikation ist.

 

[JBG]

Da beispielsweise x8/x8 problemlos funktionieren, kann man also zumindest davon ausgehen, dass eigentlich kein Hardware-Defekt vorliegen sollte, da die weitere Aufteilung z. B. zu x4-x4/x4-x4 (geht beim ASUS-Board genauso wie x4-x4-x4-x4) über die Firmware gemacht wird?

Aber ja, als einfacher GUI-Nutzer bin ich leider auch von dem Thema bei der Ursachennachforschung etwas überfordert und kann lediglich hoffentlich so eindeutig wie es geht die Symptome aufzeigen.

Teste kommende Woche noch dieses Teil von Delock, um neben M.2- noch U.2-NVMe-SSDs mit so wenig Adaptern/Kabeln wie möglich auszuprobieren, nicht, dass bei Gigabyte und ASRock die Problematik am Ende durch den proprietären WD-SSD-Controller verursacht wurden.

Mein Kontakt hat selber ein X570 Taichi/5800X mit 2 x M.2-SSDs im CPU x8-Slot in Verwendung und war daher von meiner Schilderung auch etwas überrascht.

 

[ghecko]

Also wenn ich jetzt eine Aussage dazu treffen müsste bei dir, dann würde ich schlicht vermuten dass die Bifurcation in Software innerhalb eines Slots bei dir keine Wirkung zeigt. Woran das liegt ist schwer zu sagen, aber ich denke auch es hängt mit der Firmware/Software zusammen. Die Hardware betrifft das nicht, was wir hier als Bifurcation verstehen.

Wenn in einem x16 Slot der mit x8 angebunden ist und dessen Lanes mit Bifurcation auf 2x x4 segmentiert sind, auf diesen Lanes statt 2 NVMes nur die erkannt wird, die an die erste Lane angeschlossen ist, sieht es für mich eindeutig danach aus dass die Bifurcation ineffektiv ist.

Ergänzung (30. Januar 2021)

Teste kommende Woche noch dieses Teil von Delock,

Letztlich sind das alles nur passive Adapter, die den Zugriff auf die Lanes in irgendeiner Weise gruppiert aufsplitten. Da es bei den bisherigen nicht funktioniert hat, sind meine Erwartungen für weitere passive Adapter entsprechend gering.

Ein Aktiver Adapter wäre übrigens das, was wir im PC als Chipsatz kennen. Der übernimmt die Auf- und Unterteilung seiner Lanes und deren Management selbst.

 

[JBG]

Das ist mir klar, habe mir das Teil nur ausgesucht um U.2-SSDs testen zu können (habe gerade noch 3 x Samsung PM1733 7,68 TB, 2 x Optane 905P 480 GB und P4801X 100 GB für Tests frei), da hätte ich mich noch mit M.2-zu-U.2-Adaptern eindecken müssen, um diese an die M.2-Adapter-Karten anschließen zu können.

Für das Delock-Teil habe ich so oder so außerhalb von den hier genannten Systemen Verwendung, daher alles gut.

Da aktive Adapter angesprochen wurden:

Kannst Du beurteilen, ob man diesen 16-zu-32-Lane-Switch in einem Thunderbolt-Gehäuse mit 8 NVMe-SSDs betreiben kann (DIY-Verkabelung im Inneren)?

Mir ist klar, dass die Geschwindigkeit zum Computer durch TB3 auf PCIe 3.0 x4 gedeckelt ist, es wäre aber sehr praktisch, wenn man theoretisch jede einzelne der dann 8 verbauten NVMe-SSDs mit voller 3.0 x4-Geschwindigkeit ansprechen kann, ohne dauernd die SSDs wechseln zu müssen.

 

[ghecko]

Kannst Du beurteilen, ob man diesen 16-zu-32-Lane-Switch in einem Thunderbolt-Gehäuse mit 8 NVMe-SSDs betreiben kann (DIY-Verkabelung im Inneren)?

Ich würde mich nicht trauen zu sagen: "Ja, das läuft so."
Zb erwartet diese Karte für die volle Bandbreite einen x16-Slot und ich kann nicht vorhersehen wie die darauf reagiert, wenn per TB nur noch 4? ankommen.

Davon abgesehen, theoretisch müsste das gehen.

 

[JBG]

Stimmt auch wieder, werde 'ne Mail an Delock schicken.

Kann mich an Adaptec RAID-Controller von vor gut 10 Jahren erinnern, die haben gemeckert, wenn sie nicht ihre vollen x8 bekommen haben und dann das Booten des Systems blockiert.

 

[FUSION5]

@JBG
Hast du eigentlich mal auf den Asrock und Gigabyte Boards den Prozessor getauscht?

 

[JBG]

Nein, noch nicht, hatte die Idee zufällig auch heute Abend, da ich mich an das DMAr-Geschiss erinnerte, das einen CMOS-Reset übersteht.

Werde ich die kommende Woche bei nächster Gelegenheit testen.

 

[fasyrt]

Hast du die Hersteller angeschrieben?
Gibt es irgendwelche Rücmeldung?

Hast du mit APU oder mit CPU bifurbication probiert?
Nämlich alle APUs nehmen 8 lanes für die integrierte Grafik ab.

 

[JBG]

@fasyrt

Desktop-APUs ab Renoir haben 16 + 4 + 4 PCIe 3.0 Lanes, wobei Renoir bei den 16 Haupt-Lanes nur x8/x4/x4 und nicht x4/x4/x4/x4 können soll.

Es scheint leider Bugs bei Bifurcation zu geben, bei verschiedenen ASRock- und Gigabyte-AM4-Mainboards klappt es bei mir mit diversen Bifurcation-Adaptern nicht, bei einem Mainboard von ASUS dagegen sofort wie erwartet.

Die genaue Ursache ist noch nicht bekannt, könnte sich um Macken bei den PCIe-Mux-Chips handeln. Auch ohne offizielle Änderung der Mainboard-Hardware-Revision werden teilweise unterschiedliche Chips verbaut.