Anleitung: Mellanox Connect-x3 Peer-2-Peer inkl. Routing

[stinger2k]

Mellanox Peer-to-Peer Einrichtung ​

Unraid <-> Windows​

​

Vorwort:

Dieser Guide richtet sich an die Leute die Daten sehr schnell im Heimnetz hin- und herschaufeln, oder wie ich einfach einen kleinen Server als NAS am laufen haben oder auch mit Parsec z.B. von einem leistungsfähigerem PC mit nativer Auflösung und High-Refresh-Rate sowie geringer Latenz streamen wollen.


Mein Szenario lag hierbei, dass ich zwei PCs habe mit jeweils einer Grafikkarte zum zocken (in meinem Fall in PC1 eine RX6900XT und in PC2 eine RTX3090).
In jedem PC habe ich natürlich mehrere SSDs verbaut worauf z.B. auch meine Games liegen welche ich zurzeit gerne zocke, und ab und an mal auch mit Parsec zum gleichzeitigen Arbeiten vom einem zum anderen PC streamen möchte oder mal schnelle Benchmarks zum Vergleich ausführe.

Daher dachte ich mir wenn ich die SSDs in den Server bekomme und dann evtl. auch noch eine NVMe SSD als Cache dazu packe, könnte ich annähernd mit nativer Zugriffsleistung auf die Laufwerke, meine PCs erstens von einer NVMe befreien (spielt ne Rolle wenn man zu wenige PCIe-Lanes zur Verfügung hat um im zweiten oder dritten PCIe-Slot noch Karten betreiben möchte, da bei vielen Consumer-Boards die Lane-Verteilung dann entweder einen Slot deaktiviert oder eben auf eine niedrigere PCIe-Gen schaltet und daher Performance verloren geht.

Soviel zum Einsatzzweck, nun zu meiner Einkaufsliste für dieses Vorhaben. Ich schaute mich in der Bucht um und fand Mellanox Connect-x3 VPI Karten:

​

Der QFSP+ Zusatz lieferte mir auch gleich die passenden Kabel dazu:

Achtung: wenn ihr 56GB/s nutzen wollt dann solltet ihr darauf achten ein Kabel mit der Bezeichnung MC2207130 (56Gbps) nehmen anstatt dem hier gezeigten MC2206130 (40Gbps).

Man findet oft Angebote mit dem Zusatz MCX354A-„QCBT“ oder MCX354A-„FCBT“ - gemeint ist damit, das im Ethernet-Modus die Karten mit 40GbE (FCBT-Variante) bzw./oder nur einem Viertel der Übertragungsrate also 10GbE (QCBT-Variante) arbeiten. Kaufen kann man beide Varianten da wir später noch durch „crossflashen“ der Firmware auch aus einer QCBT-Karte eine vollwertige FCBT Karte machen.

Quelle: https://www.mellanox.com/related-docs/prod_adapter_cards/ConnectX3_VPI_Card.pdf​

Das wars dann auch schon mit der Einkaufsliste, da diese Hardware aus dem (outdated) Server-Bereich kommt, gibt es davon zurzeit relativ viele Angebote.

Nach dem Einbau der Komponenten und der Verkabelung kommen wir nun zum Einrichtungsvorgang.
Was wir alles benötigen – dazu nachfolgend eine paar Links:

Firmware:
https://www.mellanox.com/support/firmware/connectx3en

Flashsoftware für die Kommandozeile:
https://www.mellanox.com/products/adapter-software/firmware-tools

Windows Treiber und Tools:
https://www.mellanox.com/products/adapter-software/ethernet/windows/winof-2

Unraid Mellanox-Firmware-Tools: (in den Community Apps die Mellanox-Firmware-Tools herunterladen)

Firmware-flash:
(auch um 10GbE Connect-x3 Karten auf Full Bandwith 40GbE zu nutzen)

Flashvorgang unter Windows:
(die Ausgabe von mst status bezeichnet den Controller den wir in flint angeben müssen)

mst status
flint -d mt4099_pci_cr0 -i "firmwaredatei.bin' -allow_psid_change burn

Flashvorgang unter Linux:
(hier sehen wir nach welche PCI-Id der Controller bekommen hat den wir wieder in mstflint angeben müssen)

lspci
mstflint -d 01:00.0 'firmwaredatei.bin' -allow_psid_change burn

Jetzt beide Karten in den Ethernet Modus setzen:

unter Linux:

mstconfig -d 01:00.0 s LINK_TYPE_P1=ETH
mstconfig -d 01:00.0 s LINK_TYPE_P2=ETH (nur bei den Dual-Port Karten)

unter Windows :
entweder im Gerätemanager unter Port Config oder in der Kommandozeile wie folgt:

mlxconfig -d mt4099_pciconf0 s LINK_TYPE_P1=ETH
mlxconfig -d mt4099_pciconf0 s LINK_TYPE_P2=ETH (nur bei den Dual-Port Karten)

Server-Schnittstelle konfigurieren wie folgt: (ohne Gateway-Adresse)

​

Windows Schnittstellen wie folgt: (ohne Gateway- und DNS-Server Adressen)

Für ein Peer-to-Peer Netzwerk (ohne Switch dazwischen) in der Windows Hosts-Datei die „beiden“ IP-Adressen hinzufügen:

´C:\Windows\System32\drivers\etc\hosts´

10.10.10.1 server

10.10.10.2 client

Nun sollte alles laufen und beide Geräte erreichbar sein und das Netzwerk mit 40 Gb/s laufen.

Damit läuft mal der grundlegende Verkehr zwischen den Peers, möchte man nun noch die Connect-x3 Karte nutzen und damit auch Internet über die Leitung des anderen Peers routen, müssen wir im Linux Server noch die Firewallregeln dafür festlegen und IPv4-Forwarding aktivieren.

Dazu gehen wir wie folgt vor…

(Voraussetzung dafür ist das

iptables

installiert ist – in Unraid ist dieses Paket schon standardmäßig für die Firewallregeln mit dabei, muss also nicht nachinstalliert werden.)

Also zuerst sehen wir mal nach wie die Schnittstelle heißt mit dem Befehl:
(wir suchen hier nach der IP-Adresse auf einer der Schnittstellen die wir vorher vergeben haben)

ifconfig

Nun wissen wir das die Schnittstelle br3 (falls Bridging aktiviert ist) heißt bzw. eth3 (wenn kein Bridging aktiviert ist)
Dies muss nachfolgend beachtet, und die farbig markierten Stellen mit dem Namen eurer Schnittstelle ausgetauscht werden.

Firewallregeln per iptables ergänzen: (192.168.0.0/24 steht hier für das Subnetz eures LAN-Netzwerks)

iptables -w -t nat -A POSTROUTING -s 192.168.0.0/24 -o br3 -j MASQUERADE && echo "iptables -w -t nat -A POSTROUTING -s 192.168.0.0/24 -o br3 -j MASQUERADE" >> /boot/config/go

iptables -w -t filter -A FORWARD -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT && echo "iptables -w -t filter -A FORWARD -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT" >> /boot/config/go

iptables -w -t filter -A FORWARD -i br3 -j ACCEPT && echo "iptables -w -t filter -A FORWARD -i br3 -j ACCEPT" >> /boot/config/go

danach noch schnell speichern mit:

iptables-save

wir öffnen nun mit vim oder nano die Datei

/etc/sysctl.conf

und entfernen das #-Zeichen vor der Zeile mit dem Inhalt:

net.ipv4.ip_forward=1

abspeichern und danach mit

sysctl -p

aktivieren.

Am (Windows/Linux/whatever)-Client vergeben wir nun zusätzlich noch die IP-Adresse des Servers(Unraid) als Gateway und die Adresse des Routers als DNS-Server:

Nach einem Reboot des Windows-Clients sollte nun auch das Internet laufen und ihr könnt die Schnittstelle am Mainboard anderwärtig verwenden.

Wollt ihr auch aus eurem bestehenden Subnetz heraus auf den Adressbereich der Mellanox Karten zugreifen, müsst ihr hierzu eine statische Route im Router anlegen wie folgt:

Falls ihr aus einer VM am Unraid-Server eure Karte im PC nicht pingen könnt dann ist es auch hier notwendig mit Routen in erwähnter Form zu arbeiten und die Firewall Regel unter erweiterte Einstellungen -> Eingehende Regeln wie folgend zu aktivieren:

Falls erforderlich (wenn kein ping möglich ist zum Client-PC) dann noch hier wie folgt für -

- Linux Clients statische Route:

Ip route add 10.10.10.0/24 via 192.168.1.100

(Diesen Befehl könnt ihr danach in die Datei /etc/rc.local eingeben und abspeichern um bei einem Neustart die Route wieder aktiv zu halten.)[/SIZE]

- Windows Clients statische Route:

route ADD -p 10.10.10.0 MASK 255.255.255.0 10.10.10.1

und damit sind wir fertig! 👍

​

Wenn euch diese Anleitung gefallen hat, oder ihr auch über andere Projekte in diesem Bereich erfahren wollt, lasst es mich wissen ​

Nachfolgend noch ein paar Eindrücke zur erfolgreichen Umsetzung:​

​

​

​

​

​

​

​

iSCSI Laufwerk (Samsung NVMe 980 Pro per Passtrough)

​

​

​

​

​

​

​

SMB-Share als Netzlaufwerk eingebunden: (Samsung 840 Evo per SATA mit aktiviertem Cache)​

 

[0x8100]

hast du mal auf die cpu load geschaut? mit jumbo-frames statt 1500 sollte die geringer sein.

in deiner anleitung sind die links für firmware und flashtool gleich - soll das so?

 

[stinger2k]

Danke für den Tip, Jumbo Frames sind auf 9012 gesetzt.
Bei meinem Xeon E31225 habe ich beim schieben einer 8GB Datei auf ein SMB-Share eine Auslastung von 53% Overall und bei Core 3 Spitzen ans Limit.

Danke , wurde ersetzt.

 

[Skysnake]

Die 10G Connect-X3 sollten SFP+ Stecker haben und keine QSFP+. Die sind mechanisch inkompatibel. Ich wüsste jetzt auch nicht das es 10G Karten mit QSFP+ Port geben würde. Also kann man da auch nichts "freischalten" ohne ne neue Buchse dran zu löten, und das wird nicht funktionieren. Ist zwar am Ende der gleiche Chip aber ne Karte besteht aus mehr als nur nem Chip.

Man sollte auch aufpassen, ob man sich ne Ethernet, IB oder Combi Karte holt.

Aber danke für die Anleitung. Nett zu sehen, dass das Zeug auch unter Windows funktioniert.

Du solltest mal schauen ob das Offloading wirklich an ist. Also zumindest mit ner Connect-X3 in 10G habe ich selbst mit nem e8400@3GHz bei nem iperf3 Test nicht mehr als 50% load wenn das Offloading an ist.

Wenn zockt halt SMB oder wahr ever ziemlich was weg. Aber an sich TCP/IP ist keine Last für halbwegs moderne CPUs. Selbst bei 40G nicht.

 

[stinger2k]

@Skysnake

Es gibt MCX354A-QCBT Karten (oder auch oft mit dem Zusatz 649281-B21 in der Bezeichnung) die zwar 40 GBit könnten aber das nötige Protokoll nicht in der Firmware haben jedoch QSFP Anschlüsse.

Bei den MCX354A-FCBT Karten ist jedoch von Haus aus schon Fullbandwith aktiviert, weshalb man wie in der Anleitung diese zu FCBT mit der Original-Firmware von Mellanox flashen kann.

Quelle: https://www.mellanox.com/related-docs/prod_adapter_cards/ConnectX3_VPI_Card.pdf

z.B. diese hier:
https://www.tonitrus.com/de/server/hp/zubehoer/netzwerkkarten-nic/10139502-014-hpe-649283-b21-infiniband-qdr...

sind um einiges billiger zu haben als die FCBT Modelle, beide können auch Infiniband oder Ethernet.
für die HP-Karten benötigt man noch einen Flexiblelom to PCIe Adapter, da keine Standard PCIe-Karte.

 

[stinger2k]

Update Anleitung:

• Vermerk Kabelunterschiede MC2206130 vs MC2207130
• Erklärung QCBT vs. FCBT - Varianten des Mellanox C354A
• Firmware-Crossflash QCBT -> FCBT
• Screenshot ausgetauscht Konsole -> WebUI
• Windows Client: Firewallregel für Erreichbarkeit aus einer VM
• Ergänzung Routen-Einträge in Router, Clients für Subnetze

 

[nutsman]

@stinger2k
ahh schön noch mehr Verrückte die sowas machen wie ich auch
Ich betreibe eine ähnliche Lösung mit Windows Server und Win10 Pro seit knapp 1,5 Jahren und habe viel Spaß damit. Bei mir kommen auch zwei MCX354A-FCBT zum Einsatz die ich von PSID HP zu Mellanox umgebrannt habe. Als Switch betreibe ich einen relativ günstigen MikroTik CRS354-48G-4S+2Q+RM der zwei QSFP+ Ports besitzt.
Cooles LAN mit 40GBit's

Leider schleppe ich von Begin an ein Problem mit mir rum vielleicht hast du eine Idee.

Die Sache mit den PCIe Lanes hast du ja schon angesprochen und normale Mainstream Boards mit PCIe 3.0 x8 zu finden ist schon Recht schwer oder man muss eben den Grafikkarten Slot nehmen der mit x16 an die CPU angebunden ist. Vom Chipsatz PCH kommt dann meistens noch ein mechanischer PCIe 3.0 x16 der aber nur x4 elektrisch kann. Damit laufen die Karten zwar mit 4 Lanes / 32GBit's Durchsatz das reicht aber völlig den die Anbindung zwischen CPU und PCH sind im DMI 3.0 auch nur 4 Lanes breit.
Jetzt zu meinem Problem und zwar das Erkennen der Karten im besagten PCH Slot mit PCIe 3.0 x4.
ja das funkioniert aber leider nicht immer mit meinen beiden Intel Z490 Boards.
Jeder Reboot der Rechner ist Glückssache manchmal wird die Karte erkannt und manchmal nicht.

PS C:\Windows\system32> vstat
hca_idx=0
uplink={BUS=PCI_E Gen3, SPEED=8.0 Gbps, WIDTH=x4, CAPS=8.0*x8}
MSI-X={ENABLED=1, SUPPORTED=128, GRANTED=12, ALL_MASKED=N}
vendor_id=0x02c9
vendor_part_id=4099
hw_ver=0x0
fw_ver=2.42.5000
PSID=MT_1090120019
node_guid=24be:05ff:ffce:7120
num_phys_ports=2

Zwei Systeme mit Z490 und beide den gleichen Fehler. In einem System (Server) konnte ich nun die MCX354A-FCBT im PCIe 3.0 x16 Slot (Grafik) stecken, wird hier als x8 erkannt und dort habe ich jetzt überhaupt keine Probleme mehr.
Das Win10 System kann ich leider nicht so nutzten weil ja eine Grafikkarte drin steckt.
Bleibt mir nur der PCIe 3.0 x4 vom Chipsatz. Es nervt halt echt wenn nach 5 -8 Neustarts dann die Karte nicht erkannt wird. Sieht dann im Gerätemanager so aus:

Nach Neustart, Fehler verschwunden bis zum nächsten Mal
Ich vermute das der Z490 Chipsatz Probleme mit den Mellanox X3 hat und manchmal die PCIe Lane negotiation schief läuft. Lösung habe ich bis jetzt keine gefunden.

Gibt es mit dem Firmware Tool flint eine Möglichkeit die X3 auf PCIe 3.0 x4 zu limitieren?
Welche Boards und welche Steckplätze nutzt du mit den Mellanox Karten?

 

[Skysnake]

Das ist relativ normal. Passiert bei einigen Kombinationen einfach. Du musst da nur nen PCie rescan machen unter Linux und es tur.
Müsste theoretisch bei Windows auch gehen, aber keine Ahnung wie und ob sie das nicht für die Server Version vorbehalten haben. Windows halt....

 

[stinger2k]

@nutsman
Versuch doch mal in den Ethernet Mode zu gehen auch dort bleiben dir die 40Gbps erhalten, im Infiniband (VPI) Modus könntest du mit dem richtigen Kabel sogar 48Gbps erhalten...

 

[nutsman]

@Skysnake , wie meinst du das mit "einfach" PCIe Rescan machen?
Bei mir sind Win10Pro und Server2019Ess im Einsatz. Der Fehler kommt immer sporadisch beim Bootvorgang vor. Man kann das schon sehen ob die Karte hoch kommt wenn Windows zum Anmeldebildschirm gefahren ist ohne sich Einzuloggen. Enweder gehen die Kontroll LED der am Slotblech der Karten an oder nicht. Bleiben sie aus dann sehe ich den Fehlercode 43 im Gerätemanager im Bild oben.
und die Netzwerkports sind unsichtbar. Nach Reboot alles wieder normal und läuft stabil.
Es nervt halt schon wenn man den Rechner manchmal doppelt starten muss.
Wie schon geschrieben scheint was mit dem Intel z490 nicht zu klappen. Im Server steckt die Karte nun im x16 Slot und der Fehler ist nach zig neustarts nicht mehr aufgetreten.

@stinger2k , habe ich schon alles fix auf den Karten eingestellt. Habe wirklich schon viele Einstellungen versucht und bin langsam ziemlich ratlos. Bastel an dem Fehler jetzt schon die ganzen 1,5 Jahre rum
Hier die Config der Mellanox X3

PS C:\Windows\system32> mlxconfig.exe -d mt4099_pciconf0 q
Device #1:
----------
Device type: ConnectX3
Device: mt4099_pciconf0
Configurations: Next Boot
SRIOV_EN True(1)
NUM_OF_VFS 8
LINK_TYPE_P1 ETH(2)
LINK_TYPE_P2 ETH(2)
LOG_BAR_SIZE 3
BOOT_PKEY_P1 0
BOOT_PKEY_P2 0
BOOT_OPTION_ROM_EN_P1 True(1)
BOOT_VLAN_EN_P1 False(0)
BOOT_RETRY_CNT_P1 0
LEGACY_BOOT_PROTOCOL_P1 PXE(1)
BOOT_VLAN_P1 1
BOOT_OPTION_ROM_EN_P2 True(1)
BOOT_VLAN_EN_P2 False(0)
BOOT_RETRY_CNT_P2 0
LEGACY_BOOT_PROTOCOL_P2 PXE(1)
BOOT_VLAN_P2 1
IP_VER_P1 IPv4(0)
IP_VER_P2 IPv4(0)
CQ_TIMESTAMP True(1)
PS C:\Windows\system32>

 

[Skysnake]

Du musst halt das Windows Äquivalent zu dem hier finden. https://stackoverflow.com/questions/32334870/how-to-do-a-true-rescan-of-pcie-bus

Man nutzt da die HotPlug Funktionalität. Bei Linux kann man auch einfach nen Power cycle auf das device fahren.

Damit hast du zu 99.999% das gleiche Ergebnis wie bei nem reboot des Systems oder nem echten physischen HotPlug event. Also aus und wieder einstecken.

Eventuell hilft es aber schon die Karte aus und wieder ein zu bauen.

 

[nutsman]

@Skysnake , sowas hab ich bei Windows ja noch nie gesehen. Auch das PCIe Hotplug sein soll ist mir vollig fremd
Man kann im Gerätemanager ein Device Rescan machen, aber das ist dann schon die OS Ebene.
Die Karten werden vom BIOS schon in den ersten Sekunden des Boots erkannt oder eben nicht erkannt.
Genau auf dem Layer müsste ich zugreifen.
Karten aus/einbauen.... ja wenn es so einfach wäre schon bestimmt 10x gemacht.
Ich vermute sehr stark das es mit den Z490 zusammenhängt. Die Karte im Slot mit CPU Anbindung läuft ja auch.
Deswegen wäre auch so interesst wo andere ihre Mellanox Karten im Slot haben und um welches Board es sich handelt. Naja spätestes wenn der Gamerechner ein neues Board bekommt.... dann vermutlich AMD werde ich mehr wissen.

 

[Skysnake]

Ja, PCIe ist HotPlug fähig. Wird aber nur seltenst ausgenutzt. Ich hab das mal mit ner GPU versucht im Privatrechner wenn ich mich recht erinnere, oder war es ne Sata Platte? Keine Ahnung mehr. Hatte aber geknallt. PC lief aber weiter. An sich gibt es dafür Anleitungen von den Devices die das wirklich können. Kann sei. Das man ein Power Down machen muss oder what ever.

Mir war es dann am Ende nicht wichtig genug, da wir auf der Arbeit entweder Lösungen mit Einschüben haben die man einfach tauscht, oder aber man macht den Rechner eh aus.

Von daher who cares?

Das mit dem rescan machen wir aber häufig. Haben einfach viele Rechner und wenn du mal tausend rebootest kommt IMMER ne Hand voll ohne Karte hoch. Da automatisiert man das halt per Systemd einmal und verwendet das dann halt überall. Dann dauert der Boot halt im Zweifel nur etwas länger oder die Karte muss halt neu gesteckt werden oder geht dann halt in die RMA.

 

[nutsman]

Ich denke in den aktuell Mainstream Boards wirst du sowas nicht finden. Steht sowieso in jedem Datensheet das der Strom getrennt werden muss.
Was ein Rescan unter Windows angeht klingt es schon interessant muss aber dann auf BIOS Ebene durchführt und weitergereicht werden. Leider zum Stand jetzt auch nur eine Spekulation. Da müsste man schon wissen wie es geht.
Ich mache mir aber aktuell wenig Hoffnung das Problem überhaupt irgendwann zu lösen, es gibt einfach zu wenige die so eine Topologie zuhause aufbauen und Erfahungswerte haben. EIgentlich schade den 40Gbe sind schon eine feine Sache und auch die nächsten Jahre in dem Bereich recht zukunftssicher wenn man bedenkt was man schon für 10GBaseT ausgeben kann.

 

[Skysnake]

Mit dem Bios hat das erstmal nichts zu tun. Das muss dein OS können.

Ich würde einfach mal beim Windows Support nen Ticket dazu aufmachen.

 

[stinger2k]

@nutsman
Vielleicht gehts auch damit in einem Script das per Autostart mitläuft...

Devcon bekommt man hier:
https://docs.microsoft.com/de-de/windows-hardware/drivers/devtest/devcon

 

[nutsman]

Nach langem getüftel, habe ich jetzt beide Systeme mit den Mellanox Karten am Laufen.
Im Server steckt die Karte nun im PCIe x16 (Grafikkarten Slot) der direkt an die CPU angebunden ist.
Fehler seid dem nicht mehr aufgetreten.
System 2 wurde auf ein neues ASUS Board mit Z690 aufgerüstet und die Karte steckt dort auch in einem PCIe x4 Slot an den PCH angebunden. Hatte auf dem Board noch kein einziges Problem beim erkennen der Mellanox Karte.
Für mich die Schlussfolgerung der Z490 PCH kommt mit den Mellanox Karten nicht klar. Zumindest bei meinen beiden MSI Boards.....

 

[nutsman]

..... leider plagen mich doch noch ein paar Probleme in dem 40Gbe Umfeld.
Meine M2 SSDs bringen in Verbindung mit dem Z490 Board und RAID1 ca 1600-1700MB/s Schreibgeschwindigkeit.
Wenn ich einen großen File auf den Server 2019 kopiere sehe ich die Spitzengeschwindikeit aber es entwickelt sich ein Sägezahn fortlaufend wie hier zu sehen ist.

Der Server empfängt die Daten, scheint zu Cachen ( RAM Auslastung geht hoch ) und schreibt dann die Daten auf die M2. Dann wird erst wieder übertragen usw.

Hat jemand eine Idee wie man das optimieren kann?

Das 40 GBe LAN ist echt eine tolle Sache, aber irgendwie so ganz rund läuft es halt nicht in meinem Windows Umfeld. Ich hab auch immer schwankende File Transferraten.
Manchmal kann ich mit 2GB/s Daten vom Server lesen. Aktuell sind es nur knapp 1,1GB/s...

Hier starte ich den Benchmark auf einem Win10 Pro Client. Ziel ist ein Netzlaufwerk auf dem Server 2019.


Dazu passen ein Filetransfer vom Server zum Client ....
Das sieht alles nicht so toll aus....

.......und hier nochmal ein Test 15 Min später. Da ist doch irgendwie der Wurm drin

 

[Skysnake]

Kann gut sein, dass die SSD da housekeeping macht oder überhitzt.

 

[nutsman]

Kann gut sein, dass die SSD da housekeeping macht oder überhitzt.

Ne glaub ich eher weniger. Das ist mehr der normal Zustand aktuell. Peaks sind im Lesen vom Server manchmal auf 2 GB/s. Wobei das dann Stunden so ist.
Gestern hatte sich Lesen dann bei 1,45 GB's eingependelt. Schreiben auf den Server ist ziemlich das gleich Bild bei den Tests.
Ist irgendwie komisch, irgendwo muss da ein Bottleneck sein, aber wo.......
Server: Mellanox NIC steckt im x16 Slot. Also voll angebunden mit PCIe 3.0x8.
Z490 Board hat DMI3.0x4 zum PCH.
Dort sind die M.2 SSD mit PCIe3.0x4 angebunden.
Client: Mellanox NIC über PCH Z690 PCIe3.0x4 angebunden.
DMI sollte mit 4.0x8 laufen. M.2 SSD an PCIe4.0x4 angebunden.
Rein aus der Theorie ist das kleinste Bottleneck 4GB/s oder die Übertragungsraten der SSDs.....
Hab ich einen Denkfehler bei der Sache?!?

EDIT: Netzwerk über Mikrotik Switch QSFP+ mit 40Gbe. Interfaces sind up mit 40Gbit's autoneg.

Kann man Windows noch für so ein schnelles Netzwerk optimieren?!.... sollte ja eigentlich das meiste automatisch gehen.