Anleitung: Mellanox Connect-x3 Peer-2-Peer inkl. Routing

[Skysnake]

Ja, du musst schauen was ein Single streamt überhaupt schafft zu lesen und zu schreiben. Und das für kleine und große Daten.

Zudem ist der Test auf dem Filesystem suboptimal. Filesysteme schaffen oft nicht substained die maximale Datenrate.

Wenn du das Netzwerk testen willst nimm IMB oder iperf.

Wenn du das Filesystem testen willst IOR oder Konsorten.

 

[nutsman]

@Skysnake Danke für die Hinweise... Einen Quick Win wird es hierbei leider nicht geben.
Werde wenn ich etwas mehr Zeit habe mich mal zum Anfang mit iperf beschäftigen.

 

[Skysnake]

Ich weiß, das es nicht einfach ist das zu höre , aber Filesysteme sind einfach tiefe Softwarestacks zusammen mit dem Netzwerk. Da kann verdammt viel schief gehen.

Ich spreche da aus Erfahrung mit großen Systemen. Da geht immer einiges an Zeit fürs Tuning drauf, und das obwohl die Leute wissen was sie tun. Ist ja ihr Job

 

[tristank]

@stinger2k Lassen sich diese Karten für die beschriebene Anleitung verwenden. Ich würde gerne eine 40 Gigabit P2P QFSP+ Verbindung zwischen einem Linux-Server und einem Windows Computer herstellen. Leider finde ich keine Angaben dazu um was für eine Mellanox ConnectX-3 es sich genau handelt. Macht es für die Anleitung einen Unterschied ob es sich um eine Pro Version handelt oder nicht? Hier schreibt jemand, das es sich wahrscheinlich um ConnectX-3 Pro MCX354A-FCCT handelt.

 

[stinger2k]

@tristank
Sollte funktionieren außer das du bei der Pro Variante auf den Flash verzichten kannst da bereits alle Funktionen (Full Data Rate) freigeschalten sind.
Im Infinibandmodus mit richtigem Kabel, wären auch 56GBit drin.

 

[tristank]

Kannst du Kabel für 40GBit und 56GBit empfehlen? Nach einer kurzen Suche bin ich auf dieses Kabel für ca. 35 Euro gestoßen. Von SFP+ ist mir noch bekannt, das bestimmte Transceiver nicht mit bestimmen NICs zusammenarbeiten.

 

[stinger2k]

Transceiver hast du bei den Karten ja keinen, ich habe diese hier:

 

[tristank]

Werden bei den Glasfaserkabeln auch keine Transceiver verwendet?

 

[Skysnake]

Das ist ein AOC. Da ist der Transciever fest mit dem Kabel verbunden. Das macht das Ding mechanisch einfacher und daher billiger

 

[nutsman]

..... leider plagen mich doch noch ein paar Probleme in dem 40Gbe Umfeld.
Meine M2 SSDs bringen in Verbindung mit dem Z490 Board und RAID1 ca 1600-1700MB/s Schreibgeschwindigkeit.
Wenn ich einen großen File auf den Server 2019 kopiere sehe ich die Spitzengeschwindikeit aber es entwickelt sich ein Sägezahn fortlaufend wie hier zu sehen ist.

Anhang anzeigen 1226757

Der Server empfängt die Daten, scheint zu Cachen ( RAM Auslastung geht hoch ) und schreibt dann die Daten auf die M2. Dann wird erst wieder übertragen usw.

Hat jemand eine Idee wie man das optimieren kann?

Das 40 GBe LAN ist echt eine tolle Sache, aber irgendwie so ganz rund läuft es halt nicht in meinem Windows Umfeld. Ich hab auch immer schwankende File Transferraten.
Manchmal kann ich mit 2GB/s Daten vom Server lesen. Aktuell sind es nur knapp 1,1GB/s...

Hier starte ich den Benchmark auf einem Win10 Pro Client. Ziel ist ein Netzlaufwerk auf dem Server 2019.
Anhang anzeigen 1226762

Dazu passen ein Filetransfer vom Server zum Client ....
Das sieht alles nicht so toll aus....
Anhang anzeigen 1226763


.......und hier nochmal ein Test 15 Min später. Da ist doch irgendwie der Wurm drin

Anhang anzeigen 1226765

Das Problem möchte ich nochmal pullen mit meiner Lösung die eigentlich schon peinlich ist.
Man sucht und sucht und findet nix.
Am Ende war es eine zweite Netzwerkverbindung (Onboard NIC) mit 1Gbit's zum Switch.
Diese musste ich wohl aus versehen mal aktiviert haben und Windows hat da wohl verzweifelt versucht Load Balancing oder sowas zu machen
Naja, jetzt läuft nur noch die 40Gbit's Verbindung und seitdem ist das Problem Geschichte ... OH MAN