Zu niedrige Transferraten mit 10G Ethernetadaptern - Wie troubleshooten?

Müsste theoretisch gehen, mein Gehäuse hat 3 solcher Veritakalslots. Ich risikiers einfach mal 👍
 
0x8100 schrieb:
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 112 GBytes 96.2 Gbits/sec 57 sender
[ 5] 0.00-10.00 sec 112 GBytes 96.2 Gbits/sec receiver
Uiuiuiui... Was ist denn das für ein krankes Teil, das knapp 100Gbit/s schaufelt?
 
  • Gefällt mir
Reaktionen: H3llF15H
@Riddimno1 ein 5900x mit client/server auf localhost :) ging nur darum zu zeigen, welche auswirkungen der "-Z" parameter hat (96 vs 79 Gb/s)
 
Ich komm mit local host auf die Hälfte :-D
 
0x8100 schrieb:
@Riddimno1 ein 5900x mit client/server auf localhost :) ging nur darum zu zeigen, welche auswirkungen der "-Z" parameter hat (96 vs 79 Gb/s)
Ich habs auch mal probiert... Hier ist die Diff gar nicht so groß ... 155Gbit ohne zu 161GBit mit -Z (alles im WSL2 unter Windows 11)

markus@Z690:/mnt/c/Users/marku$ iperf3 -c 127.0.0.1 -t 2
Connecting to host 127.0.0.1, port 5201
[ 5] local 127.0.0.1 port 38308 connected to 127.0.0.1 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 18.0 GBytes 154 Gbits/sec 0 1.87 MBytes
[ 5] 1.00-2.00 sec 18.2 GBytes 156 Gbits/sec 0 1.87 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-2.00 sec 36.1 GBytes 155 Gbits/sec 0 sender
[ 5] 0.00-2.00 sec 36.1 GBytes 155 Gbits/sec receiver

iperf Done.
markus@Z690:/mnt/c/Users/marku$ iperf3 -c 127.0.0.1 -t 2 -Z
Connecting to host 127.0.0.1, port 5201
[ 5] local 127.0.0.1 port 38312 connected to 127.0.0.1 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 18.6 GBytes 160 Gbits/sec 0 1.31 MBytes
[ 5] 1.00-2.00 sec 18.7 GBytes 161 Gbits/sec 0 1.44 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-2.00 sec 37.4 GBytes 160 Gbits/sec 0 sender
[ 5] 0.00-2.00 sec 37.3 GBytes 160 Gbits/sec receiver
 
wegi schrieb:
Ich hab jetzt halt "nur" noch das Problem, den unteren PCI-E Slot nutzen zu müssen, weil die Graka den anderen verdeckt... ggrrrr
Der 9900k hat doch integrierte Grafik? ;)
 
wegi schrieb:
nice :) mit pinning auf die beiden schnellsten cores sind hier allerdings nur 142Gb/s drin
Code:
$ iperf3 -A 0 -s
....

$ iperf3 -A 2 -Z -c 127.0.0.1
...
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec   151 GBytes   130 Gbits/sec    1             sender
[  5]   0.00-10.00  sec   151 GBytes   130 Gbits/sec                  receiver

nur um mal die abhängigkeit von den beiden chiplets zu zeigen: 1(2) und 7(8) sind bei mir die (zweit)schnellsten kerne. damit bekomme ich diese ergebnisse:
1,2 -> 142 Gb/s
5,6 -> 126 Gb/s
1,7 -> 88 Gb/s
6,12 -> 79 Gb/s
wenn die daten das chiplet verlassen, wird es ne ecke langsamer.

edit: iperf kann die affinity selbst mit "-A" setzen ("taskset" ist nicht notwendig) und man sollte mit den ht kernen richtig zählen... die ergebnisse schwanken aber ziemlich stark bei mir zwischen verschiedenen durchläufen auf den gleichen kernen.
 
Zuletzt bearbeitet:
H3llF15H schrieb:
Würde ich auch gerne :)

Wärest Du so nett und stellt hier kurz den kompletten Befehl ein? Irgendwie scheine ich dafür zu blöd zu sein :)
Klar.
Den Server startest du mit iperf3 -s
Den Client mit iperf3 -c 127.0.0.1

Machste einfach zwei Terminal Fenster für auf.

Dem Client kannst du dann noch mehr Parameter mitgeben, wie eben -Z (nur Linux) , oder - P %n% für die Anzahl paralleler Streams, oder -t %n% für die Dauer des Tests in Sekunden. Die IP-Adresse 127.0.0.1 ist die Loopback-Adresse und weist den Client an, sich mit dem lokalen iperf3 server Prozess zu verbinden. Daher auch die absurd hohen Werte
rezzler schrieb:
Der 9900k hat doch integrierte Grafik? ;)

Der 9900K ist auch nicht das Problem. Das wird der Server und hat die Intel 2-Port NIC verbaut, die voll im Saft stehen PCIE-Technisch :-) . Mein Client - der mit dem 690er Brett und der Marvell Karte im 1x Slot- ist meine Haupt-Workstation und da kann ich auf die Graka nicht verzichten.

@0x8100: Aus Neugierde: Betreibst du den Rechner mit der 4000€ CPU privat? Habs mal mit -A und ohne -Z durchgetestet. Egal ob P oder E-Core... Alles um die 150GB... Juckt den 12700er nicht
 
wegi schrieb:
Danke :)

Meine Werte:

Code:
C:\iperf-3.1.3-win64>iperf3.exe -c 127.0.0.1
Connecting to host 127.0.0.1, port 5201
[  4] local 127.0.0.1 port 56797 connected to 127.0.0.1 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.01   sec   515 MBytes  4.28 Gbits/sec
[  4]   1.01-2.00   sec   594 MBytes  5.02 Gbits/sec
[  4]   2.00-3.00   sec   645 MBytes  5.41 Gbits/sec
[  4]   3.00-4.00   sec   601 MBytes  5.04 Gbits/sec
[  4]   4.00-5.00   sec  1.11 GBytes  9.54 Gbits/sec
[  4]   5.00-6.01   sec   494 MBytes  4.11 Gbits/sec
[  4]   6.01-7.00   sec   489 MBytes  4.13 Gbits/sec
[  4]   7.00-8.00   sec   477 MBytes  4.01 Gbits/sec
[  4]   8.00-9.01   sec   521 MBytes  4.34 Gbits/sec
[  4]   9.01-10.00  sec   343 MBytes  2.89 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  5.68 GBytes  4.88 Gbits/sec                  sender
[  4]   0.00-10.00  sec  5.68 GBytes  4.88 Gbits/sec                  receiver

iperf Done.

Könnte mir jemand kurz erklären, was hier genau gemessen wurde? Hintergrund ist, dass mein Rechner via 10GbE (Kupfer) direkt mit meinem TS-673A verbunden ist und i.d.R. 400MB/s +/-20MB/s übertragen werden. Kurz um: ich suche den Grund, weshalb ich nicht ans Schnittstellenlimit komme, welches iperf mit angibt:

Code:
C:\iperf-3.1.3-win64>iperf3 -c 10.10.72.1
Connecting to host 10.10.72.1, port 5201
[  4] local 10.10.72.2 port 57057 connected to 10.10.72.1 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec   781 MBytes  6.55 Gbits/sec
[  4]   1.00-2.00   sec   821 MBytes  6.89 Gbits/sec
[  4]   2.00-3.00   sec   823 MBytes  6.90 Gbits/sec
[  4]   3.00-4.00   sec   811 MBytes  6.80 Gbits/sec
[  4]   4.00-5.00   sec   810 MBytes  6.79 Gbits/sec
[  4]   5.00-6.00   sec   808 MBytes  6.78 Gbits/sec
[  4]   6.00-7.00   sec   792 MBytes  6.64 Gbits/sec
[  4]   7.00-8.00   sec   808 MBytes  6.78 Gbits/sec
[  4]   8.00-9.00   sec   781 MBytes  6.55 Gbits/sec
[  4]   9.00-10.00  sec   810 MBytes  6.80 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  7.86 GBytes  6.75 Gbits/sec                  sender
[  4]   0.00-10.00  sec  7.86 GBytes  6.75 Gbits/sec                  receiver


Vielen Dank für eure Unterstützung :)
 
Versuch es mal mit -P n wobei n = Anzahl paralleler Streams. Standardwert liegt bei 1.
 
  • Gefällt mir
Reaktionen: H3llF15H
ich komm mit meinem TR unter Windows nur auf ca 29-30 GBit sek auf localhost egal ob mit P 1 oder 10.
Im Taskmanager gehen 2-3 Kerne auf max Last.
 
Raijin schrieb:
Versuch es mal mit -P n
Das Ergebnis ändert sich nicht.

Code:
C:\iperf-3.1.3-win64>iperf3.exe -c 127.0.0.1 -P 3
Connecting to host 127.0.0.1, port 5201
[  4] local 127.0.0.1 port 58737 connected to 127.0.0.1 port 5201
[  6] local 127.0.0.1 port 58738 connected to 127.0.0.1 port 5201
[  8] local 127.0.0.1 port 58739 connected to 127.0.0.1 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec   619 MBytes  5.19 Gbits/sec
[  6]   0.00-1.00   sec   617 MBytes  5.17 Gbits/sec
[  8]   0.00-1.00   sec   608 MBytes  5.10 Gbits/sec
[SUM]   0.00-1.00   sec  1.80 GBytes  15.5 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   1.00-2.00   sec   756 MBytes  6.34 Gbits/sec
[  6]   1.00-2.00   sec   756 MBytes  6.34 Gbits/sec
[  8]   1.00-2.00   sec   761 MBytes  6.38 Gbits/sec
[SUM]   1.00-2.00   sec  2.22 GBytes  19.1 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   2.00-3.00   sec   550 MBytes  4.61 Gbits/sec
[  6]   2.00-3.00   sec   560 MBytes  4.69 Gbits/sec
[  8]   2.00-3.00   sec   544 MBytes  4.56 Gbits/sec
[SUM]   2.00-3.00   sec  1.61 GBytes  13.9 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   3.00-4.00   sec   600 MBytes  5.03 Gbits/sec
[  6]   3.00-4.00   sec   590 MBytes  4.95 Gbits/sec
[  8]   3.00-4.00   sec   628 MBytes  5.27 Gbits/sec
[SUM]   3.00-4.00   sec  1.78 GBytes  15.3 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   4.00-5.00   sec   588 MBytes  4.93 Gbits/sec
[  6]   4.00-5.00   sec   588 MBytes  4.93 Gbits/sec
[  8]   4.00-5.00   sec   588 MBytes  4.93 Gbits/sec
[SUM]   4.00-5.00   sec  1.72 GBytes  14.8 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   5.00-6.00   sec   587 MBytes  4.93 Gbits/sec
[  6]   5.00-6.00   sec   587 MBytes  4.93 Gbits/sec
[  8]   5.00-6.00   sec   587 MBytes  4.92 Gbits/sec
[SUM]   5.00-6.00   sec  1.72 GBytes  14.8 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   6.00-7.00   sec   651 MBytes  5.46 Gbits/sec
[  6]   6.00-7.00   sec   653 MBytes  5.48 Gbits/sec
[  8]   6.00-7.00   sec   642 MBytes  5.39 Gbits/sec
[SUM]   6.00-7.00   sec  1.90 GBytes  16.3 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   7.00-8.00   sec   662 MBytes  5.55 Gbits/sec
[  6]   7.00-8.00   sec   678 MBytes  5.68 Gbits/sec
[  8]   7.00-8.00   sec   674 MBytes  5.65 Gbits/sec
[SUM]   7.00-8.00   sec  1.97 GBytes  16.9 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   8.00-9.00   sec   790 MBytes  6.62 Gbits/sec
[  6]   8.00-9.00   sec   761 MBytes  6.38 Gbits/sec
[  8]   8.00-9.00   sec   775 MBytes  6.50 Gbits/sec
[SUM]   8.00-9.00   sec  2.27 GBytes  19.5 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   9.00-10.00  sec   641 MBytes  5.38 Gbits/sec
[  6]   9.00-10.00  sec   651 MBytes  5.46 Gbits/sec
[  8]   9.00-10.00  sec   646 MBytes  5.42 Gbits/sec
[SUM]   9.00-10.00  sec  1.89 GBytes  16.3 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  6.29 GBytes  5.41 Gbits/sec                  sender
[  4]   0.00-10.00  sec  6.29 GBytes  5.40 Gbits/sec                  receiver
[  6]   0.00-10.00  sec  6.29 GBytes  5.40 Gbits/sec                  sender
[  6]   0.00-10.00  sec  6.29 GBytes  5.40 Gbits/sec                  receiver
[  8]   0.00-10.00  sec  6.30 GBytes  5.41 Gbits/sec                  sender
[  8]   0.00-10.00  sec  6.30 GBytes  5.41 Gbits/sec                  receiver
[SUM]   0.00-10.00  sec  18.9 GBytes  16.2 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  18.9 GBytes  16.2 Gbits/sec                  receiver

iperf Done.

Welche Bandbreite wird hier gemessen?

@Raijin
Erstmal vielen Dank, dass Du mit mir nicht die Geduld verlierst :D
 
PHuV schrieb:
Hast Du in beiden Karten mal Jumboframes aktiviert und eingestellt? Mit Jumboframes kommte ich bei Marvel AQtion AQC107 direkt über ein LAN-Kabel per Crossover auf ideale Datenraten. Sobald ein 10Gbit Switch dazwischen ist, nicht mehr.

Sind das nicht die Asus Karten?
Ich hab vor ein paar Tagen endlich meinen zweiten 10GBe Switch bekommen.
Muss glatt mal messen.
 
Riddimno1 schrieb:
Ich glaube da ist ne 0 zu viel dran oder?
In Beitrag #11 steht das im unteren Code-Schnipsel
$ grep name /proc/cpuinfo | uniq​
model name : AMD EPYC 7542 32-Core Processor​
@PHuV/HisN:
Habs ja im ersten Beitrag geschrieben: Jumbo Frames, konkret eine MTU von 9014, hatte ich eingestellt. Mit der 1500er MTU lag die Transferrate bei ca. 6,4GBit/sek, mit MTU 9014 bei knapp 7Gbit/sek. Ich nehme an, in beiden Fällen war der PCIx1 geschaltete Slot der limitierende Faktor.

Heute kommt das Riserboard schon. Dann werde ich den Test auch noch mal mit Switch dazwischen wiederholen. Bin aber zuversichtlich, dass es dann auch ohne große MTU in die richtige Richtung gehen wird. Problem ist ja immer, dass wirklich jedes Gerät zwischen den beiden Kommunikationspartnern mit den großen Frames klar kommen muss...
 
  • Gefällt mir
Reaktionen: HisN
@wegi achso, ging von Post #24 aus ;-)
 
Ich hab etwas über die niedrigen Werte beim iPerf Test vom Haifisch gewundert und gerade festgestellt, dass sich das Programm unter Windows anders verhält, als in der Linux VM.

Es braucht bei mir direkt in Windows 9 parallele Streams, um auf maximal ~65GBit/sek zu kommen. Höher geht es nicht. In der WSL2 Umgebung kam das System mit einem Stream auf die ~150GBit/sek.

Ich würde das alles mit Vorsicht genießen und das Tool lieber so einsetzen, wie es gedacht ist: Zwischen zwei separaten Hosts. Das bringt - glaube ich - alles nichts so...

1 Stream
C:\Users\marku\Downloads\iperf-3.1.3-win64\iperf-3.1.3-win64>iperf3.exe -c 127.0.0.1 -P 1 Connecting to host 127.0.0.1, port 5201 [ 4] local 127.0.0.1 port 52180 connected to 127.0.0.1 port 5201 [ ID] Interval Transfer Bandwidth [ 4] 0.00-1.00 sec 1.91 GBytes 16.4 Gbits/sec

9 Streams
C:\Users\marku\Downloads\iperf-3.1.3-win64\iperf-3.1.3-win64>iperf3.exe -c 127.0.0.1 -P 9 Connecting to host 127.0.0.1, port 5201 [ 4] local 127.0.0.1 port 52088 connected to 127.0.0.1 port 5201 [ 6] local 127.0.0.1 port 52089 connected to 127.0.0.1 port 5201 [ 8] local 127.0.0.1 port 52090 connected to 127.0.0.1 port 5201 [ 10] local 127.0.0.1 port 52091 connected to 127.0.0.1 port 5201 [ 12] local 127.0.0.1 port 52092 connected to 127.0.0.1 port 5201 [ 14] local 127.0.0.1 port 52093 connected to 127.0.0.1 port 5201 [ 16] local 127.0.0.1 port 52094 connected to 127.0.0.1 port 5201 [ 18] local 127.0.0.1 port 52095 connected to 127.0.0.1 port 5201 [ 20] local 127.0.0.1 port 52096 connected to 127.0.0.1 port 5201 [ ID] Interval Transfer Bandwidth [ 4] 0.00-1.00 sec 849 MBytes 7.12 Gbits/sec [ 6] 0.00-1.00 sec 849 MBytes 7.12 Gbits/sec [ 8] 0.00-1.00 sec 849 MBytes 7.12 Gbits/sec [ 10] 0.00-1.00 sec 849 MBytes 7.12 Gbits/sec [ 12] 0.00-1.00 sec 849 MBytes 7.12 Gbits/sec [ 14] 0.00-1.00 sec 849 MBytes 7.12 Gbits/sec [ 16] 0.00-1.00 sec 849 MBytes 7.12 Gbits/sec [ 18] 0.00-1.00 sec 849 MBytes 7.12 Gbits/sec [ 20] 0.00-1.00 sec 849 MBytes 7.12 Gbits/sec [SUM] 0.00-1.00 sec 7.46 GBytes 64.1 Gbits/sec

Wer trotzdem möchte, kann ja mal die WSL2 installieren und damit selbst gegentesten
 
Zuletzt bearbeitet:
Zurück
Oben