Netzwerk Performance, iperf, application benchmark

[chillipepper]

Ich habe mein LAN auf 10 Gbit umgestellt. Unter Windows komme ich mit iperf3 leider nur auf rund 5.5 Gbit.

Beide Rechner sind über einen unmanaged 10G Switch verbunden: QNAP QSW-2104-2S
#1 Windows 11 Pro, Supermicro X10SRi-F, Intel X710-DA2, 10GBase-SR (iperf -c 192.168.178.20)
#2 Windows 10 Pro, Supermicro X10SRi-F, Intel X710-DA2, 10GBase-SR (iperf3 -s)
Energieprofil: Ultimate Performance

Unter einer beliebig ausgewählten Linux Runtime, auf beiden Rechnern vom USB Stick aufgestartet und iperf3 nachinstalliert, erreiche ich problemlos 10 Gbit Durchsatz ohne auf der iperf3 Kommandozeile noch irgendwelche speziellen Kommandozeilen Optionen einstellen zu müssen (größere TCP Windowsize oder mehrere Sessions).
Das bedeutet, dass es keinen Fehler im Setup gibt und auch prinzipiell keine Limitierung durch die Hardware besteht.

Weiter unten ein paar Meßergebnisse mit iperf3 unter Windows. Zur Info: die Linux Ergebnisse habe ich mir nur angeschaut (keine Daten gespeichert). Da reichte es mir zu sehen, dass es unter Linux keinerlei Probleme gab, da wurden 10 Gbit/sec problemlos erreicht.

Es gibt einen interessanten Artikel zu dem Thema, demzufolge die TCP Grundeinstellungen von Windows Dektop Versionen im Vergleich zu Einstellungen von Windows Server suboptimal sind, siehe hier:
https://administrator.de/tutorial/w...g-wieder-desuboptimieren-kann-5529700198.html

Allerdings bekomme ich nach dem Anwenden seines Powershell Scripts leider noch schlechtere Durchsatz Werte als zuvor.
https://github.com/MysticFoxDE/WIND...n/W10ANDW11-NETWORK-TCP-DESUBOPTIMIZATION.ps1

Teilweise bringen Änderungen einiger TCP Einstellungen (die für mich noch verständlich sind) eine Besserung, aber leider auch nur in Kombination mit recht hohen Einstellungen von der TCP Windowsize, aber maximal auch nur bis 8 Gbit.

Ich weiß auch langsam nicht mehr, ob ich überaupt iperf3 unter Windows 100% trauen kann, weil iperf3 mit Cygwin übersetzt wurde und diese ominöse cygwin1.dll mit sich rumschleppt, ohne die nichts läuft.

Fragen:

1. Hättet ihr vielleicht eine Idee, ob es da eine schlanke Alternative zu iperf3 gibt?

2. Vielleicht sollte man auch mal einen richtigen Applikationstest machen. Gibt es einen schlanken und einfach zu installierenden FTP Server unter Windows?

3. Hat jemand ein solches Problem für sich lösen können. Vermutlich unwahrscheinlich, aber ich frage trotzdem mal.

4. Ich hatte schon mal in Erwägung gezogen, Windows Server zu installieren und zu schauen, ob es damit besser funktioniert und anschliessen die TCP/IP Settings abzufragen und zu klonen.

5. Habt ihr eine Idee, wie man die Windows TCP Einstellungen wieder auf default stellen kann, nachdem man daran rumgedreht hat?
Ich bin auf 2 Kommandos gestoßen, die dann aber sogar die IP Adresse etc zurücksetzen.
netsh int ip reset
netsh winsock reset
Momentan spiele ich einfach mit Macrium Reflect das Backup vom Morgen ein, um auf der ganz sicheren Seite zu sein. Dauert glücklicherweise nicht zu lange, wegen des Features Rapid Delta Restore, es werden nur die Änderungen weggeschrieben.


iperf3 results on Windows:

K:\xxx\Downloads\iperf-3.1.3-win64>iperf3 -c 192.168.178.20
Connecting to host 192.168.178.20, port 5201
[ 4] local 192.168.178.10 port 52195 connected to 192.168.178.20 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 618 MBytes 5.19 Gbits/sec
[ 4] 1.00-2.00 sec 656 MBytes 5.50 Gbits/sec
[ 4] 2.00-3.00 sec 669 MBytes 5.61 Gbits/sec
[ 4] 3.00-4.00 sec 637 MBytes 5.34 Gbits/sec
[ 4] 4.00-5.00 sec 689 MBytes 5.78 Gbits/sec
[ 4] 5.00-6.00 sec 685 MBytes 5.74 Gbits/sec
[ 4] 6.00-7.00 sec 694 MBytes 5.82 Gbits/sec
[ 4] 7.00-8.00 sec 688 MBytes 5.77 Gbits/sec
[ 4] 8.00-9.00 sec 672 MBytes 5.64 Gbits/sec
[ 4] 9.00-10.00 sec 674 MBytes 5.65 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 6.53 GBytes 5.61 Gbits/sec sender
[ 4] 0.00-10.00 sec 6.53 GBytes 5.60 Gbits/sec receiver

iperf Done.

K:\xxx\Downloads\iperf-3.1.3-win64>iperf3 -c 192.168.178.20 -w 64k
Connecting to host 192.168.178.20, port 5201
[ 4] local 192.168.178.10 port 52205 connected to 192.168.178.20 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 390 MBytes 3.27 Gbits/sec
[ 4] 1.00-2.00 sec 374 MBytes 3.13 Gbits/sec
[ 4] 2.00-3.00 sec 281 MBytes 2.36 Gbits/sec
[ 4] 3.00-4.00 sec 319 MBytes 2.68 Gbits/sec
[ 4] 4.00-5.00 sec 327 MBytes 2.74 Gbits/sec
[ 4] 5.00-6.00 sec 377 MBytes 3.16 Gbits/sec
[ 4] 6.00-7.00 sec 346 MBytes 2.90 Gbits/sec
[ 4] 7.00-8.00 sec 344 MBytes 2.89 Gbits/sec
[ 4] 8.00-9.00 sec 335 MBytes 2.81 Gbits/sec
[ 4] 9.00-10.00 sec 384 MBytes 3.22 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 3.40 GBytes 2.92 Gbits/sec sender
[ 4] 0.00-10.00 sec 3.40 GBytes 2.92 Gbits/sec receiver

iperf Done.

K:\xxx\Downloads\iperf-3.1.3-win64>iperf3 -c 192.168.178.20 -w 128k
Connecting to host 192.168.178.20, port 5201
[ 4] local 192.168.178.10 port 52207 connected to 192.168.178.20 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 678 MBytes 5.69 Gbits/sec
[ 4] 1.00-2.00 sec 682 MBytes 5.72 Gbits/sec
[ 4] 2.00-3.00 sec 693 MBytes 5.82 Gbits/sec
[ 4] 3.00-4.00 sec 708 MBytes 5.94 Gbits/sec
[ 4] 4.00-5.00 sec 696 MBytes 5.84 Gbits/sec
[ 4] 5.00-6.00 sec 670 MBytes 5.62 Gbits/sec
[ 4] 6.00-7.00 sec 667 MBytes 5.60 Gbits/sec
[ 4] 7.00-8.00 sec 681 MBytes 5.72 Gbits/sec
[ 4] 8.00-9.00 sec 701 MBytes 5.88 Gbits/sec
[ 4] 9.00-10.00 sec 692 MBytes 5.80 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 6.71 GBytes 5.76 Gbits/sec sender
[ 4] 0.00-10.00 sec 6.71 GBytes 5.76 Gbits/sec receiver

iperf Done.

K:\xxx\Downloads\iperf-3.1.3-win64>iperf3 -c 192.168.178.20 -w 256k
Connecting to host 192.168.178.20, port 5201
[ 4] local 192.168.178.10 port 52210 connected to 192.168.178.20 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 702 MBytes 5.89 Gbits/sec
[ 4] 1.00-2.00 sec 710 MBytes 5.95 Gbits/sec
[ 4] 2.00-3.00 sec 694 MBytes 5.82 Gbits/sec
[ 4] 3.00-4.00 sec 685 MBytes 5.75 Gbits/sec
[ 4] 4.00-5.00 sec 696 MBytes 5.84 Gbits/sec
[ 4] 5.00-6.00 sec 654 MBytes 5.48 Gbits/sec
[ 4] 6.00-7.00 sec 678 MBytes 5.68 Gbits/sec
[ 4] 7.00-8.00 sec 669 MBytes 5.62 Gbits/sec
[ 4] 8.00-9.00 sec 706 MBytes 5.92 Gbits/sec
[ 4] 9.00-10.00 sec 703 MBytes 5.90 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 6.73 GBytes 5.78 Gbits/sec sender
[ 4] 0.00-10.00 sec 6.73 GBytes 5.78 Gbits/sec receiver

iperf Done.

 

[wern001]

iperf schon mit mehr als einen daten stream probiert?
andernfalls erst mal das übliche: den tcpoptimizer und defaultwerte laden

 

[oiisamiio]

Könnte Windows Defender Package Inspection das Problem sein?

 

[riversource]

Wie sieht die CPU Auslastung während des Tests aus? Unter Windows ist es üblicherweise die CPU Belastung, die Netzwerktransfers ausbremst, da Windows erst mal eine Millionen Dinge mit dem Paket tut, bevor es gesendet oder empfangen wird. Dabei reicht es, wenn ein Core ausgelastet wird. Stellst du also z.B. auf einem 8-Core System 12 % CPU Last während des Tests fest, ist es nahezu sicher ein CPU Problem.

 

[hildefeuer]

ja auf jeden Fall Windows nicht im Energiespar-Modus laufen lassen, sondern auf Höchstleistung.
Ich hatte das mal, das ein Rechner ums verrecken nicht gigabit gebracht hat. 1 Woche später war CPU nur noch auf 1200Mhz, also lag im sterben. CPU getauscht und siehe da wieder gigabit.

 

[Lawnmower]

@hildefeuer Das mit dem Energieprofil hat er doch schon so drin gemäss Eingangspost.

Womöglich müsste auch man noch sicherstellen dass alle Parteien mit derselben MTU Grösse arbeiten, vielleicht auch mal fix mit 9K Grösse testen; womöglich passt Linux das selber richtig an bei einem 10GbE Adapter aber Windows nicht.

 

[chillipepper]

iperf schon mit mehr als einen daten stream probiert?

Das ist vielleicht für eine Firma von Interesse, wenn mehrere clients sich die WAN Bandbreite teilen.
Für mich ist die Performance einer Session primär von Interesse.

andernfalls erst mal das übliche: den tcpoptimizer und defaultwerte laden

Danke, über den bin ich auch schon gestolpert, war mir aber nicht sicher, ob das Tool was taugt und dann auch zuverlässig die Defaults wiederherstellt. Deine Erfahrungen damit sind also positiv?

Ergänzung (19. November 2023)

Könnte Windows Defender Package Inspection das Problem sein?

Dazu müsste ich Defender deaktivieren.
Aber ich glaube offen gestanden auch nicht, dass es das ist

• die CPU Last liegt gerade mal bei 1%
• wenn ich die Window Size auf 2M hochdrehe komme ich zumindest hoch bis 7.4 Mbit aber nicht weiter.

Ich vermute eher, dass die default Parameter in Windows einfach nicht gut gewählt sind, wie auch der Kollege feststellt, der das umfangreiche Powershellscript geschrieben hat (was bei mir jedoch nicht hilft).

Ergänzung (19. November 2023)

Wie sieht die CPU Auslastung während des Tests aus? Unter Windows ist es üblicherweise die CPU Belastung, die Netzwerktransfers ausbremst, da Windows erst mal eine Millionen Dinge mit dem Paket tut, bevor es gesendet oder empfangen wird. Dabei reicht es, wenn ein Core ausgelastet wird. Stellst du also z.B. auf einem 8-Core System 12 % CPU Last während des Tests fest, ist es nahezu sicher ein CPU Problem.

Überhaupt kein Problem. Zwischen 0 und 1 % CPU Auslastung während iperf3 rennt.

Ergänzung (19. November 2023)

ja auf jeden Fall Windows nicht im Energiespar-Modus laufen lassen, sondern auf Höchstleistung.
Ich hatte das mal, das ein Rechner ums verrecken nicht gigabit gebracht hat. 1 Woche später war CPU nur noch auf 1200Mhz, also lag im sterben. CPU getauscht und siehe da wieder gigabit.

Darauf wäre ich nicht gekommen, nee mal im ernst, schau mal was ich da oben geschrieben hab ;-)
"Energieprofil: Ultimate Performance"

Ich habe iperf3 nochmal 2x extra für Dich laufen gelassen, einmal Höchstleistung, das 2. Mal mit Energiesparen.
Am Ende ändert sich am Durchsatz nicht viel.
Nur die CPU Auslastung stieg auf Werte um die 3-5% weil ein paar Cores geparkt wurden.

K:\andreas\Downloads\iperf-3.1.3-win64>iperf3 -c 192.168.178.20 -w 2M
Connecting to host 192.168.178.20, port 5201
[ 4] local 192.168.178.10 port 58366 connected to 192.168.178.20 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 336 MBytes 2.82 Gbits/sec
[ 4] 1.00-2.00 sec 411 MBytes 3.45 Gbits/sec
[ 4] 2.00-3.00 sec 486 MBytes 4.08 Gbits/sec
[ 4] 3.00-4.00 sec 592 MBytes 4.97 Gbits/sec
[ 4] 4.00-5.00 sec 682 MBytes 5.72 Gbits/sec
[ 4] 5.00-6.00 sec 776 MBytes 6.51 Gbits/sec
[ 4] 6.00-7.00 sec 865 MBytes 7.26 Gbits/sec
[ 4] 7.00-8.00 sec 885 MBytes 7.42 Gbits/sec
[ 4] 8.00-9.00 sec 861 MBytes 7.22 Gbits/sec
[ 4] 9.00-10.00 sec 856 MBytes 7.18 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 6.59 GBytes 5.66 Gbits/sec sender
[ 4] 0.00-10.00 sec 6.59 GBytes 5.66 Gbits/sec receiver

iperf Done.

K:\andreas\Downloads\iperf-3.1.3-win64>iperf3 -c 192.168.178.20 -w 2M
Connecting to host 192.168.178.20, port 5201
[ 4] local 192.168.178.10 port 58370 connected to 192.168.178.20 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 314 MBytes 2.64 Gbits/sec
[ 4] 1.00-2.00 sec 392 MBytes 3.29 Gbits/sec
[ 4] 2.00-3.00 sec 458 MBytes 3.84 Gbits/sec
[ 4] 3.00-4.00 sec 564 MBytes 4.73 Gbits/sec
[ 4] 4.00-5.00 sec 672 MBytes 5.64 Gbits/sec
[ 4] 5.00-6.00 sec 763 MBytes 6.40 Gbits/sec
[ 4] 6.00-7.00 sec 831 MBytes 6.97 Gbits/sec
[ 4] 7.00-8.00 sec 855 MBytes 7.17 Gbits/sec
[ 4] 8.00-9.00 sec 882 MBytes 7.40 Gbits/sec
[ 4] 9.00-10.00 sec 849 MBytes 7.12 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 6.43 GBytes 5.52 Gbits/sec sender
[ 4] 0.00-10.00 sec 6.43 GBytes 5.52 Gbits/sec receiver

iperf Done.

Ergänzung (19. November 2023)

@hildefeuer Das mit dem Energieprofil hat er doch schon so drin gemäss Eingangspost.

Womöglich müsste auch man noch sicherstellen dass alle Parteien mit derselben MTU Grösse arbeiten, vielleicht auch mal fix mit 9K Grösse testen; womöglich passt Linux das selber richtig an bei einem 10GbE Adapter aber Windows nicht.

Die standard MTU size ist 1500, da habe ich nichts dran geändert und da werde ich auch nichts dran ändern.
Jumbo frames funktionieren nur dann, wenn alle Netzwerk Komponenten diese unterstützen.
Bei den Intel Karten und dem QNAP switch wäre das kein Problem der QNAP bis 9000.
Aber die Fritzbox könnte das nicht (7490 AX): https://avm.de/service/wissensdaten...RITZ-Box-ubergrosse-Paketlangen-Jumbo-Frames/

An dem Linux habe ich nichts angepasst, das wird an der Stelle auch mit 1500 arbeiten, wäre unklug Jumbo Frames als default zu setzen. Dann hätte im übrigen auch der Download von iperf3 über die Fritzbox nicht funktioniert, weil die keine Jumbo Frames unterstützt.

 

[wern001]

der tcpomtimizer stellt einfach alle netzwerkeinstellungen zurück auf default werte. nicht windows default.
Damit hab ich schon die eine oder andere zickende netzwerkkarte feuer unterm hintern gemacht

 

[Holzkopf]

Versuch mal eine neuere version von iperf3 Link

 

[riversource]

Das ist vielleicht für eine Firma von Interesse, wenn mehrere clients sich die WAN Bandbreite teilen.

Falsch. Ich kenne auch im Heimnetz kaum eine Anwendung, die nur einen Stream verwendet. Auf jeden Fall solltest du es testen, denn wenn es mit mehreren Streams klappt, ist das ein Hinweis darauf, wo man suchen muss.

Jumbo frames funktionieren nur dann, wenn alle Netzwerk Komponenten diese unterstützen.
Bei den Intel Karten und dem QNAP switch wäre das kein Problem der QNAP bis 9000.
Aber die Fritzbox könnte das nicht (7490 AX): https://avm.de/service/wissensdaten...RITZ-Box-ubergrosse-Paketlangen-Jumbo-Frames/

Die Fritzbox kann aber auch keine 10 GBit/s, von daher ist das Argument Unsinn. Wofür gibt es Path MTU Discovery? Genau dafür hat man es erfunden. Ich wage zu bezweifeln, dass du ohne größere MTUs die Leitung auslasten kannst. Oder du musst auf mehrere parallele Steams ausweichen.

 

[chillipepper]

Falsch. Ich kenne auch im Heimnetz kaum eine Anwendung, die nur einen Stream verwendet. Auf jeden Fall solltest du es testen, denn wenn es mit mehreren Streams klappt, ist das ein Hinweis darauf, wo man suchen muss.

Bei meiner Hauptanwendung ist das aber so und ich möchte gerne, dass jede Applikation die volle Netzwerk-Bandbreite zur Verfügung haben kann. Siehe Linux .. geht doch. Genau das möchte ich auch unter Windows.
Das hat ja auch der andere Kollege mit seinem Powershell script hinbekommen, nur dass die ganzen Verbiegungen bei mir die Performance verschlechtern.

Die Fritzbox kann aber auch keine 10 GBit/s, von daher ist das Argument Unsinn. Wofür gibt es Path MTU Discovery? Genau dafür hat man es erfunden. Ich wage zu bezweifeln, dass du ohne größere MTUs die Leitung auslasten kannst. Oder du musst auf mehrere parallele Steams ausweichen.

Hat damit nichts zu tun, Du hast einfach nicht aufmerksam genug gelesen und kommst daher zu falschen Schlüssen. Schau Dir Posting #6 an.

Ich habe nur deshalb erwähnt, dass die Fritzbox keine Jumbo Frames unterstützt, weil er meinte dass hier vielleicht unterschiedliche MTU sizes im Spiel sein könnten. Speziell unter Linux wegen der besseren performance. Aber dann hätte der Download von iperf3 aus dem Internet mit der Linux Kiste nicht funktionieren dürfen, denn die Fritzbox unterstützt keine Jumbo Frames. Im Umkehrschluss alles gut, alle Geräte verwenden eine MTU von 1500 und keine Jumbo Frames.

Die Fritzbox muss übrigens auch keine 10G machen oder können, die ist nur für den Internet Zugang aller Rechner da.

Wo ich gerne die 10G performance hätte ist im LAN, weil einer der beiden Windows Rechner NAS spielt und der 2. Rechner mit am liebsten maximalem Netzwerk Durchsatz darauf zugreifen können soll.
Ich hatte schon sehr früh angefangen mit iperf3 zu messen und die 5.5 GBit hatten mich schon verwundert.

WAN / Internet (VDSL)
| 250/40M
|
Fritzbox 7590 AX
| 1G
|
QNAP QSW-2104-2S
+---10G (OM4) X710-DA2 PC1
+---10G (OM4) X710-DA2 PC2

 

[wern001]

der switch past wenn er es richtig macht die jumboframes passend zum nicht kompatieblen Gerät an.
jumboframes auf 9000 oder so einstellen und gut ist.

 

[riversource]

Bei meiner Hauptanwendung ist das aber so und ich möchte gerne, dass jede Applikation die volle Netzwerk-Bandbreite zur Verfügung haben kann.

Ich möchte auch viel Geld. Aber von allein bekomme ich das nicht. Wenn du alle Hinweise diesbezüglich in den Wind schlägst, dann wirst du nie zum Ziel kommen.

Das hat ja auch der andere Kollege mit seinem Powershell script hinbekommen, nur dass die ganzen Verbiegungen bei mir die Performance verschlechtern.

Womit ja bewiesen wäre, dass es daran nicht liegt. Hätte mich auch gewundert.

Ich habe nur deshalb erwähnt, dass die Fritzbox keine Jumbo Frames unterstützt, weil er meinte dass hier vielleicht unterschiedliche MTU sizes im Spiel sein könnten.

Das hab ich aus der Antwort überhaupt nicht rausgelesen.

Im Umkehrschluss alles gut, alle Geräte verwenden eine MTU von 1500 und keine Jumbo Frames.

Das ist Unsinn. Offenbar bist du dir nicht darüber im Klaren, was Path MTU Discovery macht: In Abhängigkeit vom Ziel werden unterschiedliche MTUs benutzt. 9000 da, wo es Sinn macht, 1500 (oder weniger) da, wo nicht mehr geht. Gerade Linux macht das automatisch. Es ist also denkbar, dass dort Jumbo Frames zum Einsatz kamen, auch wenn du es nicht eingestellt hast.

Die Fritzbox muss übrigens auch keine 10G machen oder können, die ist nur für den Internet Zugang aller Rechner da.

Eben. Deshalb braucht sie auch keine Jumbo Frames. Dein LAN aber schon, wenn du 10G nutzen willst. Was technisch aber kein Problem ist in einem sauber konfigurierten Netzwerk, da nutzen die Systeme die Internet MTU auf dem Weg zur Fritzbox und die Jumbo Frames im LAN.

Also: Teste den Einfluss paralleler Streams und teste den Einfluss von Jumbo Frames. Dann weißt du, wo du weitersuchen musst. Alles andere ist Stochern im Nebel.

 

[chillipepper]

Ich möchte auch viel Geld. Aber von allein bekomme ich das nicht. [...]

Sorry, aber mit Deiner überheblichen Art kann ich nichts anfangen. Geh woanders auf wichtig machen.

 

[riversource]

Ich glaube, deine eigene Überheblichkeit steht dir im Moment mehr im Weg. Wie willst du das Problem denn nun angehen, wenn du die beschriebenen Tests nicht machen willst?

 

[Bob.Dig]

Hier gibt es die aktuellsten, inoffiziellen iperf3 für Windows, dann solltest Du auch die selben Ergebnisse wie unter Linux erzielen. Es sei denn, Du hast die Einstellungen schon kaputt optimiert. So was wie ein tcpomtimizer braucht kein Mensch.

Und für 10Gbit braucht man auch keine Jumboframes. Windows schafft das OOTB.