Probleme mit 10Gbit Netzwerk und 10GBit Switch

[PHuV]

Ich habe aktuell 3 Rechner mit 10Gbit-Netzwerkkarten stehen:

• Anwendung mit Asus XG-C100C (AQUANTIA AQC107), RAM-Disk und Samsung NVMe SSD PM951 512GB, M.2, i7-6700 mit 48 GB RAM
• Server mit Asus XG-C100C (AQUANTIA AQC107), RAM-Disk und Samsung NVMe SSD 950 Pro 512GB, M.2, i7-5820k mit 96 GB RAM
• SpielePC mit Fatal1ty Z370 Professional Gaming i7 und Onboard LAN (AQUANTIA AQC107), RAM-Disk, i7-8700k mit 32 GB RAM

Die Karten sind alle als 2. oder 3.Netzwerkkarte konfiguiert. Beispielsweise hat der Server 2 Lan-Karten zur Lastverteilung:

• eine mit voller Konfiguration direkt an den Router IP, Netzmaske, Gateway, DNS
• die andere an das interne Gigabit-Netzwerk mit IP und Netzmaske, kein Gateway und kein DNS-Eintrag über ein Netgear GS116E Switch (und ja, es läuft so seit mehreren Jahren ohne Probleme)

Genau so habe ich alle 10Gbit-Netzwerkkarten nur mit IP und Netzmaske konfiguriert. Verbinde ich die Karten alle direkt mit einem Cat7-Lankabel (früher als Crosslink bezeichnet), habe ich die volle Performance bei der Datenübertragung per RAM-Disk oder NVMe-SSD auf allen Rechnern hin und her. Ein Review mit Hinweisen findet man bei
https://www.forum-3dcenter.org/vbulletin/showthread.php?t=583594
https://www.computerbase.de/forum/threads/10-gbit-ueber-crossover-kabel.1707723/page-2#post-20433794

Damit ich nicht permanent hin und her stöpseln muß, habe ich mir nun 2 10GBit-Switche bestellt:

• Netgear XS708E-200NES
• Buffalo BS-XP2008-EU

Da ich Probleme mit dem Netgear XS708E-200NES wähnte, habe ich mir gestern nochmal den Buffalo BS-XP2008-EU bestellt, um einen Gegentest zu haben. Bei beiden Switchen ist die aktuelle Firmware installiert. Als Test wird eine 11 GiB große Datei zwischen den RAM-Disks und NVMes (beide mit Laufwerken als erweiterte Netzwerkfreigabe) hin und her kopiert (push und pull).

Problem

Sobald ich nun einen der Switche zwischenschalte, und die Karten im 2. Betrieb nur mit IP und Netzmaske separat (!) am einem 10-Gbit-Switch stecke, brechen die Netzwerkverbindungen teilweise dramatisch ein. V Zwischen den externen Asus-Karten auf dem Server und der Anwendung startet es immerhin mit ca. 90 Mbit/s bis zu ca. 400-600 MBit/s. Ganz selten erreicht es mal 900 Mbit/s. Auf allen Karten sind die Jumbo-Frames auf den maximalen Wert 16k gesetzt. Vom SpielePC mit dem internen AQUANTIA AQC107 kommen und gehen nur schwankend 20-200 MBit/s. Verwende ich den Netgear Switch, bleibt teilweise über 10-30 Sekunden die Datenübertragung einfach hängen und es passiert nichts weiter. Nach ca. 5-10 min ist dann die Datenübertragung irgendwie durch. Daher dachte ich, daß der Netzlink-Switch ein Problem hat, und habe mir gleich den Buffalo Switch bestellt. Beim Buffalo Switch bleibt sie mal kurz stehen, geht aber wenigstens weiter.

Selbstverständlich habe ich den Gegentest gemacht, und alle Karten als einzige LAN-Karten mit voller Konfiguration (IP, Netzmaske, Gateway und DNS) eingestellt. Genau das gleiche Ergebnis, die Performance wie oben beschreiben.

Mir ist durchaus klar, daß ein Switch minimal zu Leistungseinbußen führt und das nicht mit einer Crossover-Verbindung vergleichbar ist. Trotzdem enttäuschen mich diese Werte sehr. Vor allen Dingen der SpielePC verursacht mir Kopfschmerzen, weil die Crossover-Performance hervorragend ist, aber am Switch teilweise gnadenlos versagt. An den Karten wurde außer den JumboFrames nichts weiter eingestellt, ebenso habe ich mal die Treiber deinstalliert und reinstalliert, keine Änderung. Bei den Switchen habe ich lediglich mal Loop Detection eingestellt, und ein paar Optionen (da es managed Switche sind) ausprobiert, ebenso ohne Erfolg, und ebenso ein Reset auf Werkseinstellungen. VLAN Tagging habe ich mal außen vor gelassen, da es in dieser kleinen Konstellation aus meiner Sicht erst mal keine Notwendigkeit dafür sehe. In der Firma haben wir Cisco-Switche, wo wir selbstverständlich VLAN Tagging einsetzen, aber eben auch nur mit 1Gbit-Switches.

Ich kann mich nicht erinnern, daß ich solche Probleme damals mit der Umstellung von 100Mbit auf ein 1GBit Netzwerk hatte, außer daß die Realtek- und Marvel-Lan-Karten damals sehr schlecht waren und teilweise nur die Hälfte der Performance von Intel-Karten lieferten. Aber das ist seit ca. 5-6 Jahren kein Thema mehr, die Karten sind mittlerweile von den Übertragungsraten genauso gut wie die Intel-Karten. Das der AQUANTIA AQC107 nicht der hochperformante Netzwerkchip ist, ist mir klar. Und das die Intel-10Gbit-Chips hier besser sind, ist mir auch klar, sie kosten aber auch das 3fache. Daher mein Fazit und meine Fragen:

• Von der Performance sollten alle Rechner locker aussreichen.
• PCIe-Probleme würde ich ebenso ausschließen, da per Crosslink/Direktverbindung alle Karten gut laufen
• Warum funktioniert am SpielePC Crosslink einwandfrei, macht aber an beiden Switchen so eine Problem?
• Warum ist die Performance fast um 1/3 langsamer als per Crosslink?

Weiß hier ein erfahrener Netzwerker, wo hier die Probleme liegen oder was ich falsch machen könnte? Ich bin erst mal ratlos. Was kann ich noch einstellen, oder anders testen?

 

[wahli]

Hat der Netgear kein Monitoring?
Ich habe zwar nur 1GBit-Switch, aber meiner hat in der Konfiguration einen Reiter "Monitoring".
Schau mal nach, ob dir da was auffällt.

Ansonsten ist 10GBit schon deutlich heikler als 1GBit. Ein kleiner Fehler am Kabel/Stecker/... und schon hat man Probleme. Hast du schon mal ein Kabel ausgetauscht? Oder am Stecker etwas gewackelt? Wie lange sind deine Kabel?

 

[PHuV]

Ja, hat es, nützt aber erst mal nicht viel, da es nur die Übertragungsraten zeigt, sonst nichts weiter. Und ich habe ebenfalls die Kabel mehrfach durchgetauscht, und die Kontakte getestet.

 

[flickflack]

Nimm die Jumbo Frames mal auf 8k runter.

 

[Andreas_]

Auf allen Karten sind die Jumbo-Frames auf den maximalen Wert 16k gesetzt.

Laut Netgear Support unterstützt der Netgear XS708E-200NES nur Jumbo Frames bis 9K

steht auch in den Produkt-Spezifikationen ...

Gerade mal bei dem Buffalo nachgeschaut - laut Spezifikation unterstützt der auch nur Jumbo Frames bis 9K

 

[rony12]

Würd ich auch sagen - ich bin auch über die Jumboframes mit 16k gestolpert ... habe ich so noch nie gehört. - Nach kurzer Recherche hab ich nun gelernt, dass es Frames (MTU) über 9000Byte als Super Jumbo FRames bezeichnet werden, und es geräte gibt, welche da 64k unterstützen.

Entweder auf 9k oder den standard 1,5k verwenden (letzteres, wenn ersteres nicht klappt)

 

[PHuV]

Ihr seid super, vielen Dank, das wars wohl.

Zumindest beim Buffalo bekomme ich kopieren von Server->SpielePC 1Gbit/s hin. Kopieren von SpielePC->Server seltsamerweise geht nicht mehr wie 500-700 Mbit/s, warum auch immer. Push/put (kopieren von eigener RAM-Disk in die Freigabe-RAM-Disk) geht seltsamerweise immer schneller als Pull/get (kopieren von Freigabe-RAM-Disk in die eigener RAM-Disk). Ich werde das morgen mal mit dem Netgear nachstellen.

Ergänzung (21. Juni 2018)

Entweder auf 9k oder den standard 1,5k verwenden (letzteres, wenn ersteres nicht klappt)

Der AQUANTIA AQC107 bietet im Treiber nur 2k an, und dann wird die Übertragung wieder langsamer.

 

[Merle]

Ich würde es erstmal mit Standards versuchen. Wenn dann die Performance nicht reicht kann man ja noch tweaken.

 

[Raijin]

Ich würde vor allem nicht mit einem Dateitransfer testen, sondern mit einem geeigneten Tool wie zB iperf/jperf oder netio. Diese Tools testen selbsttätig RAM-to-RAM. Wenn du mit Freigaben und Laufwerken arbeitest, kommt eben noch SMB, etc. ins Spiel, was dir im worst case einen Strich durch die Rechnung machen kann. Daher lieber mit iperf direkt die Netzwerkverbindung testen.

 

[PHuV]

Netio schafft keine 10 Gbit-Verbindungen. Und für iperf3 muß man wohl Linux verwenden. Hier ist aber der Treiber für Linux von AQUANTIA schlichtweg grauenvoll.

 

[new Account()]

Iperf mit WSL funktioniert nicht?

 

[rony12]

iperf ist kommandozeile und sollte ziemlich sicher unter windows funktionieren.

jperf ist eine GUI für iperf, welche jedoch java benötigt

 

[Skywalker27]

Nur weil 10GB drauf steht sind keine 10GB drin. Gerade die billig Netzwerkkarten/Switche schaffen das nicht mal ansatzweise. Marketing Gags.... :-D
Mit RJ45 kann man vernünftig kein 10GB betreiben. SFP+

Jumboframes werden überbewertet. Das ganze gefummel an Jumboframes macht meistens mehr kaputt als es Vorteile mit sich bringt.

 

[PHuV]

Iperf sieht ja verdächtig aus wie das alte netio.

Iperf3 liefert auf allen Adaptern mit Jumbo Frames 9014 nur 2.7- 3.79 Gbits/sec.

Nur weil 10GB drauf steht sind keine 10GB drin. Gerade die billig Netzwerkkarten/Switche schaffen das nicht mal ansatzweise. Marketing Gags.... :-D
Mit RJ45 kann man vernünftig kein 10GB betreiben. SFP+

Und wie erklärst Du Dir die gute Performance per Crossslink-Verbindung? Wenn Du Dich auskennst, was macht die Schnittstelle so anders? Eigentlich sollte physikalisch 10Gbit/s selbst mit RJ45 drin sein. Was ist dann an SFP+ besser?

 

[h00bi]

Ich würd bei so nem Thema nix auf die Aussagen von jemandem geben der 10Gb und 10GB nicht unterscheiden kann.

Bei den Jumboframes liegt er allerdings nicht so falsch.

Mal so ne Grundsatzfrage: Warum so viele NICs in den Kisten? Je eine 10Gb NIC, ordentlicher Switch dazwischen und gut is. Du baust dir da ohne für mich als Außenstehender erkennbaren Grund ne Menge potentielle Fehlerquellen ein.

 

[PHuV]

Natürlich hast Du Recht, Endziel ist es, im Anwendungs- und SpielePC nur noch eine Karte zu haben, nur der Server sollte nach wie vor mit 2 Karten arbeiten, eine direkt am Router, die andere für das interne Netzwerk.

Nichtsdestotrotz bin ich erst mal ziemlich enttäuscht. Der Netgear-Switch kostet fast 600 € und ist irre laut, der Buffalo ist leiser und mit 400 € günstiger, aber dennoch lohnt sich das IHMO für eine knapp 3fache Performance (von maximal 10) nicht. Wenn nicht die Intelkarten so teuer werden, würde ich glatt mal 2 Karten bestellen und schauen, ob diese besser performen. SFP+ für ein Heimnetzwerk wird noch teuerer.

 

[Raijin]

Iperf3 liefert auf allen Adaptern mit Jumbo Frames 9014 nur 2.7- 3.79 Gbits/sec.

Hm.. Ok, aber immerhin deuten die Ergebnisse darauf hin, dass die Verbindung als solche schneller sein könnte als die von dir im ersten Beitrag erwähnten <900 Mbit/s, die unter Umständen irgendwie durch SMB und/oder Speicherzugriffe verlangsamt werden - auch wenn Ramdisk und NVMe natürlich theoretisch und auch praktisch mehr als schnell genug sein sollten, schließlich schafft ne ordentliche NVMe round about 3 GByte/s.......

Eine Lösung habe ich leider auch nicht wirklich parat. Ich würde an deiner Stelle mal eine Testreihe mit verschiedenen Framegrößen starten. Jumboframes können zwar eine Verbindung deutlich beschleunigen, aber sie sind auch nicht ganz unkritisch und können im worst case eben auch unerwartete Auswirkungen haben.

 

[Skywalker27]

Beim crosslink mag das gut klappen, die sever stehen auch recht nah zusammen. Da ist ja auch kein switch dazwischen der Ärger machen kann.

Die backbones von den günstigen switches schaffen das nicht die Leistung auf allen ports gleichzeitig.
Im soho Bereich "richtige" Cisco switches mit spf+ einzusetzen ist jedoch auch totaler Overkill.

Die ersten 1000mbit Netzwerkkarten hatten zwar offiziell den 1gb Standard, aber mehr als 200-300mbit haben die trotzdem nicht geschafft. Ging Jahre bis die 1gb nics auch wirklich 1gb netto geschafft haben

Wollte in unserem iSCSI Netzwerk auch mal jumbo frames nutzen. Aber mein Cisco Netzwerk fuzzi hat klar davon abgeraten weil das meistens kaum Performance bringt, aber fast immer Ärger.

 

[PHuV]

Eine Lösung habe ich leider auch nicht wirklich parat. Ich würde an deiner Stelle mal eine Testreihe mit verschiedenen Framegrößen starten. Jumboframes können zwar eine Verbindung deutlich beschleunigen, aber sie sind auch nicht ganz unkritisch und können im worst case eben auch unerwartete Auswirkungen haben.

Ich habs bereits durch, und es gibt leider keine positive Veränderung. Immerhin kann ich sagen, daß sich der Netgear und der Buffalo-Switch so erst mal nichts nehmen.

Mein Plan war eigentlich mir ein QNAP TS-832X mit eine 10Gbit Anbindung zu kaufen, da würde der Netgear mit einem SFP+Port gut reinpassen.

Nur mal so, eine SSD liefert netto schon um die 500 MB/s, das reicht schon aus, um eine 10Gbit-Leitung zur Hälfte auszulasten. Aber nicht mal das schafft die aktuelle Konstellation. Da alle meine Rechner und der KinderPC mit SSDs als OS-Platte ausgestattet sind, wäre ein direktes Backup über Netz somit nativ möglich.

 

[hub2017]

Hallo,
gleiches Problem wie oben beschrieben: Hier: mit XS712Tv2 12-Port 10-Gigabit Smart Managed Pro Switch.

Bei verschiedenen Rechnern klappt es nicht. Teilweise bis zu 800MB/sec , dann Einbruch auf 1.5MB/sec und es erholt sich nicht mehr. bei uns scheint es speziell mit Win2019 Server nicht zu funktionieren.

Teilweise Verbindungsprobleme mit Netzwerkdruckern. Vorher lief es jahrelang ohne ein einziges Problem.

Wir überlegen alle Asus Netzwerkkarten wider umzutauschen gegen Intel Karten zu tauschen.

Wie ging den die Geschichte oben aus?