Kein SMB Multichannel

[dvor]

Mir stehen ein Digitus DN-3025 (USB 3 auf 2,5 Gb/s) und ein QNAP QNA-UC5G1T (USB 3 auf 5 Gb/s) Adapter zur Verfügung.
Ziel ist das Kopieren großer Dateien (bis zu 30 GB pro Datei) mittels SMB.

Aufbau:
Router an 1 Gb/s Switch an die 1 Gb/s NICs beider PCs. DHCP, Internetzugang. Ein Standard Heimnetzwerk.
Zusätzlich sind die beiden USB-LAN Adapter direkt miteinander verbunden.

Alle eignesetzten NICs sind nicht RDMA-fähig.

PC1

• Intel I211 1 Gb/s NIC an Switch; RSS auf Maximalwert 2; keine Jumbo Frames (d.h. 1500).
• Digitus DN-3025; feste IPV4 in einem anderen Netz, kein Standardgateway, kein DNS-Server, kein IPV6, 9k Jumbo Frames. Keine Einstellmöglichkeit für RSS.
• Crucial P1 als Lesequelle.

PC2

• Intel I219-V 1 Gb/s NIC an Switch; RSS auf Maximalwert 2; keine Jumbo Frames (d.h. 1500).
• QNAP QNA-UC5G1T; feste IPV4 in dem selben Netz wie Digitus DN-3025, kein Standardgateway, kein DNS-Server, kein IPV6, 9k Jumbo Frames. Keine Einstellmöglichkeit für RSS.
• Samsung 860 EVO als Schreibziel.

Reale Kopierbandbreite: Konstante 295 MB/s. Dabei ist die 2,5 Gb/s Verbindung zu 100 % ausgelastet. Die 1 Gb/s Verbindung wird nicht verwendet. Keine Verwendung von SMB Multichannel. Die Auslastung der Datenträger zeigt, dass sie nicht der Flaschenhals sind.

Änderung: QNAP QNA-UC5G1T fest auf 1 Gb/s einstellen. Somit existieren 2 Verbindungen zu je 1 Gb/s. Ergebnis: Konstante 224 MB/s. Beide Leitungen sind voll ausgelastet. SMB Multichannel funktioniert.


Frage:
Ist es möglich, SMB Multichannel mit insgesamt 3,5 Gb/s zu realisieren? Wenn ja, wie? Wenn nein, warum nicht?


Edit:
Beide PCs mit Windows 10 Professional x64.

 

[SGCGoliath]

Nein ich meine das geht nicht. Dazu benötigt es Link Aggregation und alle Geräte müssen das unterstützen.

 

[dvor]

Link Aggregation ist für SMB Multichannel nicht erforderlich. Schließlich funktionieren 2 * 1 Gb/s Verbindungen ohne Link Aggregation.

Edit:
Sonst hätte ich das ganze gar nicht erst versucht.
Obendrein funktioniert Link Aggrregation nur mit NICs identischer Bandbreite.

 

[d4nY]

Frage:
Ist es möglich, SMB Multichannel mit insgesamt 3,5 Gb/s zu realisieren? Wenn ja, wie? Wenn nein, warum nicht?

Afaik hat SMB Multichannel die gleichen Einschränkungen wie alle Link Aggregation Protokolle: Du brauchst mehrere gleichzeitige Verbindungen

Mit 2 kleinen Hyper-V Servern mit je 2 1 GBit/s NICs und einem Switch Embedded Team, welcher 4 unterschiedliche Netzwerke bereitstellt funktioniert Multichannel auf alle Fälle. Aber nur wenn mehrere Verbindungen gleichzeitig stattfinden. Die LiveMigration einer VM wird bspw. nur maximal 1 GBit/s auslasten, wenn ich aber mehrere VMs migriere, dann laste ich 2 Gbit/s aus

Was passiert denn, wenn du mehrere Kopiervorgänge gleichzeitig startest?

 

[konkretor]

Welches Betriebssystem nutzt du?


SMB MultiChannel geht nur von einem Server zum Client.
In der Powershell kannst du das prüfen mit

get-smbmultichannel


Und ich meine mich finster erinnern zu können das die andere Karte noch in einem anderen Subnetz sein muss

 

[up.whatever]

Eine Runde Google legt nahe, dass SMB Multichannel immer nur Verbindungen gleicher Bandbreite zusammenfasst und langsamere Verbindungen nur im Fehlerfall als Backup dazunimmt. Das deckt sich ja mit deinen Beobachtungen, ist also wahrscheinlich "works as designed".

 

[dvor]

Welches Betriebssystem nutzt du?

Win 10 Pro. Erster Beitrag ergänzt.

Afaik hat SMB Multichannel die gleichen Einschränkungen wie alle Link Aggregation Protokolle: Du brauchst mehrere gleichzeitige Verbindungen

Die sind vorhanden. Und grundsätzlich funktioniert SMB Multichannel: Wenn die 2,5 Gb/s Verbindung auf 1 Gb/s heruntergezwungen wird, dann existieren zwei Verbindungen in physikalisch unterschiedlichen Netzen und unterschiedlichen Subnetzen und SMB Multichannel.

Was passiert denn, wenn du mehrere Kopiervorgänge gleichzeitig startest?

Dann teilen sich beide Vorgänge die eine 2,5 Gb/s Verbindung.

Ergänzung (25. September 2020)

... ist also wahrscheinlich "works as designed".

Schade.

Der Vorteil von 2,5 Gb/s + 1 Gb/s gegenüber 2 * 1 Gb/s hält sich somit in Grenzen. Zumindest für SMB.

Vorteile: 295 Mb/s gegenüber 224 Mb/s und nur ein Kabel erforderlich.

 

[lokon]

Interessantes Thema

SMB Multichannel immer nur Verbindungen gleicher Bandbreite

ein Link fehlt

Das ist bei Technet / docs.microsoft.com über SMB-Multichannel dokumentiert

3.6. Sample Configurations that do not use SMB Multichannel
...

• Network adapters of different speeds. SMB Multichannel will choose to use the faster network adapter. Only network interfaces of same type (RDMA, RSS or none) and speed will be used simultaneously by SMB Multichannel, so the slower adapter will be idle.

Datum: 28.06.2012

 

[Raijin]

Ich meine zudem, mal gelesen zu haben, dass SMB-Multichannel bei Windows Desktop ausschließlich als Client vorhanden ist. Das würde im Umkehrschluss bedeuten, dass zwangsläufig Windows Server auf der anderen Seite laufen muss. Allerdings finde ich hierzu widersprüchliche Infos im Netz bzw. es wird immer nur davon gesprochen, dass SMB-Multichannel ab Windows 8.1. "implementiert" ist, nicht aber ob dies lediglich die Clientfunktion umfasst oder tatsächlich Client und Server.

Hat hier im Forum denn schon jemand erfolgreich mit SMB-Multichannel gearbeitet?


Bezüglich asymmetrischer NICs könnte man für einen grundsätzlichen Funktionstest mal den 2,5er Adapter auf 1 Gbit/s festsetzen. Ich weiß natürlich nicht ob Windows das dann so akzeptiert, aber einen Versuch ist es wert. Wenn das klappt, könnte man ja ggfs über einen zweiten 2,5 GbE-Adapter nachdenken.

 

[lokon]

Gearbeitet ? Nein ^^

Samba Multichannel ist so eine "neue", "Spezialanwendung" (seit 2012 ^^)
2.5G / 5G / 10G für Geschwindigkeiten über LAN sind im Heimbereich neu,
grad gesehn - Home-Switches gibts erst seit diesem Jahr (qnap via anandtech)
Geschwindigkeiten von >100MB/s früher nicht so problemlos erreichbar bzw. notwendig, gegenwärtig schon mit billigster SSD
Außerdem die IO Beschränkung der CPUs "neu" - erst Jumbo Pakete (weniger Interrupts da weniger Pakete, da diese größer sind) - nun "multi-prozess/threading" da selbst schnelle Xeon Core die 10G, 40G Interfaces kaum auslasten können.

grundsätzlichen Funktionstest mal den 2,5er Adapter auf 1 Gbit/s festsetzen

Würde in Samba vermutlich gehen (4.4 relnotes s.u.)
Samba Support für Linux/FreeBSD ist aber experimentell (siehe smb.conf , 4.4 releasenotes, offene Bugs im Multi-Channel) - und im aktuellen 4.13 sind einige Bugs noch offen
quelle war auch: Mailingliste von samba durchsuchen via marc.info Maillisten-Archiv

 

[d4nY]

Hat hier im Forum denn schon jemand erfolgreich mit SMB-Multichannel gearbeitet?

Wie oben geschrieben hab ich 2 Hyper-V Server damit am laufen, wo die beiden 1 GBit's NICs über nen SET und SMB Multichannel verbunden sind.
Darüber laufen dann 4 VLANs (und dementsprechend 4 Subnetze) und funktioniert einwandfrei...einzige Voraussetzung eben: Mehrere Übertragungen gleichzeitig

Zu Client/Server:
Ja, ich hätte auch gemeint mal entsprechendes gelesen zu haben, Microsoft erwähnt explizit ja immer nur Windows 81. Kann sein, dass das mit Windows 10 mal geändert wurde (wie die Unterstützung von ReFS)

 

[Raijin]

Ich wollte damit explizit auf die potentielle Problematik mit SMB Multichannel zwischen zwei Non-Server-Versionen von Windows hinaus. Der TE hat zwei Rechner mit Windows 10 Pro und die Frage ist ob das untereinander überhaupt dazu in der Lage ist oder ob auf Seiten des SMB-Servers eben auch Windows Server laufen muss.

 

[Humptidumpti]

SMB Multichannel funktioniert auch mit einer einzigen Übertragung. Ist ja der Sinn dahinter. Sonst hätte man ja weiterhin Teaming nutzen können.

Die Limitierung ist hier wie oben geschrieben anscheinend die Max. Nic Geschwindigkeit, bzw. dass man keine unterschiedlichen Geschwindigkeiten mixen kann.

@Raijin
Der TE hat doch geschrieben dass wenn er beide Nics jeweils auf 1Gbit/s stellt Multichannel funktioniert.

Ich habe das Problem aber auch. Bei mir klappt es nur zwischen Server und Client obwohl es auch zwischen Clienten funktionieren sollte.

 

[Raijin]

Der TE hat doch geschrieben dass wenn er beide Nics jeweils auf 1Gbit/s stellt Multichannel funktioniert.

Du hast Recht, den Satz habe ich überlesen. Ich entschuldige mich demütigst

Ich habe das Problem aber auch. Bei mir klappt es nur zwischen Server und Client obwohl es auch zwischen Clienten funktionieren sollte.

Dann habe ich zumindest nicht vollends Unsinn verzapft und es ist durchaus nicht unproblematisch. Ich hatte das auch nur so halb im Hinterkopf, dass ich diesbezüglich mal etwas gelesen hatte.

 

[Bob.Dig]

SMB-MC läuft schon seit Ewigkeiten direkt zwischen Win10 Clients.

Das Problem scheint hier tatsächlich die unterschiedliche Güte der zwei Verbindungen zu sein.

Wäre jetzt die Frage für mich, kann man diese irgendwie für Windows gleich erscheinen lassen, das also beide mit der selben Priorität betrieben werden?

Ich selbst hab zuhause überall auch 10G verbaut.

 

[dvor]

Zum Abschluss habe ich es noch mit 1 Gb/s auf der einen Seite und 3 * 100 Mb/s auf der anderen Seite probiert. Alles an einem Switch und in einem Subnetz mittels DHCP. Ergebnis: Der Datentransfer lastet alle drei 100er Schnittstellen vollständig aus. SMB Multichannel funktioniert.

Das weckt Hoffnung für Aufbauten mit 1 * 2,5 Gb/s bei einem Rechner und 2 oder gar 3 * 1 Gb/s beim anderen.