10GBE - Vorteile auch für kleine Dateien?

[RockNLol]

Hallo,
hat 10GBE gegenüber Gigabit eigentlich auch Vorteile bei der Übertragung von kleinen Dateien? In den eher kleinen Netzwerken, mit denen ich zu tun habe, reichen die ~110MB/s von Windowsfreigaben locker aus, allerdings fällt das bei vielen kleineren Dateien auch mal auf 30MB/s ab.

MFG RockNLol

 

[ergibt Sinn]

Liegt das nicht eher an den Festplatten ?

 

[Coca_Cola]

Ja es bleibt mehr Bandbreite für andere Übertragungen übrig.

 

[LukS]

In den eher kleinen Netzwerken, mit denen ich zu tun habe, reichen die ~110MB/s von Windowsfreigaben locker aus, allerdings fällt das bei vielen kleineren Dateien auch mal auf 30MB/s ab.

In diesem Beispiel liegt das nicht an mangelnder Bandbreite, sondern an mangelnder Geschwindigkeit auf seiten der Endgeräte.

Sprich von wo kopierst du? Von einer SSD oder HDD?
Die andere Seite hat was verbaut? HDD oder SSD?

 

[xxMuahdibxx]

Du hast mit Netzwerken zu tun ... mit so wenig Computerwissen am Ende ?

Ich weis jetzt gar nicht auf welchem Niveau man das erklären sollte ...

Post#2 und Post#3 sagen aber schon das passende.

Aber die Frage ist ja auch wieviele PC´s müssen gleichzeitig durch das Kabel ihre Daten verschicken ... 1-2-200 .... denn genau da fangen dann die richtigen Probleme erst an wenn man nur 1GBE hat.

 

[DerFakeAccount]

Das die Übertragungsgeschwindigkeit bei kleinen Dateien einbricht liegt an dem Speichermedium des Servers, bei reinen Festplatten vollkommen normal, bei Festplatten Arrays mit SSD Cache sollte es nicht passieren.

10 Gbit bei kleinen Daten und Festplatten (ohne SSD) im Server bringt rein gar nichts

 

[Cool Master]

Liegt das nicht eher an den Festplatten ?

Nein das liegt an der Übertragung selber. Da spielt es keine Rolle ob eine HDD, SSD oder sonst was.

Das liegt am Protokoll welches in der Regel über TCP geht und jedes Paket ein ACK sendet und bestätigt. Bei einer großen Datei passiert dies einmal. Bei vielen kleinen Dateien jedes mal für jede Datei.

 

[RockNLol]

Basis ist jetzt nicht mein Heimserver mit ausschließlich Festplatten aus meiner Signatur. Die meisten Büroserver, die ich gesehen/gebaut habe, haben zumindest eine SSD als Cache im Speicherpool.

Du hast mit Netzwerken zu tun ... mit so wenig Computerwissen am Ende ?

[...]

Wow, musst du gleich persönlich werden? Es geht um etwa 10-20 Rechner, kleinere Büros.

Quelle ist üblicherweise eine Client-Workstation mit SSD (häufig sogar M2), Ziel ein Windows Server mit 2-4 Festplatten und einer Cache-SSD.

Mein Gedankengang war, dass bei mehr Daten pro Zeit ein einzelnes Paket logischerweise kürzer braucht, und daher viele kleine Dateien auch schneller übertragen werden. Allerdings habe ich auch von schlechterer Latenz von 10GBE gelesen.

 

[Rickmer]

hat 10GBE gegenüber Gigabit eigentlich auch Vorteile bei der Übertragung von kleinen Dateien?

Ja, siehe meine Benchmarks hier: https://www.computerbase.de/forum/t...scheck-10gbit-netzwerk.1914215/#post-23572098

Beachte die reinen 4K Werte, die sind mit 10G rund doppelt so hoch wie bei 1G

 

[ergibt Sinn]

Mir ging es nicht darum ob es sich um klassische Festplatten oder SSD's handelt. Einbrüche bei der Geschwindigkeit ergeben sich ja schon bei Kopiervorgängen von Medium zu Medium in einem PC.

@Cool Master

Danke für die Erläuterung. Also ist das so eine Art Overhead über jeder Datei wenn ich das richtig verstanden habe.

 

[Cool Master]

Wow, musst du gleich persönlich werden?

Nimm es nicht persönlich aber das ist TCP 1x1, dass kleine Dateien länger brauchen als große...

Also ist das so eine Art Overhead

Nein. Das ist der normale Ablauf für TCP. Siehe:

https://de.wikipedia.org/wiki/Transmission_Control_Protocol#Verbindungsaufbau

 

[RockNLol]

Das ist mir auch bekannt, dass kleinere Dateien länger brauchen, drum frage ich ja, ob 10GBE da helfen würde

Ja, siehe meine Benchmarks hier: https://www.computerbase.de/forum/t...scheck-10gbit-netzwerk.1914215/#post-23572098

Beachte die reinen 4K Werte, die sind mit 10G rund doppelt so hoch wie bei 1G

Perfekt, danach habe ich gesucht, danke!
Skaliert nicht 1:1, ist aber eindeutig besser.

 

[Cool Master]

Warum sollte die zusätzliche Bandbreite helfen? Das einzige was mehr Bandbreite bringt ist, dass mehr Leute auf diese ~30 MB/s zurückgreifen können.

 

[lexoon]

10 GBE würde helfen, wobei es aber auch auf den Netzwerkadapter ankommt, was der bei kleinen Files an Durchsatz schafft. Hier gibt es z.B. einen Vergleich zwischen Intel X550 & Aquantia AQC107 (https://sviko.com/t/aquantia-aqtion-aqc107-vs-intel-x550-t2-comparing-10g-interfaces/32), wo man sieht, dass bei der Standard-MTU der AQC107 deutlich langsamer ist.

 

[leipziger1979]

allerdings fällt das bei vielen kleineren Dateien auch mal auf 30MB/s ab.

Das liegt aber nicht am Netzwerk sondern an den Platten bzw. mehr am Dateisystem.
Passiert auch lokal das das kopieren vieler kleiner Dateien lang dauert gegenüber einer großen Datei.

 

[Raijin]

Das liegt am Protokoll welches in der Regel über TCP geht und jedes Paket ein ACK sendet und bestätigt. Bei einer großen Datei passiert dies einmal. Bei vielen kleinen Dateien jedes mal für jede Datei.

Ich vermute mal du meinst das richtige, schreibst aber das falsche.

Bei TCP wird wie du schon sagst jedes Paket mit ACK bestätigt. Das ist aber unabhängig davon was mit TCP übertragen wird, kleine Dateien, große Dateien, whatever. Bleibt bei TCP das ACK für das 4711. Paket der Verbindung aus, wird das 4711. Paket neu gesendet.

Das einzige was bei TCP je Verbindung nur einmalig passiert ist das 3-Way-Handshake für den Verbindungsaufbau vorneweg (Stichwort: SYN) und das Handshake für den Verbindungsabbau (Stichwort: FIN) hintendran. Das sind jeweils 3 Pakete, die bei kleinen Dateien, die in wenige Pakete oder gar in nur eines passen (~1500 Byte abzüglich Header), natürlich entsprechend als Overhead durch das Netzwerk laufen.

 

[Cool Master]

@Raijin

Ja das kommt hin ist schon fast nen Jahrzehnt her, dass ich mit TCP genauer angeschaut habe

 

[Rickmer]

Das liegt aber nicht am Netzwerk sondern an den Platten bzw. mehr am Dateisystem.

Either/Or.

Siehe die Benchmarks die ich oben verlinkt habe - jede halbwegs vernünftige SATA SSD (auch aus dem Consumer-Bereich) kann kleinste Dateien schneller liefern als Ethernet diese verschicken kann. Wenn Quelle und Ziel schnell genug sind kann das Gigabit durchaus der Flaschenhals sein, auch wenn nur 30MB/s übertragen werden.

Hier würde 10G Hardware durchaus helfen, aber eine 10-fache Übertragungsgeschwindigkeit ist nicht zu erwarten. Ich weiß jetzt nicht wie viele mehr Pakete in Realität bei 10G gegenüber 1G verschickt werden und inwieweit die MTU erhöht wird um höhere Transfergeschwindigkeit zu ermöglichen (und ob es da einen Unterschied zwischen RJ45 und SFP+ basierten Netzwerken gibt oder ob bei mir vielleicht sogar der Switch oder die Netzwerkkarte limitiert hat), da fehlt mit grade das Detailwissen.

Experimentell sagt -> ungefähr doppelt so schnell

Vielleicht gehe ich später ja noch googeln

 

[Grimba]

Skaliert nicht 1:1, ist aber eindeutig besser.

Diese Info würde ich aus dem Benchmark nicht ziehen.

Man sieht ja bei den Benchmark folgendes: Die SATA-Verbindung war (wenig verwunderlich) mit Abstand die schnellste, das heißt bei 1G und 10G Netzwerk bremst das Protokoll. Hier war man vor allem auch mit sehr schnellen SSDs unterwegs.

Diese Ergebnisse kannst du im Grunde schwierig auf deine Büroumgebung übertragen, denn zum einen hast du ja in der Regel nur Cache SSDs, die greifen nicht immer, und zum anderen verwendest du ja nichtmal die gesamte Bandbreite von 1G, was man an deinen Übertragungsraten sehen kann bei kleinen Dateien.

Wenn du also die vorhandene Bandbreite nicht ausnutzen kannst, bringt es nichts, sie noch weiter zu verbreitern.
Dass in dem Benchmark 10G schneller war als 1G kann man auch damit erklären, dass mit Sicherheit die Standardeinstellung für die maximalen gleichzeitigen Verbindungen bei 10G im System höher ist, als bei 1G. (war Quark) Und da die SSDs die Bandbreite offensichtlich besser füllen können, als in deinem Fall, ermöglichen sie hier mehr Zugriffe und damit mehr Übertragungen pro Zeit. Das geht aber nur dann, wenn das Protokoll bremst, und nicht die Speichermedien. Das ist bei dir eher nicht der Fall.

 

[Rickmer]

Hier war man vor allem auch mit sehr schnellen SSDs unterwegs.

Jain, die Micron 5210 ION 7.68TB, SATA ist jetzt kein Wunderwerk der Geschwindigkeit oder IOPS. Das ist halt QLC ohne SLC-Cache.

und zum anderen verwendest du ja nichtmal die gesamte Bandbreite von 1G, was man an deinen Übertragungsraten sehen kann bei kleinen Dateien.

Was heißt Bandbreite? Wenn jedes verfügbare Paket genutzt wird, ist die ja auch ausgenutzt, auch wenn nur 30MB/s übertragen werden.

Es wäre halt zu klären ob der Server lokal mehr als 30MB/s bei demselben Datensatz schaffen könnte, z.B. beim Kopieren auf eine externe SSD.