Serveranbindung: 1 schnelle vs mehrere langsamere

[ripuli-6]

Hi zusammen,

ich plane gerade mein neues Netzwerk und versuche herauszufinden, wie ich meinen Fileserver anbinden sollte. Ist es besser (weniger Latenz für einzelne Clients bei parallelen Zugriffen) eine schnelle Verbindung (10 Gbit) zu haben oder mehrere, langsamere (10x 1 Gbit zB). Die Frage ist derzeit noch etwas theoretisch, aber ich wäre durchaus bereit, in meine Infrastruktur zu investieren.

Eine etwas detailliertere Erklärungen

Ich habe mehrere Clients, die auf den Fileserver zugreifen: über Plex, über SMB, über NFS und teils große Daten (> 2GB) benötigen. Bisher habe ich 4x1 Gbit zusammengeschlossen am Server, der die Daten über den Switch an die Clients verbreitet. Das ist ein bisschen unbefriedigend, weil ich a) viel Kabelwirrwarr habe und b) mir einige Engpässe im Alltag aufgefallen sind. Der Fileserver selbst scheint aber mit der IO-Last nicht überfordert zu sein.

Wenn ich also einen Fileserver habe, der auf der Datenseite genügend Leistung hat - mehrere SSDs im Raidverbund, der locker ein Gigabyte/s schafft -, und den Server ans Netz bringen will, so dass das Netzwerkinterface nicht zum Flaschenhals wird, welche Weg wähle ich am Besten?

a) Eine 10 Gbit Verbindung zum Server, die viele parallele Anfragen verarbeitet
b) Mein bisheriges Setup mit mehreren 1 Gbit Verbindungen, die ich zusammenschalte
c) Alternativ: 2x10 Gbit vom Server.

Bonusfrage

Wie sähe das optimale Setup aus für virtuelle Maschinen? Ist es besser eine dedizierte Verbindung pro virtueller Maschine zu haben oder reicht eine Verbindung, die dann jeweils gebridged wird? Vorausgesetzt, dass keine virtuelle Maschine dringend eine direkte Anbindung ans Netzwerk und damit eigene IP braucht.

 

[Rickmer]

Sind die Clients auch mit 10G angeschlossen? Falls ja, oder auch nur potentielle Pläne -> 10G am Server
Ansonsten würde ich es mir persönlich einfach machen und die 10G Anbindung nutzen, sofern dazu ein entsprechender Switch vorhanden ist.

Das Problem mit mehreren GBit Verbindungen ist dass diese das Limit pro Übertragung sind, falls du jemals Clients schneller angebunden hast.


Wie meinst du dedizierte Verbindung?
Ich hatte mal ein paar kleine Versuche bei mir zuhause gemacht und bin zu folgenden Ergebnissen gekommen:
iSCSI >> Netzlaufwerk auf physikalischer Maschine > Netzlaufwerk auf VM

Ich hatte einen großen Ordner mit einem Haufen MP3s für 2 Minuten kopieren lassen und dann geschaut wie viel übertragen wurde. Pi mal Daumen waren es 17GB vs 7,3GB vs 5,3GB.
Und nein, ich weiß nicht wie 17GB in 2 Minuten über GBit Ethernet gelaufen sind, aber das war die Dateigröße die dann bei mir auf der Festplatte lag. Eventuell sind alle Ergebnisse für die Katz weil ich noch was gecached hatte und das alle Übertragungen nach der ersten unsinnig macht.

(Ich hoffe das hilft in irgendeiner Weise)

 

[honky-tonk]

alle clients über 10g anzuschließen ist außer im firmen umfeld utopisch. also kann jeder client max 1gbit ziehen. daher...wieviele clients hast du die das dann gleichzeit komplett auslasten? mahr als 4 dann 10Gbit.

andererseits...hast du mal geschaut, was ein 10g switch kostet und eine 10g netzwerk karte? da überlegt man sich schnell ob es wenn 2mal im jahr das netzwerk voll ausgelastet wird es nicht auch mal 2min länger dauern darf ;-)

 

[ripuli-6]

Sind die Clients auch mit 10G angeschlossen? Falls ja, oder auch nur potentielle Pläne -> 10G am Server [...] Das Problem mit mehreren GBit Verbindungen ist dass diese das Limit pro Übertragung sind[...]

Momentan sind die Clients noch alle über 1 Gbit angeschlossen, was ehrlich gesagt auch reichen würde, wenn der Zugriff mit rund 100 MB/s zuverlässig erfolgen könnte und das Arbeiten mit den Netzlaufwerken ähnlich flott geht wie mit lokalen Dateien. Ich will halt vermeiden, dass der Server ständig Gedenkminuten einlegt, wenn ich eine schnelle Übersicht über ein Verzeichnis brauche und gleichzeitig ein halbes Dutzend Clients auf den Fileserver zugreifen.

Wie meinst du dedizierte Verbindung?

Wenn ich mehr als eine NIC in meinem Server habe, könnte ich eine physikalische Leitung direkt zur VM durchschleifen, so dass die VM direkt im Netzwerk hängt. Wenn ich einen Netzwerkverbindung dagegen überbrücke, erstellt der Server ja ein virtuelles/separates Netzwerk für VM.

Ich hatte mal ein paar kleine Versuche bei mir zuhause gemacht und bin zu folgenden Ergebnissen gekommen: [...] (Ich hoffe das hilft in irgendeiner Weise)

Danke, hilft schon mal weiter. Zumindest bestärkt es mich, dass ich mit meiner 1x 10Gbit Lösung nicht vollkommen falsch liege.

alle clients über 10g anzuschließen ist außer im firmen umfeld utopisch. also kann jeder client max 1gbit ziehen. daher...wieviele clients hast du die das dann gleichzeit komplett auslasten? mahr als 4 dann 10Gbit.

andererseits...hast du mal geschaut, was ein 10g switch kostet und eine 10g netzwerk karte?

Momentan sind es 6-10, die parallel am Tropf hängen können. Meist sind es aber eher die Hälfte. Die Kosten sind natürlich in gewisser weise ein Thema, aber eher zweitrangig, sofern es unter 2.000 € bleibt. Anhaltendes Gemecker über langsame Verbindungen hat noch jeden Budgetantrag bewilligt ... es muss nur lange genug gemeckert werden.

 

[burglar2k18]

Viel hilft viel: 2x10 mit LACP :-)
Ich denke aber mal, dass du mit 1x10 mehr als ausreichend ausgestattet bist. Du wirst eher clientseitig einen Flaschenhals haben.

Zum Bonus:
Würde da eher die simplere Variante nehmen und das vom Hypervisor verwalten lassen. Direktes Durchschalten des NICs nur bei leistungshungrigen Systemen (geringe Latenzen vonnöten etc).
Falls ESX im Einsatz ist: https://www.vmware.com/content/dam/...performance/Perf_Best_Practices_vSphere65.pdf

 

[Rickmer]

10G Karten fangen an mit ca. 100€ das Stück, für 10 Clients sind die Anschaffungskosten also problemlos das Geld wert wenn die schnellere Anbindung zu effizienterem Arbeiten führt. Wenn man durch geringere Verärgerung der Leute die produktiven Stunden pro Arbeiter im Jahr um 2-3h steigert (und wenn's nur ist weil weniger Zeit mit Gemecker verschwendet wird), haben sich die Netzwerkkarten schon im ersten Jahr amortisiert...

Beim Server sollte dann vielleicht eine teurere Intel-Netzwerkkarte geholt werden der Treiberkompabilität wegen und natürlich muss die Netzwerkverkabelung und der Switch 10G unterstützen. Aber auch schon mit Cat 5E sollte wohl 2,5 oder 5 Gbit/s möglich sein, was für die allermeisten Clients wohl locker reichen dürfte.

 

[snaxilian]

Mehrere Anbindungen machen nur Sinn, wenn dein Fileserver als auch deine Clients SMB 3 Multichannel sprechen. Ansonsten hast du mit LACP nur eine Lastverteilung, in deinem Beispiel könnten 10 Clients mit je 1G gleichzeitig Daten erhalten. Hast du aber z.B. einen 10G Server und den 10x 1G Server, dann kann dazwischen pro TCP Stream nur 1G fließen (https://serverfault.com/questions/569060/link-aggregation-lacp-802-3ad-max-throughput/569125#56912). Ein einzelner Datenstream wird per LACP somit nicht über mehrere Interface aufgeteilt.
Willst du zwischen 2 oder mehr Systemen mehr als 1G? Dann 10G. Willst du eher eine Ausfallsicherheit und der Flaschenhals sind deine 1G Clients dann kannst auch 10x 1G nehmen.

 

[ripuli-6]

danke für eure Antworten und die Links, das hilft weiter.