Was ist schneller? Externe HDD an Server oder über das Lan?

[SteigerMP]

Hallo, ich hatte heute mit einem Kollegen eine kleine Diskussion bezüglich der Übertragungsraten von Daten die sich auf einem Server befinden. Wir müssen des Öfteren Daten von einem Server sichern die sich im zweistelligen GB Bereich befinden. Dabei handelt es sich dann meistens um zirka 1 Millionen kleine Dateien.

Entweder sichern wir die Daten direkt vom Server mittels USB Festplatte oder wir richten an unseren PCs Freigaben ein so dass die Daten über das LAN übertragen werden.

Der Server hat nur USB 2.0 Anschlüsse was maximal 33Mbyte/sek bedeutet.
An den PC befinden sich 1Gbit Karten was maximal 100Mbyte/sek bedeutet.

Da ich etwas faul bin, lade ich die Daten über das LAN vom Server. Auf 100Mbyte/sek bin ich allerdings bisher noch nie gekommen. Eher liegt der Durchschnitt bei 3Mbyte/sek. Ich vermute das ist auf die vielen kleinen Dateien zurückzuführen so dass per USB 2.0 auch nicht mehr möglich ist, sprich die vielen kleinen Dateien sind der sogenannte Flaschenhals.

Liege ich damit richtig oder sind über USB 2.0 trotz der vielen kleinen Dateien bessere Übertragungsarten möglich?

 

[HisN]

Sicher 2x die gleichen Daten
Ein mal über den Server, ein mal über USB, dann weißt Du es ganz ohne uns.

Und ja, der Flaschenhals sind die vielen kleinen Daten, wenn Du z.b. das Caching für USB aktivieren würdest, dann würde da eventuell auch mehr gehen (mit gesteigertem Risiko^^)

 

[Masamune2]

Schreib die Dateien beim sichern direkt in ein zip Archiv. Das muss nicht mal unbedingt komprimieren aber dadurch hast du im Ziel nur noch eine Datei und das Dateisystem muss nicht ständig aktualisiert werden. Die Übertragung sollte damit deutlich steigen.

 

[d4nY]

Ich stimme Masamune2 zu, wenn du die DAten am Server zippst, dann hast du nur noch eine große Datei zu übertragen, dann solltest du auch auf 100MByte/s über LAN kommen.

Je nach Art der Dateien lohnt es sich auch sie doch zu komprimieren, weil man vor allem bei kleinen Dateien oft sehr viel Speicherplatz einsparen kann. Müsstest du einfach mal testen.

 

[lejared]

Ja, USB 2 dürfte deutlich schneller sein. Mit großem Abstand am schnellsten würde es aber gehen, wenn ihr eine externe SSD nehmt und dem Server einen USB 3 Anschluss mittels PCIe Steckkarte spendieren würdet. Gerade wenn Gigabyteweise kleine und kleinste Dateien zu übertragen sind würde das den Durchsatz extrem erhöhen und die eine oder andere Stunde sparen.

Lokals Zippen könnte auch helfen. Muss dann halt aber auch erst wieder ausgepackt werden. Das hängt dann einfach davon ab, wie schnell der lokale Speicher auf Server und Client ist.

 

[SteigerMP]

Das wäre eine Maßnahme nur komme ich dazu erst in der übernächsten Woche doch die Frage lässt mich nicht los. USB Caching ist mir etwas zu riskant da die gesicherten Daten später nochmal benötigt werden und teilweise auch zusammenhängen.

Das Schreiben in ein Zip Archiv ist wohl eher ungeeignet? Wenn schnell Daten benötigt werden, wird das Entpacken wohl Tage oder zumindest Stunden dauern. Ich denke du meinst die Daten auf dem Server in ein Zip Archiv spielen und das Archiv dann auf die Festplatte ziehen?

 

[Holt]

Bei vielen kleinen Dateien können leicht auch die HDDs selbst zum Flaschenhals werden und dann ist es fast egal ob USB2 oder Ethernet.

 

[klampf]

Geht es um Windows oder Linux?
Unter Windows hilft ggf. Robocopy mit der Option /MT:16 oder gar mehr. Der arbeitet dann Multi-Threaded und lastet das LAN besser aus.
Wobei da natürlich andere Faktoren eine Rolle spielen. Eben, welche Art/Version von Sharing verwendet wird.

 

[SteigerMP]

Also macht es letztendlich keinen Unterschied da die kleinen Daten kaum Optimierungspotenzial bieten.
Es ist ein Windows Server 2012. Robocopy werde ich mal testen danke.

 

[Holt]

Die Performance bei kleinen Dateien hängt nicht zuletzt auch sehr vom verwendeten Filesystem ab und da hat man unter Linux mehr Auswahl als unter Windows.