Netzwerk Bottleneck mit Unraid

[Roman1210]

Hallo,

Habe eine kurze Frage, ich betreibe einen Unraid Server mit einem 4770k einer intel 2 port 1 Gbit Nick. Ich benutze den Server unter anderem als Cache Server für Steam Origin Uplay usw, das funktioniert auch wunderbar, da wäre nur ein Problem. Ich würde vermutlich die 100mb Datenübertragung zu meinem Pc schaffen aber die CPU limitiert davor. Sobald Steam sich ein Spiel holt gehen alle Kerne auf 100 % Auslastung. Ich schaffe dann eine Datenübertragung von 40 mb pro Sekunde. Wie kann ich das beheben ?

Danke im Voraus

lg

Roman

 

[snaxilian]

Der Steam Cache füllt sich nicht automatisch nach Inbetriebnahme. Installierst du das erste Mal ein Spiel dann wird das in den Cache geholt und dir dann zum PC geschickt. Der Server muss also gleichzeitig die Daten von Steam holen und dir dann ausliefern. Erst wenn du das Spiel ein zweites Mal, z.B. an einem anderen PC installierst sollte es schneller gehen.

 

[MadMax_87]

Gar nicht, da unRAID die Parität deiner Daten mit einem eigenen Algorithmus berechnet, und der braucht ohne Ende Leistung, nicht nur von deiner CPU sondern auch von deinen Platten...
du kannst ein cache-Drive (SSD) dazwischen packen, das ist das einzige was da wahrscheinlich wirklich was bringt

Ergänzung (20. März 2020)

Und ansonsten hilft dir das hier vl noch weiter https://wiki.unraid.net/Improving_unRAID_Performance

 

[-THOR-]

Sehr gute Tipps meiner Vorredner .

Ich bin mir aber nicht sicher ob ein SSD Cache Besserung bringt. Steam Downloads sind insgesamt etwas "speziell". Ich hab es noch nicht genauer untersucht, allerdings fällt es mir immer wieder in meiner PFSense Firewall mit Caching (squid) und Virenscan auf (Und der Cached alles im Ram (32 GB) ).
Sobald ein Steam Download läuft knallt die CPU Auslastung auf 100% und die Datenrate bricht ein. Schafft mein ULV Xeon normal locker die vollen 26 Megabyte pro Sekunde die durch die Leitung gehen, so bricht bei Steam alles auf 10-13 MB/s ein.
Bei anderen Launchern ist mit das noch nicht so krass aufgefallen, nur wenn halt viele kleine Dateien in einem Download sind betrifft es auch andere (was ja auch logisch ist).

Bisher hatte ich noch nicht das Bedürfnis genau nachzuforschen.


Lange Rede kurzer Sinn:
Ich würde an deiner Stelle drüber nachdenken Steam von dem Caching Server raus zu nehmen. Oder du hast Lust zu experimentieren und wie im Vorpost eine SSD als Cache einzubauen, was womöglich aber keine Besserung bringt.

EDIT Nummer 2316318723 :
Ich habe gerade was interessantes finden können, ich denke das ist genau auch hier das Problem:
"
Based on the observed loads in Windows, the bottleneck appears to be my gaming PC—when pulling Steam data at that rate, decoding the chunks into files, and writing the files out to disk, Windows reports that my i7-6700K CPU is tasked pretty heavily—between 60-70%. By contrast, Nginx is barely ticking over, showing 1-2% CPU usage on the caching server. (Nginx is very, very good at quickly and efficiently serving up static objects—that’s what it was built to do, after all!)
"
Quelle: https://arstechnica.com/gaming/2017...m-caching-server-to-ease-the-bandwidth-blues/

Alternative zu UnRaid wäre also Nginx. Ich vermute aber einfach mal das du UNRaid bei dir auch für andere Dinge wie Backups oder normales File Storage benutzt, was mit Nginx natürlich nicht geht.

 

[Roman1210]

Der Steam Cache füllt sich nicht automatisch nach Inbetriebnahme. Installierst du das erste Mal ein Spiel dann wird das in den Cache geholt und dir dann zum PC geschickt. Der Server muss also gleichzeitig die Daten von Steam holen und dir dann ausliefern. Erst wenn du das Spiel ein zweites Mal, z.B. an einem anderen PC installierst sollte es schneller gehen.

Ich habe es geladen, gelöscht und dann vom Server geladen.

Chace Drive habe ich drin einen 500 GB SSD macht aber keinen Unterschied

 

[Roman1210]

Sehr gute Tipps meiner Vorredner .

Ich bin mir aber nicht sicher ob ein SSD Cache Besserung bringt. Steam Downloads sind insgesamt etwas "speziell". Ich hab es noch nicht genauer untersucht, allerdings fällt es mir immer wieder in meiner PFSense Firewall mit Caching (squid) und Virenscan auf (Und der Cached alles im Ram (32 GB) ).
Sobald ein Steam Download läuft knallt die CPU Auslastung auf 100% und die Datenrate bricht ein. Schafft mein ULV Xeon normal locker die vollen 26 Megabyte pro Sekunde die durch die Leitung gehen, so bricht bei Steam alles auf 10-13 MB/s ein.
Bei anderen Launchern ist mit das noch nicht so krass aufgefallen, nur wenn halt viele kleine Dateien in einem Download sind betrifft es auch andere (was ja auch logisch ist).

Bisher hatte ich noch nicht das Bedürfnis genau nachzuforschen.


Lange Rede kurzer Sinn:
Ich würde an deiner Stelle drüber nachdenken Steam von dem Caching Server raus zu nehmen. Oder du hast Lust zu experimentieren und wie im Vorpost eine SSD als Cache einzubauen, was womöglich aber keine Besserung bringt.

EDIT Nummer 2316318723 :
Ich habe gerade was interessantes finden können, ich denke das ist genau auch hier das Problem:
"
Based on the observed loads in Windows, the bottleneck appears to be my gaming PC—when pulling Steam data at that rate, decoding the chunks into files, and writing the files out to disk, Windows reports that my i7-6700K CPU is tasked pretty heavily—between 60-70%. By contrast, Nginx is barely ticking over, showing 1-2% CPU usage on the caching server. (Nginx is very, very good at quickly and efficiently serving up static objects—that’s what it was built to do, after all!)
"
Quelle: https://arstechnica.com/gaming/2017...m-caching-server-to-ease-the-bandwidth-blues/

Alternative zu UnRaid wäre also Nginx. Ich vermute aber einfach mal das du UNRaid bei dir auch für andere Dinge wie Backups oder normales File Storage benutzt, was mit Nginx natürlich nicht geht.

Danke dafür, ja unraid ersetzen kommt deswegen jetzt nicht in Frage da ich es gekauft habe, es ansonsten unheimlich gut läuft und die Möglichkeiten die man damit hat echt toll sind. es ist mein backup server, die shared laufen darauf, plex, pihole, macinabox vms und und und .... 40 mb sind immerhin das 5 fache meines downloads aus dem Internet. Wird die Cpu halt einfach mal getauscht