Keine SMR-Laufwerke für Steam

[Crass Spektakel]

In letzter Zeit ärgere ich mich immer wieder über die elend langen Updatezeiten von Steam für Software. Neulich kam ein 330MByte Update für ARK rein welches sechs Stunden für die Installation brauchte. Oder ein 15GByte-Update das ungelogen drei Tage benötigte. Und was um so ärgericher ist, andere Software oder Hardware hat hat diese Probleme nicht.

Nur die Kompination "SMR-Harddisk" mit "Steam-Download" zeigt diese Symptome.

Ich bin sicher kein Anfänger. Ich arbeite mit grossen Storage-Systemen seit 35 Jahren. Ich kann meine Laufwerke über Commandline mittels SMART-Tools und SCSI-Codepages bis auf den niedrigsten Low-Level-Bereich debuggen. Alle benutzte Hardware ist fehlerfrei. Alle beteiligten Rechner haben mindestens vier Kerne, 3Ghz Takt, 32GByte

Im folgenden möchte ich ein paar Beobachtungen posten, alles mit dem 330MByte Update, nur offizielle Maps und DLCs, ARK belegt bei mir 260GByte.

Update für ARK in Steam
2000 GByte SATA-SSD ca. 7 Minuten
10000 GByte CMR-HD ca. 20 Minuten
1500 GByte CMR-HD ca. 20 Minuten
2000 GByte SMR-HD knapp unter 400 Minuten

Steam runtergefahren, Update mit rsync von SSD übertragen, Steam neu gestartet, Verify Game und dann gezockt.
10000 GByte CMR-HD ca. 25 Minuten
1500 GByte CMR-HD ca. 25 Minuten
2000 GByte SMR-HD ca. 50 Minuten

Update für ARK in Epic
2000 GByte SATA-SSD ca. eine Minute
10000 GByte CMR-HD ca. 5 Minuten
1500 GByte CMR-HD ca. 5 Minuten
2000 GByte SMR-HD ca. 10 Minuten

Aber nicht nur ARK hat diese Probleme, bei ARMA3 ist es ähnlich, ein 15GByte-Update vor ein paar Monaten sah grob so aus:

Update für ARMA3 in Steam
2000 GByte SATA-SSD ca. 25 Minuten
10000 GByte CMR-HD ca. 50 Minuten
1500 GByte CMR-HD ca. 50 Minuten
2000 GByte SMR-HD ca. 300 Minuten

Einige Spiele aber schaffen ihre Downloads auch in Steam schnell, z.B. Destiny2, 15GByte Update: Immer unter 30 Minuten.

Wie man sieht ist es fast unerheblich welche CMR-HD man verwendet. Selbst eine zehn Jahre alte 1500GByte-CMR-HD mit maximal 150MByte/s kann mit einer nagelneuen 10000GByte-CMR-HD mit maximal 250MByte/s mithalten.

Meine Vermutung: Steam nutzt für differentielle Updates auf SMR-HDs einen sehr schlechten Algorithmus. Bei einem differentiellem Update werden alle Dateien gelesen, verändert und neu geschrieben. Was übrigens nicht nur elend lange auf SMR-Laufwerken dauert sondern auch SSDs stark abnutzt, ein Update von ARK schreibt bei mir fast 300GByte auf der SSD, mehr als alle anderen Anwendungen zusammen in einem Monat produzieren.

Während meine CMR-Laufwerke beim Updaten kaum zu hören sind und nur gelegentlich ein wenig klappern rattern sich die SMR-HDs die Motoren aus dem Leib. Selbst eine Stunde nach einem Steam-Update klappert meine SMR-HD immer noch unter Schmerzen um den Cache auszuschreiben...

Destiny 2 nutzt auch in Steam keine differentiellen Updates sondern nur additive, daher sind die Updates vergleichsweise sehr schnell erledigt. D.h. es werden keine alten Dateien verändert sondern neue heruntergeladen die die alten Daten in der Installation als obsolet markieren.

RSync macht ebenfalls differentielle Updates aber deutlich intelligenter.

Epic wiederum geht auf zwei Methoden vor: Ersten ist der differentielle Modus eher mit rsync vergleichbar, zweitens löscht Epic großzügig alte Dateien und überträgt sie schlicht komplett neu. Damit hat man zwar etwas mehr Traffic aber unterm Strich sind die Updates trotzdem sehr viel schneller durch.

Ich hoffe daß Steam endlich mal diesen Mist in den Griff bekommt. Es macht einfach keinen Spaß wenn man nach einem Update stunden- und tagelang nicht mehr in ARK oder ARMA reinkommt was besonders lustig ist wenn einem inzwischen die ganzen Babies verhungern oder NPCs die Basis mit Artillerie platt machen.

Für sowas habe ich gottseidank inzwischen mein Gratis-EPIC-ARK auch wenn mit da sämtliche DLCs fehlen. Um mal schnell reinzugehen reichts aber es pißt mich an.

 

[Burki73]

Ist schon ein ziemlich krasser Erfahrungsbericht. Besonders, das bei dir ganzen Babies verhungern oder NPCs die Basis mit Arty platt machen


Schlimm ist auch, das es eben nicht kommuniziert wird, ob man nun eine SMR HDD hat oder nicht.

Wie stelle ich das denn überhaupt fest? Ich nutze zwar im PC nur 1x M.2 NVME SSD, 2x SATA SSDs und eine HDD für Daten. Habe aber für extern per USB noch 3x HDDs im Einsatz. Da weiss ich aber garnicht, ob die SMR haben oder nicht.

 

[dvor]

Schlimm ist auch, das es eben nicht kommuniziert wird, ob man nun eine SMR HDD hat oder nicht.

Das muss der Hersteller in die technischen Daten aufnehmen. Wenn nicht, dann darf man das Produkt nicht kaufen. Kommunikation vom Hersteller zum Kunden ist damit gar kein Problem.

 

[cloudman]

So überraschend ist das auch nicht auch wenn die Unterschiede schon krass sind.
Oft sind zumindest große Teile der Games komprimiert. Um einen patch anzuwenden nachdem er heruntergeladen ist muss also erst dekomprimiert werden, dann der Patch angewendet werden und das Ergebnis wieder komprimiert werden.
Zusammen mit den riesigen Dateien ist das so ziemlich die schlimmste Aufgabe für eine SMR Disk.
Allerdings gibt es auch ziemliche Unterschiede bei den SMR disks je nach Firmware.
Bei einer 2TB disk vermute ich dass sie schon etwas älter ist.
Wirklich gedacht sind SMR eigentlich als Archive Storage. (auch wenn manche Hersteller uns etwas anders glauben machen wollten)

 

[Jake Grafton]

Keine HDDs für Spiele ist eine bessere Regel.
Wir haben kein 2008 mehr.
Dass SMR HDDs der letzte Schrott sind (nicht nur für Steam/Spiele), ist eigentlich aber auch schon sehr lange bekannt.

 

[tollertyp]

Schon krass... aber mag ja sein, dass es für den Download quasi unerheblich ist, welche CMR-HDD man verwendet (wenig überraschen aus meiner Sicht, so lange man nicht parallel auf der selben HDD noch andere Dinge macht).

Für das Spielen selbst könnten aber Zugriffszeiten der CMR durchaus Einfluss haben.

Aber bezüglich der differentiellen Updates: Also angenommen ich habe eine 1 MB-Datei und da haben sich 20% geändert. Ist es aus deiner Sicht weniger Abnutzung, diese Datei komplett neu zu laden anstatt nur das geänderte? Warum sollte das die SSD dann weniger abnutzen? Deine Logik bzgl. des Algorithmus erschließt sich mir nicht.

@Jake Grafton: Yap, auch wenn manche gleich sagen "nie eine SMR-HDD", aber bei einem Datengrab könnte ich es mir noch vorstellen. Zumindest zu dem Zeitpunkt, als große HDDs eben nur als SMR verfügbar waren. Hat sich ja zum Glück auch geändert.

 

[Crass Spektakel]

Aber bezüglich der differentiellen Updates: Also angenommen ich habe eine 1 MB-Datei und da haben sich 20% geändert. Ist es aus deiner Sicht weniger Abnutzung, diese Datei komplett neu zu laden anstatt nur das geänderte? Warum sollte das die SSD dann weniger abnutzen? Deine Logik bzgl. des Algorithmus erschließt sich mir nicht.

Letztlich kann es mir egal sein WARUM der Patch so lange dauert. 400 Minuten auf Steam sind einfach unverschämt lange gegenüber 5 Minuten auf Epic. Btw, selbst auf der scharchigen XBox One liegt die Patchdauer deutlich unter 15 Minuten. Daß mich die Technik dahinter trotzdem interessiert zeigt nur wie nervig das Problem ist. Lieber wärs mir aber wenn es einfach gelöst würde.

Bei ARK auf Steam kommt hinzu daß der Patch-Algorithmus auch schon greift wenn nur die atime oder Schattenkopie einer Datei geändert wird und das ist fast immer der Fall. Da werden auch Dateien neu angelegt deren Inhalt völlig identisch ist. RSync macht das z.B. nicht ausser man erzwingt dieses Verhalten explizit.

Wenn ein Patch ein paar Dutzend Dateien mit 10GByte ändert und das satte 200 Minuten dauert (ja, das ist auf SMR-HDs durchaus realistisch) dann wäre eine Komplettübertragung mit meiner 100MBit-Internetverbindung mit 15 Minuten in der Tat schneller.

Daß Steam&ARK dann auch noch zusätzlich die restlichen 250GByte - die sich ja bis auf ein paar Access-Times garnicht geändert haben - komplett neu anlegt und lokal kopiert was nochmal 3 Stunden dauern kann ist sozusagen das Sahnehäubchen auf dem Scheißhaufen.

Wie gesagt denke ich daß das Verhalten sowohl durch unkluge Algorithmen von Steam aber auch durch falsche Verwendung der Algorithmen durch Studio Wildcard ausgelöst werden. Aber wenn selbst ich als Epic-Hasser inzwischen ARK lieber auf Epic denn Steam zocke dann ist die Kacke schon schwer am Dampfen.

Btw, ist ARK und ARMA3 erstmal gepatcht dann startet und läuft das Spiel sogar von der scharchigen SMR-HD recht flott.

Btw2, ich habe das Problem schon mehrmals auf dem Steam-Bugtracker gemeldet, auch ein paar wenige andere haben das gemacht. Bisher gab es eine Antwort daß das Problem bekannt ist aber seit einem halben Jahr ist da nix passiert. Mehr Druck kann nicht schaden, daher poste ich diesen Text auch bei Steam und anderen Foren.

 

[Burki73]

Ist es denn bei vielen Spielen so negativ bemerkbar, oder nur bei ARK/ARMA3? Machen auch relativ kleine Spiele diesen Ärger?

Wenn Steam das Problem bereits kennt und nichts dagegen unternimmt, ist es leider so. Wahrscheinlich sind nur relativ wenige Nutzer davon betroffen. Die eben die erwähnten Spiele nutzen und dazu eine SMR HDD nutzen.

Das Problem könnten die Nutzer auch selber lösen, indem sie eben andere Laufwerke nutzen. Muss halt jeder selber entscheiden.

 

[Crass Spektakel]

Das Problem könnten die Nutzer auch selber lösen, indem sie eben andere Laufwerke nutzen. Muss halt jeder selber entscheiden.

2.5 Zoll Festplatte mit 7mm Dicke ohne SMR gibt es nur mit 1TByte... und das sind asbachuralte und lahme Oldies.

Erschreckend aber wahr, fürs gleiche Geld, d.h. €50, bekommt man eine 2TByte SMR-HD... Gäbe es diese HD auch mit 1,5TByte ohne SMR fürs gleiche Geld wäre alles gut. Wobei ich ohnehin ratlos bin daß es diese Bauform selbst mit SMR nur bis 2TByte gibt... 2005 meldet sich und will sein High-Tech zurück...

https://geizhals.de/?cat=hde7s&xf=1080_SATA+1.5Gb/s~1080_SATA+3Gb/s~1080_SATA+6Gb/s~13810_1000~14771_7~3772_2.5~8457_non-SMR

Man hat ja praktisch als Notebook-Benutzer gar keine andere Möglichkeit als ne SMR-HD zu verwenden.

Alternative: 2.5 Zoll QLC-SSD für €170.

Erstens war mir das für einen Drittrechner zu teuer und zweitens hat QLC ja praktisch die gleichen Probleme wie SMR. Damit würde das Update dann halt keine 400 Minuten dauern aber immer noch 80 Minuten...

Alternative: M2 TLC-SSD für €220. Und damit wurde aus einem billigen Datengrab für €50 ein Speichermedium das fast so viel kostet wie manche Komplettrechner...

Ergänzung (14. Dezember 2020)

Nachtrag, vor ein paar Stunden gab es nochmal ein kleineres ARK-Update bei dem ich einen Trick ausprobiert habe:

Ich lasse mir von rsync eine Liste der Dateien relativ zu meinem Hauptrechner erstellen die sich wirklich geändert haben. Das dauert ca. eine Minute. Dann lösche ich diese Dateien was keine Sekunde dauert. Anschliessend starte ich einen Verify - dauert 40 Minuten - und der holt dann nur die betroffenen Dateien neu. Das ganze läuft als kleines Bash-Script unter Linux und Windows/Cygwin bis auf "Verify Game" vollautomatisch.

Theoretisch könnte ich rsync auch anweisen die Änderungen komplett selber einzuspielen. Allerdings dauert das locker mal 10 Minuten und am Verify ändert das auch nichts, den muß man trotzdem machen.

Eine echte Lösung ist das nicht aber besser als 400 Minuten zu warten...

Btw, es sind nicht alle Spiele davon betroffen aber aus dem Bauch heraus würde ich sagen daß es die Mehrzahl ist. Bei einem 260GByte-Spiel mit drei Updates pro Woche fällt das nur stärker auf als bei einem 4GByte-Spiel mit einem Update pro Jahr...

 

[dvor]

Alternative: 2.5 Zoll QLC-SSD für €170.

Für das OS besser nicht.

TLC gibt es derzeit auch für EUR 170 (MX500).

 

[tollertyp]

Das OS würde ich eh nicht auf eine 2,5"-2TB-SSD machen... aber jedem das seine.

 

[Ranayna]

Zu langen Patchzeiten faellt mir noch Path of Exile ein. Das hat auch den Ruf das es auf Steam selbst fuer kleine Patches ewig braucht um upzudaten.
EInige Berichte die ich dazu gelesen haben passen zu der Symptomatik die Ark anscheinen auch zeigt, selbst auf einer SSD habe ich gemerkt dass das Spiel laenger braucht als andere zum patchen.
Und auch hier zeigt sich das es nicht am Spiel selber liegt, denn wenn man den non-Steam Client benutzt patcht der deutlich schneller.

 

[Crass Spektakel]

Das OS würde ich eh nicht auf eine 2,5"-2TB-SSD machen... aber jedem das seine.

Wenn der Rechner nur SATA hat oder die 2.5Zoll-SSD mit U.2 arbeitet spricht doch nix dagegen :-) Ich fände eine bezahlbare U.2-SSD im 2.5Zoll-Gehäuse sogar deutlich interessanter als diese fuzzeligen M.2-Kärtchen weils besser kühlbar ist und man zur Wartung leichter rankommt. Ok, das sind Spinnereien.

Im Ernst, zwischen meiner SATA-SSD und meiner M2-SSD merke ich keinen Unterschied im Alltag. Wirklich absolut überhauptkeinen. Bestenfalls wenn ich Terabyteweise File wuppe spielt das eine Rolle.

Selbst ARK ist über SATA in acht Minuten kopiert.

 

[tollertyp]

Edit:
Dagegen sprechen tut nichts.
Aber ich würde es einfach nicht machen. Habe ja geschrieben: Jedem das seine.

Ich bin froh, wenn mein System seine eigene SSD hat. Und ich hatte da auch bewusst gar nicht von dem Anschluss-Art gesprochen. Ob SATA oder NVMe, außer beim Kopieren/Verschieben von Dateien merkt man doch eh keinen Unterschied und auch nur dann, wenn sowohl Quelle als auch Ziel schnell genug sind.

Bei einem Laptop, der vielleicht nur noch einen M.2-Anschluss und gar kein SATA mehr bietet, bleibt ja kaum eine Alternative.