Windows Server RAID 5 extrem langsam (1MB/s)

applebirne

Ensign
Registriert
Aug. 2014
Beiträge
195
Hallo zusammen,

vor ein paar Monaten hab ich aus meinem alten Rechner einen Server (NAS) für Familienfotos etc. gebaut.
Das NAS hat nen i7 5820k, 32GB ram, ne 512GB m2 SSD für das OS etc., 3x WD RED 6TB und läuft auf Windows Server 2019.

Die Platten sind über das Windows Festplattendienstprogramm in einem Software RAID 5 konfiguriert.

Etwas Hintergrund:
Anfangs lief alles top.
Als ich neulich wieder ein paar Daten von meinem Rechner auf den Server übertragen habe, hab ich mich zwar über die niedrige Transferrate ~10MB/s gewundert, dachte mir aber dass es vielleicht am Switch (billiger 20€ switch aber eig. trotzdem Gigabit switch) liegt und hab das erstmal aufgeschoben, da eh eine Umrüstung des Heimnetzwerks (Lan Verkabelung im Haus) bevorstand.

Nun, jetzt ist das Haus mit CAT 7 verkabelt, im NAS so wie in meinem PC ist ne 10GBe Karte verbaut und alles ist über einen 10GBe switch verbunden. Langsames LAN wird mich jetzt nicht mehr stoppen, Zeit den Inhalt von ein paar alten externen Festplatten zu übertragen dachte ich mir. Meine Frustration war gestern entsprechend groß als ich übertragungsraten von 500KB/s - 2MB/s gesehen hab.



Wie auch immer. Nach einigen Tests (iperf3 um das Netzwerk als Fehler auszuschließen, Festplatte direkt ans NAS angeschlossen, Daten von der SSD auf das Raid Laufwerk kopieren und umgekehrt) bin ich zu dem Schluss gekommen dass das Problem das Raid Laufwerk selber ist was ein Test mit CrystalDiskmark auch bestätigt hat.
Hier das Ergebnis (der Test wurde lokal auf dem NAS ausgeführt):
Raid5 Langsam.PNG

(nur 32MiB Testgröße weil alles andere ewig dauern würde.)

Das sind natürlich lachhafte Werte.
Hat jemand eine Idee woran das liegen könnte?

Ein Anhaltspunkt den ich habe ist, das in der Datenträgerverwaltung der Status "Synchronisation wird wiederholt steht.
Es ist bekannt dass diese Synchronisation die Performance negativ beeinflusst, jedoch sollte der Einfluss üblicherweise nicht so gravierend sein. Nach dieser Anleitung (englisch) https://serverfault.com/a/390312 habe ich mal die Geschwindigkeit mit der die Synchronisation durchgeführt wird überprüft und die liegt auch nur bei ca. 500kb/s (das würde bei der Festplattengröße von 6TB dann ca. 4Monate dauern!). Ich vermute also dass das nicht das zugrunde liegende Problem ist, sondern höchstens ein verstärkender Faktor.

Die Festplatten sind laut CrystalDiskinfo alle in Ordnung. Sie sind auch noch recht neu und haben erst ~2700 Betriebsstunden.

Ich würde ja gerne einfach das Raid auflösen aber ich habe leider noch kein (komplettes) Backup und bei den aktuellen übertragungsraten könnte es gut 2 Wochen dauern alle fehlenden Daten zu sichern.


Für jeden Hinweis bin ich sehr Dankbar :)
LG
 
Raid 5 unter Windows ist immer lachhaft langsam. Aber deine Werte sind selbst hier unterirdisch. Kann an der Synchronisation liegen. Frag sich nur wieso die läuft und wieso die so lange dauert. Hast du die Platten mal auf die SMART Werte geprüft?
 
  • Gefällt mir
Reaktionen: applebirne
Sind das vielleicht Platten, die SMR benutzen statt CMR? Gab doch vor einiger Zeit ein großes Trara diesbezüglich.
 
  • Gefällt mir
Reaktionen: applebirne
Humptidumpti schrieb:
Raid 5 unter Windows ist immer lachhaft langsam. Aber deine Werte sind selbst hier unterirdisch. Kann an der Synchronisation liegen. Frag sich nur wieso die läuft und wieso die so lange dauert. Hast du die Platten mal auf die SMART Werte geprüft?
Hallo,
vielen dank für die schnelle Antwort. Dass Raid 5 unter Windows wohl nicht so empfehlenswert ist habe ich auf meiner Suche inzwischen auch mitbekommen :D. So grottenschlecht sollte es aber nicht sein und anfänglich hatte ich auch gute Übertragungsraten, ob es 100mb/s waren weiß ich nicht mehr aber es waren definitiv keine 10mb/s geschweige denn 1mb/s.

Hier sind mal Screenshots aus CrystalDiskinfo:
WD1info.PNG
WD2info.PNG
WD3info.PNG

Laufwerk E und C sind zwei alte SSDs die ich eingangs vergessen habe zu erwähnen und Laufwerk F ist besagte externe Festplatte.
Tepesch schrieb:
Sind das vielleicht Platten, die SMR benutzen statt CMR? Gab doch vor einiger Zeit ein großes Trara diesbezüglich.
metallica2006 schrieb:
Hi,
welche WD Red sind es genau?
Die betroffenen WD Red sind soweit ich weiß die Modelle mit der Bezeichnung EFRX, meine haben aber die Bezeichnung EFAX.

Edit: anscheinend ist es genau umgekehrt, das heißt meine Platten sind wohl tatsächlich SMR Platten.

Hier ist ein Test einer einzelnen Platte den ich mal beim Setup gemacht hatte:
WD6TB.PNG
 
Zuletzt bearbeitet:
applebirne schrieb:
Wenn es wirklich nur WD RED sind, hast du Schrott gekauft. Neuere WD REDs (EFAX) sind für RAIDs ungeeignet, da sie jetzt mit SMR schreiben. Man braucht mindestens WD RED PLUS. Oder kaufe dir gleich dir vernünftigen Seagate Ironwolf.
 
  • Gefällt mir
Reaktionen: Mr.Seymour Buds und Matthias80
Die EFAX sind Modelle mit SMR. Erkennt man auch daran, daß TRIM laut Crystaldiskinfo unterstützt wird.
Daher sie die niedrigen Übertragungsraten dadurch erklärbar.
Schrott sind die Platten sicherlich nicht, aber für Raidumgebungen offensichtlich ungeeignet.
 
  • Gefällt mir
Reaktionen: Matthias80
Was ist mit der F: Platte los, weil die ja als schlecht ausgewiesen wird?
 
Wobei auch SMR keine Writes von 1 MB/s verursachen sollte...
50MB/s oder so wären eher was ich von einem SMR Raid 5 erwarten würde.
 
  • Gefällt mir
Reaktionen: applebirne
Sry wenn ich OT bin, aber...
Ein NAS für Familienfotos auf Basis eines Workstation-Prozessors i7 5820k? Ehrlich?
Ein Heim-Server mit ner Ruhelast von etwa 100 Watt...
Für mich wäre das die denkbar miserabelste Zweckentfremdung eines Computers ever - ist der Einsatzzweck eine Stromrechnung von >250 Euro per annum wert?

BTT: Falls das wirklich SMR-Platten sind, sind sie nun einmal nicht für RAID gemacht (was die Zweitverwertung der Hardware weiter infrage stellen würde).
 
  • Gefällt mir
Reaktionen: foo_1337
Mit 3 Platten ein RAID5 mit SMR und dann noch Windows-RAID....

Tu Dir ein Gefallen und installier DrivePool. Spiegel Ordner wie Dokumente. Die Fotos müssen jo wohl nicht hochverfügbar sein, das kann man notfalls aus dem BackUp wiederherstellen.
Ggf. kann man noch eine SSD bzw den RAM als Cache nutzen wenns um Schreiben geht...

Abgesehen davon ist das kein NAS mehr sondern eher Full-Size Server... persönlich hätte ich eher Hyper-V draufgeladen und anschließend virtualisiert. Ressourcen sind ja genug vorhanden.
 
  • Gefällt mir
Reaktionen: applebirne
Der Füllstand der Platten wäre als einzelne Datenträger noch nicht die Ursache, dass SMR bremst. Iirc schreibt das LW mit Lücken dazwischen und fasst es dann zu anderer Zeit zusammen. Ob das in einem RAID-Umfeld noch so klappt? Meine SMR bricht als einzelne Disk von 120 auf unter 30 ein, wenn der Füllstand sehr hoch ist. Bin nie über 90% gegangen, aber es sankt relativ offensichtlich mit dem Füllstand.
 
gforce4711 schrieb:
Wenn es wirklich nur WD RED sind, hast du Schrott gekauft. Neuere WD REDs (EFAX) sind für RAIDs ungeeignet, da sie jetzt mit SMR schreiben. Man braucht mindestens WD RED PLUS.
Das ist etwas diffiziler. Irgendwann hat WD bei den Reds unterhalb von 8TB auf SMR umgestellt. Eine WD80EFAX ist zum Beispiel trotz "EFAX" ein CMR-Modell. Nach der großen Empörung am Markt haben sie dann die Bezeichnung "WD Red Plus" eingeführt, an der man nun CMR sofort erkennen kann.
 
  • Gefällt mir
Reaktionen: applebirne
gforce4711 schrieb:
Wenn es wirklich nur WD RED sind, hast du Schrott gekauft. Neuere WD REDs (EFAX) sind für RAIDs ungeeignet, da sie jetzt mit SMR schreiben. Man braucht mindestens WD RED PLUS. Oder kaufe dir gleich dir vernünftigen Seagate Ironwolf.
Na so ein Käse, eigentlich wollte ich die 8TB WD Red kaufen, habe nur die 6TB genommen weil mein lokales Geschäft die 8TB grad nicht auf Lager hatte. Die 8TB Platten haben laut Artikel CMR...
Ost-Ösi schrieb:
Was ist mit der F: Platte los, weil die ja als schlecht ausgewiesen wird?
Die Platte ist ne alte externe Platte und hat viele wiederzugewiesene Sektoren weshalb ich auch alle Daten von der Platte übertragen wollte.
Das hat aber nichts mit dem langsamen Raid zu tun.
Rickmer schrieb:
Wobei auch SMR keine Writes von 1 MB/s verursachen sollte...
50MB/s oder so wären eher was ich von einem SMR Raid 5 erwarten würde.
Das ist auch mein Gedanke, dass ich SMR Platten habe ist zwar sicherlich Blöd und ich werde mir überlegen diese auszutauschen aber das kann doch nicht der alleinige Grund für so niedrige übertragungsraten sein oder? Zumal sie ursprünglich auch gut liefen.
Phrasendreher schrieb:
Sry wenn ich OT bin, aber...
Ein NAS für Familienfotos auf Basis eines Workstation-Prozessors i7 5820k? Ehrlich?
Ein Heim-Server mit ner Ruhelast von etwa 100 Watt...
Für mich wäre das die denkbar miserabelste Zweckentfremdung eines Computers ever - ist der Einsatzzweck eine Stromrechnung von >250 Euro per annum wert?

BTT: Falls das wirklich SMR-Platten sind, sind sie nun einmal nicht für RAID gemacht (was die Zweitverwertung der Hardware weiter infrage stellen würde).
Der Server wird nicht ausschließlich als NAS genutzt. Ich habe z.B. auch eine VM für mein Onlinebanking/Depot drauf laufen. Ich habe auch noch andere Ideen zu deren Umsetzung ich bisher noch nicht gekommen bin.
Man kann sich sicherlich drüber streiten ob man unbedingt Windows Server und so einen Leistungsstarken Rechner dafür braucht. Ich fand es auf jeden Fall mal interessant mich ein wenig damit (Windows Server) zu beschäftigen und finde es angenehm etwas Leistungsreserve zu haben.

Merle schrieb:
Der Füllstand der Platten wäre als einzelne Datenträger noch nicht die Ursache, dass SMR bremst. Iirc schreibt das LW mit Lücken dazwischen und fasst es dann zu anderer Zeit zusammen. Ob das in einem RAID-Umfeld noch so klappt? Meine SMR bricht als einzelne Disk von 120 auf unter 30 ein, wenn der Füllstand sehr hoch ist. Bin nie über 90% gegangen, aber es sankt relativ offensichtlich mit dem Füllstand.

aktuell sind 2.5TB auf dem Raid Laufwerk belegt, ist also noch nicht so viel.
 
Zuletzt bearbeitet:
Windows Server - OK, aber ich würde auch sparsamere Hardware einsetzen. Mein i5-6600 der vom Gaming-PC zum Heimserver geworden ist schluckt im Idle 30W, was noch akzeptabel ist. Power hat der für einen Heimserver mehr als genug, wenn man nicht irgendwelche sehr ungewöhnlichen Usecases hat.

Immer dran denken: jede 10W sind im 24/7 Betrieb ~25€ auf der Stromrechnung.

Am besten mal nachmessen wie viel dein Aufbau so schluckt. Bei >50W dürfte sich eine Neuanschaffung von sparsamer Hardware über eine Betriebszeit von ein paar Jahren lohnen.
 
  • Gefällt mir
Reaktionen: applebirne
Rickmer schrieb:
SMR keine Writes von 1 MB/s verursachen sollte...
50MB/s oder so wären eher was ich von einem SMR Raid 5 erwarten würde
Einzeln sieht man ja...
im Raid 5 schaukelt sich das extrem runter.


Ergänzung ()

Rickmer schrieb:
ich würde auch sparsamere Hardware einsetzen
Aber sowas von.
EXTREM overpowered!
ist doch viel zu gute Hardware.
Verticken und was sparsames basteln!


@TE
Raid ist ja so eine Sache wo jeder selbst seine Erfahrungen machen muss...
nen ordentlicher Raid Controller würde bei den Platten auch nix bringen.

Idee:

Hole die noch so eine Platte.
Sync einer Platte mit einem Tool deiner Wahl auf eine andere.
Hast du Quasi immer alles doppelt wie Raid1.
Performance steigt. Aufallsicherheit ist gegeben...
Probleme die MIT einem RAID kommen können... kriegst du ned.

MfG
 
  • Gefällt mir
Reaktionen: applebirne
applebirne schrieb:
Na so ein Käse, eigentlich wollte ich die 8TB WD Red kaufen, habe nur die 6TB genommen weil mein lokales Geschäft die 8TB grad nicht auf Lager hatte. Die 8TB Platten haben laut Artikel CMR...
Also, falls Dein Händler Dich beraten und Dir dann für Deinen Zweck mehrere SMR-Platten mitgegeben hat, dann hat er Dich sehr schlecht beraten!
Falls Du beim Fachhändler gekauft hast (und nicht im MassenMediengeschäft einfach in's Regal gegriffen), dann verhandele mit dem Händler; er nimmt die Platten mit kleinem Abschlag zurück, darf Dir nen Stapel tiptoptoller riesiger CMR-Platten verkaufen und alle sind happy. Der Fachhandel will doch, dass glückliche Kunden dort gut beraten einkaufen und nicht nur im Netz shoppen.
 
  • Gefällt mir
Reaktionen: applebirne
HighTech-Freak schrieb:
Mit 3 Platten ein RAID5 mit SMR und dann noch Windows-RAID....

Tu Dir ein Gefallen und installier DrivePool. Spiegel Ordner wie Dokumente. Die Fotos müssen jo wohl nicht hochverfügbar sein, das kann man notfalls aus dem BackUp wiederherstellen.
Ggf. kann man noch eine SSD bzw den RAM als Cache nutzen wenns um Schreiben geht...

Abgesehen davon ist das kein NAS mehr sondern eher Full-Size Server... persönlich hätte ich eher Hyper-V draufgeladen und anschließend virtualisiert. Ressourcen sind ja genug vorhanden.

Das Windows-Raid auf einen DrivePool "Raid" umzustellen und die SSD als Cache zu nutzen um die beim Raid 5 schwache Schreibrate auszugleichen hatte ich tatsächlich vor. Nur geht das irgendwie schlecht wenn ich die Daten vom bestehenden Raid nicht (bzw. nur sehr langsam) sichern kann :D.

Hyper-V ist installiert und wird zum Beispiel für die Onlinebanking VM genutzt. Das war einer der Gründe warum ich mich für Windows Server entschieden hab. Oder wie meinst du das mit Hyper-V?
Ergänzung ()

Phrasendreher schrieb:
Also, falls Dein Händler Dich beraten und Dir dann für Deinen Zweck mehrere SMR-Platten mitgegeben hat, dann hat er Dich sehr schlecht beraten!
Falls Du beim Fachhändler gekauft hast (und nicht im MassenMediengeschäft einfach in's Regal gegriffen), dann verhandele mit dem Händler; er nimmt die Platten mit kleinem Abschlag zurück, darf Dir nen Stapel tiptoptoller riesiger CMR-Platten verkaufen und alle sind happy. Der Fachhandel will doch, dass glückliche Kunden dort gut beraten einkaufen und nicht nur im Netz shoppen.
Danke für den Tipp. Ich werde dort mal anrufen und schauen ob man sich einig wird.
 
Ich glaube nicht, dass SMR hier das Problem ist. SMR macht Probleme, wenn ein RAID Verbund wiederhergestellt werden muss. Das ist hier aber nicht der Fall.

Ich würde erstmal alle Kabelverbindungen prüfen. Eventuell ist es nur ein defektes Kabel.
 
  • Gefällt mir
Reaktionen: applebirne
Zurück
Oben