Was drosselt mein Unraid 5Gbit beim schreiben?

[Avenger84]

Hallo,
ich hatte vor einiger Zeit mein Unraid NAS mit meinem PC direkt über 5GBit verbunden.
Der Realtek USB Adapter steckt im 5GBit USB Port, daher max. ~3,4GBit/s.
Mit Iperf3 kann ich ohne Ende laufen lassen und erhalte meine ~3,4GBit/s konstant.
Per SMB vom NAS lesen geht auch konstant mit 370-400MB/s - mehr will ich ja gar nicht.
Wenn ich jetzt schreibe sinkt die Datenrate nach etwa 8GB runter auf 1-1,2GBit/s:

Also direkt auf Unraid eine 30GB Datei erstellt:

dd if=/dev/zero of=/mnt/disk1/testfile bs=1G count=30 oflag=direct status=progress

32212254720 bytes (32 GB, 30 GiB) copied, 35 s, 915 MB/s

=> Dort schreibt er konstant mit über 7GBit/s - also liegt es nicht an der SSD oder CPU.

Im Unraid ist bloß eine Evo Plus 970 2TB als Array verbaut, xfs, kein Paritätsdatenträger.

Lenovo ThinkCentre M720Q mit i5-8400T und 32GB Ram.
SSD wird kaum 50°C warm und CPU 50-55°C bei Last.

Jemand eine Idee was hier drosselt ? Bin mit meinen Ideen leider am Ende.

 

[Mojo1987]

2 GB DRAM Cache + 6 GB Static SLC Cache ergibt die genannten 8 GB. Ich vermute mal der SSD geht der Cache aus und aus welchem Grund auch immer funktioniert der dynamische Part via SMB nicht. Wie voll ist die SSD?

 

[Avenger84]

17%.

warum klappt es mit

dd if=/dev/zero of=/mnt/disk1/testfile bs=1G count=30 oflag=direct status=progress

mit konstanten 915MB/s? wegen der 0en?

P.S. ich habe gesehen dass SMB Multichannel im Unraid aus ist, vermutlich hilft das aber auch nichts oder?

 

[Alexander2]

Hast du mal den Cache angeschaut während die Datei rübergeschoben wird?

das ist doch nen Linux oder? oder was ist Unraid.
Dein befehl sieht ja jedenfalls auch nach Linux aus, also mal mit top oder so schauen, ob er da wo es schnell geht einfach den cache / also den Ram vollschreibt bis denn da kein platz mehr ist und es langsam wird.

 

[Avenger84]

ja Ram bleibt konstant bei 14GB stehen laut htop

P.S. habe im Windows PC auch eine 970 Evo verbaut (als 3. SSD) mit 500GB - diese habe ich gerade mal getestet und sehe hier auch Einbrüche nach 8GB, aber nur kurz und dann geht es wieder hoch.

 

[Alexander2]

Ich weiß nicht ob du das verstanden hast, was ich meinte. deine Antwort gibt mir jedenfalls nicht genug Info.

 

[Falc410]

Ich hätte trotzdem auf die CPU getippt. Obwohl du sagst du hast keine Paritätsplatte am laufen, über SMB Daten empfangen ist etwas anderes als lokal mit dd zu schreiben.

 

[Alexander2]

Wenn ich jetzt schreibe sinkt die Datenrate nach etwa 8GB runter auf 1-1,2GBit/s:

Was wird denn da genommen um es von Windows aus au das NAS zu schieben? Eine große Datei und gaaaanz viele kleine auch noch?

 

[Avenger84]

nein eine große Datei.

Hast du mal den Cache angeschaut während die Datei rübergeschoben wird?

das ist doch nen Linux oder? oder was ist Unraid.

Was meinst du mit Cache?
Unraid ist Linux genau.

 

[Alexander2]

Zeile 4 ganz hinten Cache.
Wenn die Platten nicht nachkommen mit schreiben kann es gut sein, das sich der solange noch RAM frei war komplett füllt solange von Windows Seite noch schnell genug nachgeschoben wird.

Eben zum schnellen zwischenspeichern. Wenn das voll wird während free dann gegen 0 geht ... wenn man das etwas beobachtet und es war Anfangs eben noch etwas RAM frei...

Unter KDE wüsste ich auch wie du direkt die Schreibgeschwindigkeit der Platten ansehen kannst. Wobei im Terminal müsste es mit
bpytop zum Beispiel auch zu sehen sein.

oder ähnlichem.

 

[Mojo1987]

P.S. habe im Windows PC auch eine 970 Evo verbaut (als 3. SSD) mit 500GB - diese habe ich gerade mal getestet und sehe hier auch Einbrüche nach 8GB, aber nur kurz und dann geht es wieder hoch.

Dein Problem ist der dynamische SLC Cache. Das hast du dir selbst verifiziert. In Windows funktioniert der dynamische Part, in Unraid via SMB offensichtlich nicht.

Mir scheint als wäre das by Design so, auch wenn man dazu nur spärlich Infos findet. Man könnte sich mal ans Unraid Team wenden und schauen was die dazu sagen.

 

[Avenger84]

Danke, Unraid = Linux, ist die Frage ob es auf jedem Linux Probleme gibt.

In Windows bremst meine 500GB 970Evo (nicht Plus) auch nach 8GB ab, aber nicht so krass, das geht dann von 3GB/s auf 900-300MB/s runter und dann schwingt es dazwischen irgendwo rum.

 

[qiller]

ist die Frage ob es auf jedem Linux Probleme gibt.

Nö, TrueNAS Scale (ist ja glaub Debian based) SMB Share. Da bremst gar nix.

Ich tippe auf deinen RJ45-USB-Adapter. Da mal ne vernünftige Netzwerkkarte getestet, die per PCIe angebunden ist?

 

[Alexander2]

He? Der SLC Cache ist ne in Hardware /Firmware gebackene Sache der SSD, das funktioniert mit jedem Bestriebssystem ausnahmsloß, also daran liegt es nicht.

Abgesehen davon, das die Menge an SLC Cache irgendwann mal gefüllt ist und in MLC oder TLC oder was für nen Speichertyp die SSD ist intern umgeschrieben werden muss.

Ergänzung (25. August 2025)

Evo Plus 970 2TB

Bei der SSD schreibt übrigends auch nichts von nem SLC Cache, dafür aber das sie DRAM verbaut hat, was gut ist. der reicht vielleicht sogar um die Performance zu halten ohne eine krücke wie den SLC Cache umzusetzen. (wo ja nur die verbauten mehbitzellen (MLC) als Einzelbitzellen angesprochen würden um eine Gewisse Geschwindigkeit zu gewährleisten.

Das ist ne krücke weil um benutzbar zu sein auch überhaupt genug Platz frei sein muss. Wenn nun zum Beispiel der Hersteller angibt 8gb SLC Cache zu haben, und angenommen die SSD würde Pro Speicherzelle 3 Bit Speichern, dann müsste 24GB Frei sein nur um 8GB als SLC schreiben zu können.

Naja, aber die SSD scheint nichtmal auf "SLC Cache" angewiesen zu sein.

 

[Avenger84]

Nö, TrueNAS Scale (ist ja glaub Debian based) SMB Share. Da bremst gar nix.

Ich tippe auf deinen RJ45-USB-Adapter. Da mal ne vernünftige Netzwerkkarte getestet, die per PCIe angebunden ist?

Frage: welche Hardware hast du dort verbaut ?

 

[qiller]

Das sind 4x Toshiba MG09 18TB Platten, mit ner 10G Dual-NIC in nem alten 1HE Intel Xeon E3-1220v5 System u. 16GB ECC-RAM.

 

[Avenger84]

gehört zwar nicht zum Problem von mir: aber was verbraucht der Karren?

 

[Alexander2]

Etwa 2000kCal/Tag, wenn du den Karren ziehst

 

[qiller]

aber was verbraucht der Karren

Öh, ka, steht in der Firma. Server war aussortiert von ner anderen Firma, wir haben nur die 10G NIC, die 4 Platten und ne SSD eingebaut. TrueNAS drauf und ins Rack damit. USV (550W) sagt 15% Load, also 82W. Da hängt aber noch ne FW und der Switch dran, die zusammen bestimmt auch so 30-35W verbrauchen. Also 45-50W für den Server könnte sogar passen.

 

[Avenger84]

Heute habe ich die Evo Plus 970 raus genommen und durch eine 860 (SATA) ersetzt, Unraid Trial Stick, SSD als Cache Pool eingerichtet -> keinerlei Einbrüche.