Raid5 Kopierspeed langsam?

[hiho87]

Hoi Zusammen

Hätte eine Frage:
Hab mir letztens ein Whitebox Server zusammengebaut:
R7 3700X
Asrock X570D4U-2L2T
64GB Ram
HP Smart Array P420 mit 2GB FWBC
Nvidia P2200
8X8TB Seagate Ironwolf 2x Arrays a je 4 Festplatten
Alles über ESXI 7.0 verbunden

Raid wurde mit 2x4 Festplatten Konfiguriert in Raid5
Nun zu meiner Frage:

Eigentlich bin ich sehr überrascht über die Resultate. Aber etwas stört mich:
Wenn ich im Raid, von einem Ordner eine grosse Datei in einem anderen Ordner kopiere, wird zuerst ca 1GB oder 2 mit 500MB/s kopiert und danach mit 100-150MB/s, ist dies normal?

Weil interessant ist, vom Raid auf die SSD wo die VM installiert ist, kann er durchgehend mit 500MB/s kopieren und von der SSD ins Raid gehts auch mit fast 1GB/s bricht ab und zu ein aber geht definitiv schneller.

Ich hoffe, konnte es genau beschreiben

Gruss

 

[xxMuahdibxx]

Naja überleg mal du kopierst von 4 Festplatten im Raid auf die gleichen Festplatten ...

Somit müssen die Daten ja immer abwechselnd gelesen und geschrieben werden ... und das dauert einfach mehr als doppelt so lange wie nur lesen und wo anders hinschreiben.

Raid 5 sagt ja aus das alle Daten auf allen Platten verteilt sind ... somit müssen alle lesen und schreiben ... also bekommst keine volle Leistung.

 

[Prollpower]

du kopierst von 4 Festplatten im Raid auf die gleichen Festplatten

Verrat ihm aber bloß noch, das seine ersten 1-2 GB im Cache liegen, weswegen die für den Moment ein hohen Transfer haben.
Zitat "HP Smart Array P420 mit 2GB FWBC"

 

[puri]

Ein Raid mit nur 4 Platten und dann Lesen und Schreiben gleichzeitig - da finde ich den Wert recht gut.. Der hohe Wert am Anfang deshalb, weil noch im RAM bzw. Controllercache zwischengepuffert wird..

 

[proserpinus]

Dass schreibend die Leistung eines RAID5 nach Befüllung des Caches ungefähr auf den Speed einer einzelnen Disk abfällt, ist völlig normal. Und dass umgekehrt beim lesenden Zugriff die volle Leistung des RAID5 zur Verfügung steht, auch.

Also, wo ist hier das Problem?

 

[Prollpower]

Dass schreibend die Leistung eines RAID5 nach Befüllung des Caches ungefähr auf den Speed einer einzelnen Disk abfällt, ist völlig normal. Und dass umgekehrt beim lesenden Zugriff die volle Leistung des RAID5 zur Verfügung steht, auch.

Also, wo ist hier das Problem?

Er vergleicht SSD mit HDD.

 

[hiho87]

Also es ergibt alles einen Sinn! Aber hab den Fehler am falschen Ort gesucht. Denn das System lief vor ein paar Tagen im anderen Gehäuse. Und musste es bezüglich hitzestau in einem anderen Gehäuse wieder verbauen. Im anderen hatte ich eine Backplate mit SFF 8643 Anschluss und jetzt 8087 Sata. Dachte der Fehler sei da irgendwo. Wo ich mir nicht sicher war, obs vorhin sich schon so verhielt. Den hab nur von der Backup Festplatte alles rüber kopiert, USB3.0 zuerst mit 250MB/s aufs Raid, aber nach 7TB gings auf 150MB/s runter ^^ aber weiteres hab ich nicht mehr getestet.

Aber ja, hätte eigentlich selber drauf kommen können.

 

[xxMuahdibxx]

wichtig zu wissen

Bei RAID 5 müssen mindestens 3 Festplatten vorhanden sein. Zur Steigerung der Gesamtkapazität des logischen Laufwerks können auch mehr Festplatten eingebunden werden.
Bei drei Festplatten wird ein Datenblock von 128 kByte in zwei Datenblöcke von 64 kByte geteilt. Aus den beiden Datenblöcken wird die Paritätsinformation gebildet, die einem dritten Block von 64 kByte entspricht. Die Parität ist das Ergebnis einer Exklusiv-Oder-Verknüpfung (XOR) der Datenblöcke eines Sektors. Die Parität wird aus Sicherheitsgründen nicht auf einem separaten Laufwerk gespeichert, sondern gleichmäßig auf alle Festplatten zwischen den Datenblöcken verteilt (Rotating Parity). Das Schreiben verzögert sich jedoch bei RAID 5. Vor dem Schreiben muss zuerst ein Lesezugriff erfolgen, damit die Paritätsinformation berechnet und danach wieder geschrieben werden kann.

https://www.elektronik-kompendium.de/sites/com/1001021.htm#:~:text=Aufbau von RAID 5: Block,Datenblöcke von 64 kByte geteilt

folgendes dahinter noch

 

[Prollpower]

aber nach 7TB gings auf 150MB/s runter

Das ist bei HDD auch normal so... Dadurch das sich was um die eigene Achse dreht und sich das ablesen ab äußeren Rand anders verhält als wie in der Mitte, ändert sich auch die Transferrate.

Ein Raid wird diesen physikalischen Umstand nicht umgehen.

 

[DJMadMax]

Ein RAID 5 dient NICHT der Optimierung der Schreibrate, sondern lediglich der Hardware-Ausfallsicherheit mit "gleichzeitig" gesteigerter Kapazität des gesamten Arrays.

Wenn du mehr Schreibgeschwindigkeit brauchst und auf Kapazität verzichten kannst, wäre ein RAID 10 die bessere Wahl.

 

[Humptidumpti]

Dass schreibend die Leistung eines RAID5 nach Befüllung des Caches ungefähr auf den Speed einer einzelnen Disk abfällt, ist völlig normal.

Ähm. Nein. Das ist nicht normal.

Natürlich hat man eine write penalty wegen der Paritätsdaten die gelesen und geschrieben werden müssen, aber bei aktuellen Hardware Controllern und unter Linux klappt das hervorragend. Ich schreibe auf mein Raid 5 aus 7x 6TB Platten problemlos durchgehend zwischen 800-900MB/s. Und das für Terabytes.

 

[xxMuahdibxx]

Um @Prollpower mal genauer zu ergänzen ..

eine Festplatte hat im äusseren Zylinder mehr Sektoren als bei den inneren ... daher fällt der Speed beim schreiben von aussen nach innen weiter ab.

ein normales Verhalten seit 30-40 jahren ... vorher waren die Festplatten noch mit Sektoren ausgestattet welche einen gleichen Winkel hatten ... wie eine Floppy Disk z.b.

@Humptidumpti je mehr Platten desto schneller ... sowie auch bei dem Elektronik Kompendium steht ...

Ein RAID 5 aus drei Festplatten kann bei sequenziellen Transfers theoretisch doppelt so schnell arbeiten wie eine einzelne Festplatte. Doch nicht alle RAID-Controller beherrschen die Paritätsberechnung und das Verteilen oder Anfordern der Daten so schnell, dass sie Geschwindigkeit auch tatsächlich erreicht wird. Gerade günstige RAID-Controller sind bei RAID 5 und sequenziellen Transfers langsamer als eine einzelne Festplatte.

Was ja in deinem Fall nicht zutrifft.

Wenn der TE nur lesend Daten verarbeitet hat er ja auch eine höhere Leserate und bekommt die auch zur NVMe geliefert .. was logisch ist.

 

[holdes]

Je nach RAID5 Implementierung ist übriges ein Array aus einer ungeraden Anzahl von Platten schneller und je nach Größe der Platten macht auch ein RAID6 mehr Sinn (Rebuild Ausfallwahrscheinlichkeit/Zeit bei vielen TB an Daten). Performance gewinnt man aber wie schon gesagt nur beim lesenden Zugriff ähnlich dem RAID0, beim schreiben wird alles umso langsamer wegen der Parität und je nachdem wie leistungsfähig der Controller ist entsprechend auch mal schneller oder langsamer bei der XOR Berechnung. Der P420 ist natürlich nicht mehr der neueste.

 

[hiho87]

Das ist bei HDD auch normal so... Dadurch das sich was um die eigene Achse dreht und sich das ablesen ab äußeren Rand anders verhält als wie in der Mitte, ändert sich auch die Transferrate.

Ein Raid wird diesen physikalischen Umstand nicht umgehen.

Also dass mit der Externe HDD ist für mich kein Problem..... war sogar überrascht dass eine Single EXT. HDD so viel MB/s hinkriegt

 

[Prollpower]

mein Raid 5 aus 7x 6TB

Hab mal vor langer Zeit gelesen, Raid5 macht man auch eher mit einer unrunden Zahl an Laufwerke. Wegen Geschwindigkeit und so.
Zudem 7x6 sind nicht 4x8. Denke dennoch gibt es eine andere Aufteilung

Ergänzung (10. Februar 2021)

so viel MB/s hinkriegt

Wo ich mich frage, was in dem Fall an der Grenze war. So aus dem Bauchgefühl würde ich vermuten, das von der externen nicht mehr kam, als das der Raid Verbund nicht mehr aufnehmen konnte.

 

[hiho87]

Um @Prollpower mal genauer zu ergänzen ..

eine Festplatte hat im äusseren Zylinder mehr Sektoren als bei den inneren ... daher fällt der Speed beim schreiben von aussen nach innen weiter ab.

ein normales Verhalten seit 30-40 jahren ... vorher waren die Festplatten noch mit Sektoren ausgestattet welche einen gleichen Winkel hatten ... wie eine Floppy Disk z.b.

Anhang anzeigen 1039674

@Humptidumpti je mehr Platten desto schneller ... sowie auch bei dem Elektronik Kompendium steht ...



Was ja in deinem Fall nicht zutrifft.

Wenn der TE nur lesend Daten verarbeitet hat er ja auch eine höhere Leserate und bekommt die auch zur NVMe geliefert .. was logisch ist.

Glaube es liegt daran wie von Muahdib damit erklärt hat: Die EXT. Festplatte ist fast komplett voll. Somit würde ich sagen dass die EXT. nicht mehr konnte gegen Schluss.