RAID5 Bericht: Native XOR engine, PCI Express und ziemlich schnell!

[F_GXdx]

Hallo!

Ich wollte für alle Interessierten hier einen kleinen Erfahrungsbericht schreiben, damit Sie nicht so viele Probleme bei der Rechnerconfig wie ich selber haben!

Seit gestern läuft es also, mein erstes Raid 5. Klar - die Festplatten Preise sind niedrig, warum also nicht mal ein RAID probieren. Viele - mich eingeschlossen - liebäugeln natürlich mit Raid 5 oder gar 6. Die onboard Lösungen selbst sehr teuerer Mainboards sind aber oft, oder eigentlich immer, hierfür ungeeignet (es scheint aber einen gewissen Silicon Image Chip zu geben der für Raid 5 "net schlecht" ist, einfach mal rumlesen).

Meine Lösung:

Das Asus A8N SLI Premium mit 2 PCI Express for graphics und 1 PCI Express 4x (u. weitere)
mit einem
Promise SuperTrak EX8350 128 MB DDR PCIe4x mit nativer XOR Einheit von INTEL wie man sie auch in exakt dieser Form (Chipset: irgendwas mit Intel 333) in sehr viel teureren Controlern findet (zB. Areco, das sind ja bekanntlich die besten, kosten aber das doppelte!) (ready for RAID 6, beherrscht Matrizenrechnung)

Ich betreibe das Board sogar tatsächlich im SLI UND noch den RAID Controler dazu.

Hab zwar Blut und Wasser geschwitzt, aber es funktioniert! Grünes Licht!

RAID average read speed: 125 MB/sec (Burst ist ja nicht so wichtig, 182 MB/sec) (lt. HDTach3)
RAID average write speed: leider nur geschätzt, nicht unter 100 MB/sec. Hab große Dateien kopiert und es per Taschenrechner nachgerechnet.

Ich muss sagen ich bin auch sehr begeistert von der Promise Software (WebPAM).
Den Controler mit dem Board kann ich echt empfehlen. Wer es braucht (Videoschnitt etc.)
kann hier also zuschlagen! (Allerdings ist das kein "Kindergeburtstag", ein bisschen Ahnung sollte man schon haben,
auf Anhieb lief es bei mir auch nicht ideal und man musste schon etwas an den Einstellungen optimieren!)

Ich werde das Raid5 jetzt noch ausbauen von jetzt 3x auf 5x 250 GB SATA2 Platten (die billigsten für 80 Euro/Stück) und schauen ob und wie gut der Controler das noch packt - und natürlich auch wieder berichten! Ich erhoffe mir nochmal einen deutlichen Geschwindigkeitsgewinn.

Gruß,
Tobias

 

[DonRodi]

Hallo,

Schon mal Worst-Case Fall Simuliert, eine Festplatte abklemmen und eine neue dazu und aus den Paritäten der 2 anderen, die abgeklemmte wiederhergestellt?

Wie lange hats gedauert bzw. wenn du es erst noch testen musst kannst de ja mal berichten.

 

[F_GXdx]

Hi,

seit gestern läuft das RAID5 jetzt also nicht mehr mit 3 Western Digital Platten,
sondern mit 5 Maxtor Diamond Max 10 250 GB SATA.

Fazit: Eher enttäuschend.

Zunächst mal war der Perfomance Boost eher schwach.
Ich habe zwar ewig an den Einstellungen herumgespielt, aber mehr bekomme ich im Moment nicht raus:

RAID average read speed: 151 MB/sec (Burst 178 MB/sec) (lt. HDTach3)
RAID average write speed: leider nur geschätzt, nicht unter 140 MB/sec. Hab große Dateien kopiert und es per Taschenrechner nachgerechnet.

Seltsamerweiße scheint 150 so eine Art Flaschenhals zu sein, denn während sich der Lesespeed nur gering verbessert hat, speichert das RAID5 jetzt noch deutlich schneller.

Allerdings hätten sich die Werte theoretisch ja nochmal verdoppeln, müssen, das aber habe ich nicht erreicht. Mit Abstand nicht.

Bleibt zu sagen das 5 Festplatten für Maximale Geschwindigkeit wohl zuviel des guten sind (obwohl ich den Speicherplatz gut gebrauchen kann, den die 2 neuen Platten mitbringen).

Scheinbar sind 4 normale oder 3 Raptor Platten schon eine ziemliche Belastung für einen oberen Mittelklasse Controler. Ich denke mein RAID5 wäre mit 4 Platten schneller.

Zudem muss ich WesternDigital etwas entlasten. Die Maxtor Platten sind sooo viel laufruhiger und leiser nicht.
Wenn ich das gewusst hätte wäre ich wohl bei WD geblieben.
Allerdings sind die Maxtor deutlich kühler, das verwundert mich zwar stark, weil in allen Testberichten stand dass Maxtor nur den Kritikpunkt hat, dass sie heiß werden, aber bei mir sind die nur lauwarm. Freut mich sehr, bei 5 Platten übereinander.
WD wurde deutlich wärmer im IDLE, die Maxtor wurde sogar bei der neusynchronisierung (=vollbelastung) nur mäßig warm.

Damit komme ich zur Neusynchronisierung (=Probe des Ernstfalles)
Beim booten erscheint nur "RAID status critical" und der Bootvorgang läuft wie gewohnt, man merkt nicht dass eine Platte fehlt, auch nicht an der Geschwindigkeit.
Das neusynchronisieren eines logischen Laufwerks mit 0,5 Terrabyte größe dauerte mit dem Promise EX8350 nur 1 Stunde, ein guter Wert. Da alles im Hintergrund läuft, bleibt der PC dabei voll benutzbar, allerdings bricht die Festplatten performance während dieser Zeit ein, da der Controler ja voll beschäftigt ist.

Großes Lob an die Noiseblocker Evolution Platinum Dämmatten, ich habe den Schaumstoff davon abgeschnitten (damit sie, aus Platzgründen, flacher werden) und mit dem dann noch übrigen Bitumen den Festplattenkäfig teilweise zugeklebt (einigermaßen airflow ist noch da, das muss ich in den nächsten Tagen überwachen, aber ich denke es reicht für die "kühlen" Maxtor Platten locker aus). Das absorbiert die Vibrationen der Festplatten traumhaft. Habe nicht gedacht dass die Matten wenn ich sie so misshandle noch so effektiv sind.
Gehäuse Boden und Decke sowie Türen sind mit den vollen Platten verlegt, nur bei der hinteren Tür hab ich die Matten auch in der Dicke um die Hälfte gekürzt. Eventuell wären die Western Digital damit auch so gut wie nicht mehr hörbar.

Alles in allem bin ich sehr zufrieden wie meine erste zusammengeschusterte Workstation jetzt läuft. Die Komponenten können alle samt überzeugen - und im Nachhinein würde ich auch die Western Digital wieder empfehlen, auch wenn ich die Maxtor lieber mag. Aber der Unterschied scheint mir minimal!

Gruß,
Tobias

 

[Mr Jo]

Hi Tobias,

guter Bericht, gute Arbeit! Von Enttäuschung würde ich bei dieser Leistung nicht sprechen - ich habe reichhaltige Erfahrung in und mit diversen Raid-Construkten, auch im SCSI-Bereicht. Das was du hier an Leistung erreicht hast, konnte ich mit Raid 5 nie erreichen. Allein die Wahl eines (superteuren) Adaptec-Controllers und 8 SCSI 15tsd 1/min Festplatten bringen keine der deinen vergleichbare Leistung. Das Zusammenspiel Controller / Platten ist gerade im Raid 5 immer eine Zufallskomponenete.
Ebenfalls ist es meine Erfahrung, dass Leistung mit mehr Platten nicht gleich scaliert. Aktuelle betreibe ich 2 WD 1500 Raptoren im Raid 0, diverse Versuche haben gezeigt, dass die Leistung mit 3 Platten nochmal etwas ansteigt, bei 4 Platten ist kein Leistungszuwachs mehr gegeben (Nativer NVidia-Raidcontroller am Asus A8N-SLI Premium).
Praktisch müsste man im Einzelfall jede Raid-Formation mit diversen Controllern testen um Aussagen über deren Leistungsfähigkeit machen zu können. Bei dem Griff zum Promise SuperTrak EX8350 hast du dahingehend echt Glück gehabt.

Gratulation und Gruß, Mr Jo

 

[F_GXdx]

Hi!

Leider muss ich den write speed etwas nach unten korrigieren, da liege ich wohl eher bei 110+ als bei 140. Wenn ich eine große Datei kopiere geht es schneller, bei vielen kleinen bricht es ein auf gute 100. Da müsste man dann halt zur Raptor greifen.
Einen 1,7 GB Ordner kann ich in unter 20 Sekunden kopieren, das reicht mir.
Eine 1,2 GB große Datei in unter 15.

Da ich die Geschwindigkeit aber für Videoschnitt brauche, ist der Speed für viele kleine Dateien garnicht so interessant für mich.

Die Burstwerte konnte ich durch abschalten der NCQ Funktion der Maxtorplatten auf 180+ (Topwert war einmal 198, war aber ein einmaliger Ausreisser bis jetzt) erhöhen, auch der Lesespeed ist nochmals leicht gestiegen. Scheinbar ist NCQ noch eine recht "wackelige" Technik, und der Controler mag es auch nicht.

Vielleicht (!) stampfe ich das logische Laufwerk nochmal ein und mache ein RAID5 aus 3 Platten und lass die anderen leer laufen, dann hätte man einen direkten Vergleich zu den Western Digital. Irgendwie hab ich das Gefühl dass die WD schon einen Tick schneller waren, aber ich kann es halt nicht sicher sagen. Zum Großteil wird es sicher am Controler liegen, dass er die theoretischen Maximalwerte nicht schafft. XOR auf 5 Platten ist schon eine ziemliche Rechenleistung.

Ich bin mit dem Promise echt zufrieden bis jetzt. Die WebPAM Software ist eine HTML basierte Steuersoftware für Windows. Man kann den Festplatten Cache an und ausschalten, NCQ einstellen, die Hintergrundaktivitäten steuern usw. Der Controler selbst ist leistungsstark beim initialisieren und schnell beim rebuilt.

Mit 350 Euro kostet er rund die Hälfte wie der vergleichbare Areca, der denselben Chipsatz hat (Intel XScale 333). Viele Profis sagen aber der Areca sei trotzdem schneller. Glaub ich auch, ist sicher eine Optimierungssache wie schnell so ein Ding ist.

Im Moment bin ich immer noch am Gehäusedämmen, die Vibrationen sind schwierig in den Griff zu kriegen...

Gruß,
Tobias

 

[F_GXdx]

Allein die Wahl eines (superteuren) Adaptec-Controllers und 8 SCSI 15tsd 1/min Festplatten bringen keine der deinen vergleichbare Leistung.

Hallo und danke dass dir mein Bericht gefällt! Dazu muss ich sagen, 8 SCSI Platten ist wohl ein Overkill für den Controler! Ich schätze bei mehr als 5 Platten ist die Leistung wieder (eventuell stark) rückläufig und RAID5 wird zur reinen Sicherheitsfunktion!
Die Zugriffszeiten deines SCSI Arrays sollten aber trotzdem deutlich besser sein als bei mir.

Ich würde vom Gefühl her zu 4 Platten tendieren (3+1), für optimale Geschwindigkeit.

Bei einem RAID0 ist das was anderes, da kann die Performance wohl wie von dir geschrieben höchstens stagnieren.

Gruß,
Tobias

 

[F_GXdx]

Achtung, für interessierte und für Leute die per Suchfunktion nach dem EX8350 oder EX8300 suchen:

Die neuesten Treiber und BIOS sowie Firmware verursachen Probleme.
Einige Leute werden das jedoch aufspielen wollen, weil der Controller damit Raid 6 beherrscht. Folgende Treiberkombination ermöglicht dem Controller auf Raid 6 aber mit voller Performance und ohne Fehler:

Windows Oberfläche: WebPAM 2.2.10

Windows Treiber: v2.9.0.2 oder v2.9.0.6

Bios/Firmware: v2.9.0.10

Bei der neuesten Version der Windowstreiber und Biostreiber kommt es zu massiven Geschwindigkeitsverlusten sowie Erkennungsproblemen der Festplatten.
Bei den neuen Treibern handelt es sich um kombinierte Treiber für mehrere Raidcontroller, darunter auch dem neuen EX16300 und EX16350, scheinbar hat Promise das aber nicht so toll hingekriegt, und das funktioniert im Moment nur für die Windowstreiber.

Allerdings ist das nicht schlimm, die zweit-aktuellsten Updates für Bios/Firmware und WebPam genügen für Raid 6 und haben eine sehr gute Performance.

Gruß,
Tobias

 

[noxon]

Leider muss ich den write speed etwas nach unten korrigieren, da liege ich wohl eher bei 110+ als bei 140. Wenn ich eine große Datei kopiere geht es schneller, bei vielen kleinen bricht es ein auf gute 100.

Wohin kopierst du sie denn? Kopierest du sie innerhalb des Arrays, oder auf eine andere Platte?

Egal wie du das machst, so wird daran dein Problem liegen. Wenn du es innerhalb des Arrays kopierst werden die Zugriffszeiten der Platten der begrenzende Faktor sein und wenn du es auf eine andere Platte kopierst, dann wird deren Geschwindigkeit natürlich begrenzend sein.

Am besten wäre eine Ramdisk auf der du die Daten schreiben und lesen könntest.


Normalerweise ist es nämlich so, dass sich ein Raid 5 erst ab 4 oder mehr Platten so richtig lohnt. Guckst du hier. Deshalb verwundert mich dein Ergebnis etwas. Gerade im Bereich von 3 Platten dürften sich kaum Vorteile ergeben.


Im Ürbigen kannst du Programme wie HDTach nicht wirklich zum benchmarken gebrauchen. Es hängt immer stark von der Stripe-size ab, wie da die Ergebnisse ausfallen so hatte ich bei einem 4x Raid 0 einmal 80,100 und 270 MB/sec als Maximalgeschwindigkeit. Je nachdem welche Stripe-Size ich gewählt hatte.


Ich würde dir einmal das Tool der c't empfehlen. Das ist wirklich sehr gut und liefert auch realistische Ergebnisse, da es unterschiedliche Zugriffsmuster testet, wie sie zum Beispiel beim Arbeiten mit Word, beim Installieren von Anwendungen, beim Virusscan oder beim kopieren von Dateien entstehen.

Für jedes Gebiet bekommst du dann eine eigenes Messergebniss. Ganz zum Schluss wird alles auch noch einmal zu einem Plattenindex zusammengefasst, den du dann gut verwenden kannst um deine Platte mit allen anderen, von der c't getesteten Platten, zu vergleichen.

Allerdings kann der Test schon einmal ein Stündchen dauern. Man braucht also ein wenig Zeit und sollte während des Tests natürlich nicht am Rechner arbeiten.

Wundere dich nachher aber nicht, wenn du niedige Ergebnisse erzielst. Das ist normal, da es sich hier tatsächlich um realistische Werte handelt und keine theoretischen Maximalwerte.


Das sind die Messwerte meines Raid 0+1:

Dauertransferrate (Blockgröße: 128 Sektoren):
Lesen: Mittel 95424.8, Min 68902.9, Max 104430.3 [KByte/s]

Zugriffszeit Lesen: Mittel 13.75, Min 4.43, Max 27.26 [ms]
Zugriffszeit Lesen (<504 MByte): Mittel 6.47, Min 0.04, Max 30.63 [ms]

Anwendungsprofil `Swappen': 11313.7 KByte/s
Anwendungsprofil `Installieren': 13676.9 KByte/s
Anwendungsprofil `Word': 24386.6 KByte/s
Anwendungsprofil `Photoshop': 18940.2 KByte/s
Anwendungsprofil `Kopieren': 52801.0 KByte/s
Anwendungsprofil `F-Prot': 8582.7 KByte/s
Gesamtergebnis: Anwendungsindex = 17.4


Sieht ziemlich niederschmetternd aus, was? Aber das kommt schon hin, wenn man es mal mit echten Zeiten vergleicht und per Taschenrechner die Transferraten ausrechnet.

 

[F_GXdx]

Ich kopiere testweiße von logischem Laufwerk auf logisches Laufwerk.
Naja die genaue Geschwindigkeit interessiert mich auch nicht, zumal das RAID ein bisschen launisch ist.
Im großen und ganzen bin ich aber zufrieden mit der Performance.

Warum ich hier poste:

Nochmal für alle Besitzer eines EX8350 oder EX8300:

Bei mir tritt bei ALLEN neuen Bios und Firmware Updates Datenverlust und Probleme auf,
ich rate DRINGEND davon ab, den Controler zu updaten!
Da hat Promise völlige Schnellschußtreiber herausgebracht!

 

[MeikelTi]

Hi F_GXdx,

zunächst einmal ein gesundes neues 2007 ... ich hoffe, dass nach fast 6 Monaten Pause in diesem Beitrag nach der ein oder andere (und insbesondere F_GXdx) hier noch hineinschaut!

Denn auch ich habe Datenverlust mit meinem Promise SuperTrak EX8350!!! Daher habe ich ihn schweren Herzens wieder hinausgeschmissen ... .

Datenverluste traten in einem logischer RAID-5-Laufwerk bestehend aus 4 WD3200SD (RAID-Festplatten!) am Promise SuperTrak EX8350 (neuester Bios-2.9.0.22, neuestes WebPAM-2.2.0.37) auf Asus A8N SLI Premium insofern auf, als dass sich eine Festplatte im laufenden Betrieb reproduzierbar abmeldeten! Das trat auf 1. bei der Anmeldung einer sATA-Festplatte im laufenden Betrieb, die als Archivfestplatte verwendet wird, am NVIDIA-Controller des Asus A8N SLI Premium und 2. beim Überspielen von Videodaten von meinem Camcorder via Firewire auf das logische RAID-5-Laufwerk! Die automatische Wiederherstellung des RAID-5-Laufwerk funktionierte zwar problemlos, allerdings waren meine Daten während dieser Zeit ungeschützt. Datenverluste traten aber auch auf nach der Umstellung von RAID-5 auf 4 JOBD-Festplatten. Auch hier meldeten sich Festplatten im laufenden Betrieb ab! Es handelte sich dabei unterschiedliche Festplatten. Dieselben Festplatten funktionieren an meinem NVIDIA-Controller des Asus A8N SLI Premium sowie einem Dawicontrol DC300e-Controller seit 30 Tagen problemlos!

Nun meine Fragen an F_GXdx:
1. Was meinst Du genau mit Datenverlust?
2. Wie hast Du Deine Probleme mit dem Promise SuperTrak EX8350 gelöst? Hast Du sie überhaupt gelöst?
3. Verwendest Du weiterhin den EX8350?
4. Wenn ja welchen Bios, welches WebPam verwendest Du?

Vielen Dank für Deine Antwort im Voraus, MeikelTi.

 

[F_GXdx]

Hi!

Gutes Neues ebenfalls.

Ich habe damals auf die original Firmware zurückgeflasht, damit alles wieder ordnungsgemäß funktionierte. Leider ist mir die Karte inzwischen kaputt gegangen und ich betreibe mein System im Moment auf einer externen SATA Platte und warte, bis sich MIX Computer melden und mir endlich meine getauschte Karte schicken.

Auch ein Raid ist also keine 100% sichere Sache...

Ich hatte kurzzeitig mal WD2500 an dem Controler hängen, diese funktionierten aber problemlos und waren sehr schnell.

1) Datenkorrumption - die Datenintegrität war sehr mangelhaft, das heißt abgespeicherte Daten waren abgerissen oder "innen" oft fehlerhaft. EXE Dateien liesen sich plötzlich nicht mehr starten usw.

Ich hab das alles sehr schnell gemerkt, weil das ganze System nach 2 Tagen nicht mehr brauchbar war.

2) Original Firmware von Promise runtergeladen und zurück geflasht, da die Karte erst nach dem Flashen rumgezickt hat.

Nachdem ich Promise kontaktiert hatte meinten die nur, dass sie meine Fehler nicht reproduzieren konnten. Ich weiß bis heute nicht sicher was nun los war, vielleicht gab es auch einen fehler beim flashen meiner Karte, aber das halte ich eigentlich für unwahrscheinlich, da ja alles am Schluss mit Checksumme und so weiter geprüft wird und nach dem flashen erhielt ich das OK für den erfolgreichen Flashvorgang.

3) Ja, im Moment allerdings kaputt.

4) Erste Version jeweils, wenn ich aber die RMA Karte kriege, verwende ich die Version die standardmäßig drauf ist.

Ich habe einfach keine Zeit nochmal mit Firmware Updates und Co. rumzukasperln, ich bin nur froh wenn das Raid wieder steht da ich aus beruflichen Gründen auf das Ding angewiesen bin.

Ich werde auch bei MIX und Promise mal anrufen, die RMA Prozedur dauert nun schon 4 Wochen.

Im Zweifelsfall wohl doch das nächste mal einen ARECA Raid Controller und noch ein bisschen was drauf legen. Die hatten damals noch keinen mit PCIe 4x.
Promise ist halt einfach keine Premium Marke, auch wenn sie so tun.
Zahlst 400 Euro für die Karte und wartest 4 Wochen auf das Austauschgerät, direkter Umtausch bei Promise war nicht möglich. Sehr, sehr schwach das alles.

mfg,
Tobias