SATA Raid5 -besserer Controller gesucht

[brenner]

Momentan habe ich zwei DC154 mit jeweils 4 HDD im Raid5 am laufen. Die beiden Raid5 sind per Raid1 (unter Windows2000) gespiegelt.


Das die DC154 keine "echten" Controller sind war bewusst, da eigene CPU und Speicher fehlen.

Leider liegt die Leseperformance bei maximal 2 bis 3,5MB/Sekunde. Die Schreibrate auf das ganze ist wesentlich höher bei ca. 20MB/Sekunde.

Nun nam ich an das ja eigentlich die CPU den Flaschenhals darstellt das sie alles berechnen muss. Diese wird aber bei den Lesevorgängen nur zu 60% ausgelastet, das kann es also nicht sein.
Außerdem dachte ich das die Parity beim schreiben auf das Raid berechnet wird und es damit langsamer ist als wenn ich davon etwas auslese.



Nun ja. Ich habe erstmal beschlossen mindestens einen etwas "ordentlicheren" Controller zu holen. Ich habe bei ebay mal geschaut und zwei gefunden die eigenen Speicher/CPU haben, in einen normalen PCI Steckplatz passen und nicht zu teuer sind.
Das wäre der ICP Vortex GDT8546RZ der neu um die 400,-€ kosten soll aber bei ebay reltiv günstig weg geht. Der andere ist der Adaptec 2410SA der neu 200,-€ kostet und auch bei ebay günstiger zu haben ist und angeblich auch in ienen 32´er PCI passen soll.


Nun mal die Meinung von denen die sich praktisch auskennen. Taugen die schon etwas, vorallem im Gegensatz zum DC154?
Welche reallen Leseraten werden erreicht? Hautpsache mehr als meine jetzigen denn mein letztes Vollbackup hat über 3 Tage gedauert und das will ich mir nicht mehr antun!

 

[Interlink]

Das sieht mir nicht mehr nach "normalem", sondern nach 64-Bit-PCI-Steckplatz aus. Ein "normaler" PCI-Steckplatz auf handelsüblichen Desktop-Mainboards ist mit dem Datentransfer einer aktuellen 3,5" - Platte schon mehr als halb auszulasten. Wenn der Kontroller keine Eigenintelligenz hat, mussten in diesem Fall eventuell die Daten von/zu 8 Platten über einen PCI-Bus gequält werden.

Was sollt übrigens die Spiegelung von einem RAID5 auf ein anderes bewirken? Warum dann nicht z.B. ein RAID 6 und Feierabend? Allenfalls die Spiegelung übers Netz zu einem anderen Standort könnte sinnvoll sein, muss aber nicht unbedingt synchron erfolgen.
U.U. ist auch eine Datensicherung in Form von "Schnappschüssen" sinnvoll, aus denen sich ggf. noch ein verloren gegangener Zwischenstand rekonstruieren lässt.

Bei höheren Sicherheitsanforderungen sind u.a. ECC-RAM, Doppelnetzteil, USV und eine nach allen Regeln der Kunst gegen Überspannungen geschützte Elektroinstallation Pflicht.

RAID 6 ist sicher gegen den Ausfall von bis zu 2 beliebigen Platten im Array und hat bei Ausfall einer Platte im Array immer noch eine recht gute Performance.
THG: RAID 6: Drei Controller der gehobenen Klasse

 

[MoeJoe]

schau dir doch mal den an:

AMCC 3ware Escalade 9550SX-4LP (PCI-X 133MHz)[/rul] bietet raid 5 (jedoch keinen 6)
oder allgemein die von AMCC & Tekram (die sind recht gut)

generell bieten nur geräte der gehobeneren preisklasse (um die 500€) raid 6 an.

 

[supastar]

Was du mit einem gespiegelnden RAID erreichen willst, ist mir auch ein Rätsel. Normaleweise solte die zweite Sicherung nicht wie bei dir als RAID 1, sondern als Streamer oder NAS erfolgen. Bei Feuer und Wasser werden so nämlich auch alle Daten weg sein, eine zweite Datensicherung muss an einem komplett anderen Ort sein (evtl auch über mehrere ext. Festplatten).

Ansonsten nimm einen von ICP, die kosten zwar, sind aber IMHO mit die Besten...

 

[brenner]

Was sollt übrigens die Spiegelung von einem RAID5 auf ein anderes bewirken? Warum dann nicht z.B. ein RAID 6 und Feierabend?

Habe auf die Frage gewartet
Habe bisher ja keine Möglichkeit ein Raid6 zu fahren.

Das gespiegelte Raid5 hat den Hintergrund das ich früher ein Raid5 hatte. Eines Tages sind plötzlich 3 HDD´s (ich weiss bis heute nicht warum, habe aber sofort das Netzteil ausgetauscht) ausgefallen und das war es dann mit den Daten. Aus diesen Grund habe ich ein zweites Raid5 eingerichtet und dieses dann zur Sicherheit gespiegelt.

schau dir doch mal den an:

AMCC 3ware Escalade 9550SX-4LP (PCI-X 133MHz) bietet raid 5 (jedoch keinen 6)
oder allgemein die von AMCC & Tekram (die sind recht gut)

280,-€ sind natürlich heftig und ich finde die nicht gebraucht.

Was du mit einem gespiegelnden RAID erreichen willst, ist mir auch ein Rätsel. Normaleweise solte die zweite Sicherung nicht wie bei dir als RAID 1, sondern als Streamer oder NAS erfolgen. Bei Feuer und Wasser werden so nämlich auch alle Daten weg sein, eine zweite Datensicherung muss an einem komplett anderen Ort sein (evtl auch über mehrere ext. Festplatten).

Siehe oben. Ein Backup wird regelmässig auf externe Festplatten gezogen, eins intern und eins weit weg gelagert.

 

[Interlink]

Hmm. Backup-Daten im selben System zu speichern, ist nie anzuraten. Spinnende Mainboards, Kontroller, Netzteile oder ein "Burst" aus dem Netz können schlimmstenfalls alle im System angeschlossenen Platten schädigen.
Daher der "andere Standort", der ja notfalls auch im Gehäuse nebenan sein kann. EDV-gerechte Auslegung der Elektro-Installation vorausgesetzt. (!)
Das Backup-System muss auch nicht unbedingt mit typgleicher Hardware aus demselben Fertigungslos bestückt sein, da sich z.B. alle auf einer Palette vom Gabelstapler gefallenen Platten und generell Hardware mit einem in Serie fehlerhaften Bauteil ziemlich schnell nacheinander verabschieden können.

Unter Performance-Gesichtspunkten würde ich zunächst mal die aktuelle Installation auf "NRAID + RAID 1" umgestellen, also an jedem der beiden Kontroller ein NRAID, das die dort angeschlossenen Platten zu einer logischen Einheit zusammenfasst, gespiegelt von Windows. Gegen den Ausfall *eines* Kontrollers oder *einer* beliebigen Platte sicher, wenn man nicht gerade einen kapitalen Bock beim Wechseln von Kontroller bzw. Platte schießt. Dadurch, dass kein RAID 0 oder 5 verwendet wird, hält sich auch die Last auf dem Standard-PCI - Bus in Grenzen, da pro Kontroller simultan nicht mehr vier, sondern nur noch eine Platte versorgt werden muss. Und die Prozessorlast ist sehr viel geringer. Auf diese Art sollte man wieder Geschwindigkeiten erreichen, die an eine einzelne Desktop-Platte erinnern.
Beim DC154 wird das "NRAID" unter dem Begriff "JBOD" geführt. Strenggenommen umfasst der Begriff JBOD ("just a bunch of disks) aber auch eine Betriebsart als RAID 0.

 

[brenner]

Bei den Backups habe ich mich wohl unklar ausgedrückt. Also ich habe zwei externe Festplatten a 1TB. Ich mache jede Woche ein Backup auf eine der externen Festplatten. Alle 2 Monate wird diese mitgenommen zu "jemanden". Von dort nehme ich dann die zweite externe Festplatte wieder mit und sichere dann darauf und das immer im Wechsel.

Soweit ich weis, müsste aber genau nachschauen, werden beim JBOD die Daten hintereinander auf die Platten geschrieben, also erst auf die erste, ist diese voll, auf die zweite usw. Beim Raid0 werden die Daten gleichmässig verteilt geschrieben.


Du meinst aber das der PCI beim JBOD weniger belastet wird als beim Raid0, aber warum? Die Daten über den Bus bleiben doch die gleichen, nur der Controller müsste vielleicht beim Raid0 mehr managen?

 

[Interlink]

"JBOD" schreibt nach den Konventionen im Handbuch des DC154 Platte nach Platte voll. Treffender ist für diesen Modus der Begriff "NRAID".
http://de.wikipedia.org/wiki/RAID#NRAID.2FLinear_Mode.2Fconcat.28enation.29:_Festplattenverbund.

Abgesehen davon, dass auch beim RAID 0 Treiber+Prozessor mehr Daten umsortieren müssen als beim NRAID:
Der Knackpunkt sind im RAID 0 simultan auf mehrere Platten über den Bus laufende Kontroller-Zugriffe, die die Bytes so langsam weg oder heranschaffen, dass die einzelnen Platten sich für ein kontinuierliches Lesen bzw. Schreiben "Spur nach Spur" zu schnell drehen. Für ein RAID 0 mit 4 aktuellen Desktop - Platten (die bringen bis über 80MByte/Sekunde) sollte ein "dummer" SATA - Kontroller in erster Näherung mit einer Bandbreite von mindestens 400 MByte/Sekunde angebunden sein. Dann kann ein guter Kontroller die Daten aller angeschlossenen Platten per Busmaster-Zugriff simultan im RAM absetzen bzw. abholen.
Ansonsten müssen die einzelnen Platten häufig warten, bis der passende Sektor wieder unter dem Kopf vorbeikommt. Bei 7200u/min sind das schlimmstenfalls gut 8 Millisekunden. Paradoxerweise können dabei unter dem Strich 4 Platten langsamer sein, als wenn eine Platte kontinuierlich schreiben/lesen kann.

 

[brenner]

Das passt ja. Ich fahre seit gestern Abend ein Vollbackup weil ich das ganze von Windows auf Linux ummünzen will.

Heute ist eines der Raid5 ausgefallen, der Softwarespiegel damit auch ungültig und siehe das, das Backup läuft nicht mehr mit 2MB/Sekunde sondern mit über 10MB/Sekunde.

Die CPU ist immer noch nicht ausgelastet und somit sind wir wohl wieder beim beschränkenden PCI-Bus.

Im besten Fall ist das Backup jetzt wenigstens in ca. 10h fertig und ich kann die genannten Raid-Konstellationen und deren Geschwindigkeit durchtesten.

 

[Interlink]

Wenn der PCI - Bus über längere Zeit randvoll ausgelastet ist, kann das einen ziemlichen Stresstest diverser Systemkomponenten bedeuten, der gelegentlich auch die schlechtesten Seiten aus Treibern herauskitzelt. Ich hoffe, dass hier noch ein akzeptabler Kompromiss möglich sein wird.

Wenn höhere Performance benötigt wird, empfiehlt sich - wenn man bei Desktop-Hardware bleiben will - ein Umstieg auf ein aktuelles Board mit PCIe - Anbindung für den Festplattenkontroller. Bei den recht hohen Kosten von intelligenten Kontrollern sollte ein passendes Mainboard im Etat drin sein.

Falls mal ein überdurchschnittlich schnell angebundenes externes Festplattengehäuse für mehrere Platten gesucht wird:
RaidSonic Stardom ST6600-5S-S2.
http://www.raidsonic.de/de/pages/search/search_list.php?we_objectID=4239&pid=0
Man beachte den von Raidsonic verlinkten Artikel aus der c't 4/2006. Dort das Stichwort "FIS based switching". Inzwischen bietet Raidsonic als Zubehör auch einen für PCIe (x1) passenden eSATA Portmultiplier Controller an (für um 50 Euro). Damit sollte man bei der Datensicherung ohne Kompression + Verifikation (!) auf bis zu ca. 200MByte/Sekunde kommen können.

 

[brenner]

Danke, meinen externen Gehäuse läuft eines bereits über eSata das andere bietet USB2.0/FW400/FW800.

Leider nutzen mir die schnellen Schnittstellen nichts da dann ja wieder der PCI ausbremst, die Esata-Controllerkarte und FW800-Karte drin steckt.

Wie du schon schriebst hilft es wohl nur wirklich die Basis auszutauschen. Was nützen mir schnelle Karten wenn der PCI jedesmal den Flaschenhals darstellt.

....und wieder kommt das liebe Geld zum tragen...

 

[Mueli]

2 - 3.5 MB/sec kommen mir aber spanisch vor (Treiber?), der PCI-Bus hat ein theoretisches Maximum von 133MB/sec, da hätte man mal forschen können.
Jetzt noch Geld in einen anständigen RAID-Controller für PCI zu investieren halte ich für falsch, da sollte es dann schon PCIe sein, es sei denn man bekommt etwas gebrauchtes. Wer soviel Geld in Datenredundanz/Datensicherheit steckt, sollte an Stelle von den ganzen Platten besser in ein anständiges Bandlaufwerk investieren (was ich übrigens mit einem DLT gemacht habe). Da könnte noch nicht einmal der Mainboardtausch und die gleichzeitige Verwendung eines Onboard-RAID schocken.
Ja, 64Bit Controller laufen i.d.R. auch im 32Bit-Steckplatz (verwende zwei LSI-Logic SCSI Controller).

 

[brenner]

Den Grund für die schlechte Performance hatten wir doch schon geklärt.

Treiber und Firmware sind übrigens auf aktuellsten Stand.

Das ein neuer Controller natürlich dann PCIe haben muss ist wohl schon aus der Tatsache selbsterklärend das wohl ein neues Mainboard zum Einsatz kommen muss, erklärt.


Was würde mir denn ein Bandlaufwerk anstatt der externen Festplatten nutzen? Auch dieses würde nur mit der Geschwindigkeit beschrieben werden können die das System liefert und ich müsste ebenso mehrer Tage (bei der alten Konstellation) warten.



Ich werde heute die Raid5 auflösen. Zwei JBOD daraus machen und die Performance testen. Danach werden die per SoftRaid1 verbunden und nochmal die Performance überprüft. Sollte ich damit auf eine Vollbackupzeit von unter 24h kommen reicht mir das vorerst aus. So müsste ich nicht in neue Hardware investieren.

Wenn die RHEL5 fest in CentOS übernommen worden ist werde ich das ganze auf Linux umstellen was vielleicht (wenn auch unwahrscheinlich) weitere Performance bringt.

Ich melde mich wenn Ergebnisse raus kommen.

 

[Mueli]

Je nach Tape etwa ein paar hundert bis etwa 1500 (mein DLT) Euro per Laufwerk plus Medien. Ich brauche etwa 5h für eine Vollsicherung. Gute Tapes (DLT, AIT, LTO usw.) schaffen bis über 100GB/h, ein etwa 600Euro teures DLT 4000 liegt bei etwa 10 - 20 GB/h (DLT 7000 etwa 40).

 

[brenner]

NOCHMAL, wenn das Raid nur 3MB/Sekunde liefert können die Bänder auch nicht schneller beschrieben werden, oder wie soll das gehen?

 

[Mueli]

Das ist klar, betrifft aber auch die externen Platten. Hier gilt 'die Kette ist immer so gut wie das schwächste Glied'. Ich habe übrigens keinen vernüftigen Grund lesen können, der mir die schwache Leseleistung erklärt. Wenn ich mir die Tests der c't ansehe kann es jedenfalls nicht normal sein.

 

[Interlink]

2 "dumme" Kontroller mit je 4 Platten im RAID-5 auf einem PCI - Bus, der vermutlich lediglich 32 Bit / 33 Mhz bietet. Ende Gelände bei ca. 133MByte/Sekunde.

Genauere Daten zu Mainboard/Prozessor/RAM fehlen zwar, aber die hier vorliegende dezent verschwurbelte Konfiguration wurde garantiert noch nicht von der c't getestet.
Wie heißt es im Heft 5/2007 auf Seite 159 so schön:
"Ähnlich wie bei den Kompatibilitätsproblemen der nur theoretisch voll rückwärtskompatiblen SATA-II-Festpattten an SATA-1.0 - Controllern zeigt sich auch am Beispiel Port-Multiplier, dass Serial ATA in der Praxis immer wieder unangenehme Überraschungen bereithält".

 

[Mueli]

Gut bei zwei Kontroller halbiert es sich, aber deshalb geht die Leistung nicht um eine Dekade zurück. Ich habe in einem nForce3 zwei Dual-Channel SCSI also quasi 4 Kontroller und bisher habe ich keine derartigen Einbrüche. Bei Gelegenheit kann ich mal einen Bench auf 4, 6, 9 oder was auch immer machen und die Leistung posten, sie bricht dann irgendwann ein aber nicht in der Form. Ich mache DaSi auf DLT ohne es zu 'merken' wenn ich dann gezoggt habe! Da geht das DLT noch nicht einmal auf Start-Stop-Betrieb (onsonsten Streaming-Mode) wenn ich zwischen Disken kopiere.

 

[brenner]

Die Systemkonfiguration sieht folgendermaßen aus:

-Mainboard: Asus P4S800D-X
-CPU: Celeron 2,26Ghz (Sockel 478)
-Ram: 2x 256MB MDT DDR400 im Dualchannelbetrieb

 

[brenner]

Ich habe die ersten Messwerte. Erstmal kurz Erklärung was was ist:

System = interne HDD (alte 6GB) am IDE1 des Mainboards
Backup = interne HDD (500GB Samsung) am Sata-Controller des Mainboards
USB2 = externe USB2 HDD am USB-Port des Mainboards
Truecrypt = gemountete Partition einer auf der USB-Platte liegenden Datei (einfache AES-Verschlüsselung)
RAID5 = Raid5 an einem DC154 mit 4HDD
JBOD = JBOD an einem DC154 mit 4HDD



Also bisher sieht es so aus.

RAID5 zu
->42MB/s = Backup
->10MB/s = System
->23MB/s = USB2
->14MB/s = Truecrypt

JBOD zu
->63MB/s = Backup
->10MB/s = System
->23MB/s = USB2
->14MB/s = Truecrypt
->14MB/s = Raid5

JBOD zu JBOD = 42MB/s



Jetzt spiegel ich gerade die beiden JBOD´s zu einem SoftRaid1 unter Windows was aber noch einige Stunden dauert bis es abgeschlossen ist und dann teste ich weiter und ganz zum Schluss auch nochmal die alte Konstellation mit zwei gespiegelten Raid5.
Bei der externen HDD scheint bei 23MB das Maximum erreicht zu sein. Habe leider meine FireWire800 und die eSata-Karte nicht im Haus um das zu testen.
Was auffällt das die alte Systemplatte nur 10MB Maximum schafft. Diese werde ich bei Gelegenheit für einen schnelleren Systemstart mal austauschen. Der Kopiervorgang auf das TrueryptVolume fällt auf 14MB obwohl die CPU nicht mal zur Hälfte ausgelastet wird. Sehr komisch.

Anscheinend schafft das Gespann aus beiden Controllern trotzdem zügige 42MB auf dem PCI.


edit:

So, hab alles durch:

Beide JBOD im Soft Raid1 zu:
->Backup = 61MB/s (CPU-Last ca. 75%)

Beide Raid5 im Soft Raid1 zu:
->Backup = 4MB/s (CPU-Last ca. 20%)


D.h. wohl das ich die JBOD-Variante wählen werde, auch wenn ich dann ein paar GB zu viel habe oder ich verkaufe 2 HDD´s wieder oder lege sie als Ersatzplatte weg.

Dann werde ich morgen mal schauen wie sich das ganze mit CentOS verträgt.