High-End Problemlösung

[Ned Flanders]

Hallo zusammen,

folgendes Problem: Wir haben ein System an einem wissenschaftlichen Messinstrument das unmengen an Daten Produziert. Die Größenordnug ist etwa alle 24h 80gb. Das Problem ist das das Gerät alle 24h die Daten aus einem temporären File abspeichern muss um wieder mit der nächsten Messung zu beginnen. Das dauert aktuell etwa 2h und ist damit inakzeptabel lang.

Wir suchen daher nach einer Lösung die die Daten möglichst schnell zumindest vorrübergehend speichern kann, um dann möglichst schnell mit der nächsten Messung beginnen zu können.

In anbetracht der Umstände das das Instrument einen Anschaffungswert von etwa 550.000 € hatte spielt der Preis der Lösung eine untergeordnete Rolle.

Wir dachten anfangs an eine "FusionIO Duo" Karte, die bei etwa 10.000 Euro liegt
http://www.fusionio.com/PDFs/Fusion_ioDriveDuo_datasheet_v2.pdf

Das Problem ist das die Software des Systems nur unter 32bit läuft, da der Hersteller sich bisher behaarlich sträubt einen 64-bit Treiber zu programmieren. Somit fällt diese Lösung leider aus.

Jetzt wirds natürlich kompliziert. Wir haben uns daher eine Lösung mit einem 5805 Adaptech Raid Controler + 8x SuperTalent Ultradrive ME 64gb erdacht, die dann als Raid0 verpackt werden. Im Grunde genommen also was ähnliches wie ein Z-Drive von OCZ nur um selbstbau.

Da hier doch einige Leute mit Erfahrung unterwegs sind würde mich Eure Meinung interessieren.

Was denkt ihr, und gibt es noch ne bessere Lösung?

Wie ist die Performance über die Zeit zu sehen? Bauen die massiv ab?

Gruss Ned

 

[Moros]

Ein RAID-Controller mit großem Cache und mehreren SSDs ist auf jeden Fall die richtige Wahl. Dafür kommen eigentlich nur Intels M-25, OCZ Vertex, Supertalent Ultradrive und G.Skill Falcon in Frage.

Da es bei den kleineren Herstellern wie OCZ, Supertalent und G.Skill eher zu Problemen wie Abstürzen kommen kann, würde ich in eurem Fall zu Intel SSDs greifen. Andererseits bieten OCZ Vertex und Ultradrive etwa die doppelte Schreibrate (je nach Dateigröße).

Um die Leistung nach einer langen Benutzungsdauer einzuschätzen, solltet ihr euch mal die Tests auf Anandtech anschauen.



@edit
Wie setzen sich die zu speichernden Daten zusammen? Wie groß sind die Dateien im Durchschnitt?

@edit2
Wenn es um sehr viele kleine Dateien geht, sind die Intel SSDs definitiv vorzuziehen. Bei größeren Dateien (ab 16-32KB) wird's schwieriger, da dann Vertex und Ultradrive schneller sind.

@edit3
Mir sind zwar noch keine Testergebnisse so großer SSD-RAIDs bekannt, aber ich rechne z.B. bei 8 Ultradrives mit einer Schreibrate von 800 bis 1.200MB/s. Somit würde euer Backup bzw. das Speichern nur noch 1-2 Minuten dauern.

Es ist wirklich davon abhängig wie groß die Dateien sind. Bei sehr kleinen Dateien (bis 8KB) ist Intel die beste Wahl. Darüber sind Ultradrive und Vertex schneller.

 

[TheNoxier]

https://www.computerbase.de/news/storage/video-24-samsung-ssds-im-raid-bringen-2-gb-s.24290/

 

[Moros]

Mit 24 Ultradrives käm man schon auf mindestens 3,6GB/s

 

[Ned Flanders]

Die Dateien sind groß... sehr groß!

80GB setzen sich etwa aus 25 Dateien zusammen.

Wie ich gelesen habe kam es bei den ersten Ultradrives noch zu problemen mit der Firmware. wie ich auf forumdeluxx gelesen habe sollte das aber mittlererweile behoben sein, und die Leute schwärmen von der UltraDrive in den höchsten tönen.

UltraDrive und Vertex sind sogar baugleich. Mann kann scheinbar auf die UD auch die Vertex Firmware flashen und hat dann eine Vertex.

Die ST UD ist halt auch deutlich günstiger als die X25-M. Zum einen gibts von der X25 nur eine 80GB Version, die Größe brauchen wir aber nicht, und diese 80gb kostet mehr als das doppelte wie der ST UD mit 64gb.

Noch ne Frage zum Raid Controler: Lieber den 5805 oder reicht der 3805?

Und zu guter letzt: Wie lange kann man damit rechnen das die Performance auf einem hohen Niveau bleibt? Man hört ja überall das die SSDs durch die Bank alle über die Zeit abbauen.

Dann zum Aufbau:

Ich dachte mir wir machen die Festplatten zu einem Block, den wir mit Tape zusammenkleben. Zwischen jede Platte kommt ein Spacer (wegen mir einige Streichhölzer) und der ganze Block bekommt dann einen 80mm Lüfter. Das sollte eigentlich passen oder?

Gruss und danke für die Hilfe!

Ned

 

[Moros]

Deine Annahmen zur Ultradrive kann ich nur bestätigen. Ich teste die Platte jetzt seit zwei Tagen und das macht richtig Spaß
Die Bootzeit hat sich subjektiv mindestens halbiert (Zeit noch nicht gemessen). Das Starten von Anwendungen ist jetzt verzögerungsfrei und Installationen gehen extrem schnell.

Mit entsprechendem Alignment lässt sich vielleicht noch mehr rausholen. Im Moment liegen die Transferraten mit der Firmware 1275 bei 230MB/s Lesen und 160MB/s Schreiben (siehe Anhang). Stabilitätsprobleme hab ich nicht gehabt.

Mit RAID-Controllern kenne ich mich leider nicht so aus. Da solltest du vielleicht einen neuen Thread aufmachen oder in einem anderen Thread nachfragen, wo sowas behandelt wird.

 

[XMG Support]

Hallo !

Mit einem 3-Wege RAID0 haben wir ( im Notebook ! ) aus 3x OCZ Vertex 250 GB
haben wir 620 MB / Sekunde gemessen !

 

[mensch183]

Wie, also in welchem zeitlichen Verlauf, fallen denn die 80GB Daten an? Da werden eventuell gar nicht bis zur letzten Sekunde vor der täglichen Sicherung sämtliche 80GB manipuliert, oder doch? Vor dem Griff zur Hardwarekeule sollte man erstmal herausfinden, ob sich durch eine andere Schreibstrategie das Rausschreiben der 80GB nicht vielleicht zeitlich strecken läßt, also nicht mehr von jetzt auf gleich 80GB anfallen.

Was ich außerdem nicht verstehe:

Das Problem ist das die Software des Systems nur unter 32bit läuft, da der Hersteller sich bisher behaarlich sträubt einen 64-bit Treiber zu programmieren. Somit fällt diese Lösung leider aus.

*hmm* Wo befinden sich denn die 80GB Daten vor dem Backup? Ich dachte eigentlich ihr habt die 80GB Daten im Hauptspeicher als Tempfile vorliegen. Das ist bei einem 32bit-System (um welches geht es denn?) aber nicht wahrscheinlich.

Also liegen die Daten offenbar schon auf irgendeiner Platte rum. Kann man dann nicht einfach aller 24h auf eine andere Platte umschalten für die Messungen des neuen Tages und anschließend nebenbei ganz in Ruhe die 80GB vom Vortag dahin schaufeln, wohin man sie am Ende haben möchte?

Ich glaub für vernünftige Antworten oder Ideen muß du bischen mehr verraten, wie und wo die zu schreibenden Daten entstehen und dann als "Tempfile" vorliegen.

 

[Wader22]

Hallo

Also eigentlich ist die Sache doch relativ einfach. Wir haben 25 Files und zusammen haben die 80GB und die sollen schnell auf einen Zwischenspeicher, damit das Gerät frei ist. Bisher dauert das Kopieren 2 Stunden, also das unterbieten wir deutlich.

Folgendes: Kauft euch einen netten Controller (für 600€ gibts wunderbares Zeug) und dazu 4 SSDs 32GB. Also Mtron ist grundsätzlich zu empfehlen, nehmt die Pro Serie (7500). Da habt ihr dann 4x80MB Schreiben, also 0,32GB/Sekunde als RAID0.

So, müsst ihr halt sorgfältig einrichten und dann rennt das wie die Sau. Rein rechnerisch müssten die 80GB in weniger als 5 Minuten auf dem Zwischenspeicher sein und von dort können sie dann in aller Ruhe weiterfließen. Wenn du einen bestimmten Controller willst, der richtig gut ist, musste halt HISN fragen.

MfG

PS: Die SSDs von Mtron können das locker aushalten, rein rechnerisch würden die eine solche Behandlung zehn Jahre locker überleben, aber in 10 Jahren landen die aktuellen SSDs wohl im Nostalgie Museum

 

[Moros]

@Wader22
Warum sollte man zu unglaublich teurer Mtrons greifen, wenn man mit einem Supertalent Ultradrive Schreibraten von 160MB/s bekommt und "nur" 180€ in der 64GB-Version bzw. 113€ in der 32GB-Version dafür zahlt?

 

[Pandora]

Weil die Mtrons besser sind und die einzigen am Markt von denen man von soetwas Langzeitergebnissen/Erfahrungen reden könnte.


Ich würde bei soetwas nicht auf Produkte setzen die kaum am Markt sind, bereits Nachvolger und dazu noch einen Zweifelhaften ruf haben zumal das Geld ja vorhanden ist.


BTW soweit ich mitbekommen habe sind doch die arecas am besten für SSDs geeignet
Also Areca Controller min 256mb Cache und 4~8 Mtrons wobei ich auf RAID5 setzen würde, ich weis nicht wie schlimm das für euch ist wenn doch mal der Fall der Fälle eintreten sollte und dann eine SSD hops geht und eure Daten mitnimmt.


EDIT:
Ha ich wusste doch das es da irgendwo schonmal sowas gab http://www.hardwareluxx.de/community/showthread.php?t=501358

 

[Wader22]

Hallo

Ja, es stimmt, dass Mtron wirklich Qualität bietet. Alle Testergebnisse waren auch bei näherem Hinsehen ordentlich, zudem sollte der Preis ja nicht so die Rolle spielen (wenn das Maximum 10.000€ war, dann sind die Mtrons ne Billiglösung ). Naja, vielleicht bleibt ja dann was für mich übrig

 

[Moros]

@Pandora
Wie kommst du zu der Ansicht, dass die Mtrons besser wären?

@Wader22
Von welchen Testergebnissen sprichst du? Vertex und Ultradrive stecken jede Mtron in die Tasche.

 

[Wader22]

Wie du meinst, ich kenne die Qualität der anderen SSDs nicht, aber ob die Daten nun in 5 Minuten oder 3 Minuten kopiert werden ist ja nicht mehr die große Frage, von daher soll er halt ne Münze werfen oder alle Testberichte auswerten.

Eigentlich kann man ab einem bestimmten SSD-Niveau nicht mehr viel falsch machen.

 

[Moros]

Die Mtrons kosten 70% (3000er Serie) bzw. 300% (7000er Serie) mehr bei gleicher Kapazität und geringerer Leistung. Warum sollte man sich da für die Mtronsentscheiden?

 

[VelleX]

Warum überhaupt SSDs? Also ob die in diesem Fall wirklich so einen Vorteil bieten?

 

[Wader22]

Irgendeinen Sinn wird der Aufpreis haben, ich glaube kaum, dass Mtron Kunden abzockt. Qualität hat ihren Preis.

 

[Pandora]

Die Mtrons kosten 70% (3000er Serie) bzw. 300% (7000er Serie) mehr bei gleicher Kapazität und geringerer Leistung. Warum sollte man sich da für die Mtronsentscheiden?

Was heist für dich Leistung ? diese lustigen Read/Write werte ? wenn das das einzige Kriterium einer SSD wäre gäbs wohl kaum solche Disskusionen wie jetzt über gute und schlechte SSDs.

Mtrons sind besser und ihr Geld wert, das bestätigt dir jeder der was von dem thema versteht

Wenn du mehr wissen willst guck in den SSD thread im Luxx oder hier wenns hier einen gibt.

 

[Moros]

@Pandora
Unter Leistung verstehe ich tatsächlich Faktoren wie Read/Write bei unterschiedlichen Dateiengrößen, max. IOPS, Latenz etc.

Was verstehst du darunter, das dich zu der Meinung bewegt, dass Ultradrives schlechte SSDs wären? Meinst du die Probleme mit der alten Firmware, die schon lange beseitigt wurden? Sprichst du von den SSDs mit JMicron-Controller? Von MLC, SLC?
Wieso bist du der Meinung, dass Mtron SSDs besser wären?

Da ich selbst eine Ultradrive besitze und mich seit zwei Jahren sehr intensiv mit SSDs auseinandergesetzt habe, bilde ich mir schon ein etwas von dem Thema zu verstehen

 

[Wader22]

Ich bezweifle ja nicht deine Meinung oder die Richtigkeit deiner Resultate. Aber soweit ich weiß, sind die Super Talent Dinger MLC, während bei Mtron SLC verbaut wird. Der Unterschied dürfte bekannt sein und in Anbetracht der Tatsache, dass in der Einrichtung anscheinend jeden Tag 80GB durch die Platten gejagt werden, sind das schon 2240GB pro Monat. Und bei so einem Durchsatz würde ich zu SLC greifen, da dort die Haltbarkeit schlicht länger ist.