Große Datenmengen schnell wegschreiben (~250Mb/s)

[BlackWidowmaker]

@Rumo: Hast Du seine Posts nicht gelesen? 2000 Dateien pro Sekunde, ca. 250MB/s an Dateneingang. Eine normale SSD schafft, wenn es eine sehr gute ist, vielleicht ein zehntel davon. Du darfst die Angabe 250MB/s nicht mit dem maximalen Datendurchsatz des Interface der SSD verwechseln, der ein theoretischer Wert ist.

 

[Rumo]

Ja, wie gesagt... ich würde die Anwendung optimieren. So wie er es beschrieben hat ('Die "Rohdaten" enthalten relativ wenig Information') ist da viel Potential vorhanden. In welchem Rahmen das dann praktisch möglich ist muß er ja selber wissen.

 

[BlackWidowmaker]

Ich denke bei so vielen Rohdaten, lastet allein die Erfassung das System aus. Es in real time zu verarbeiten bzw zu komprimieren könnte problematisch werden.

 

[Dschoni]

So Jungs, ich meld mich mal zurück.

Tatsächlich gibt es einige Ansatzpunkte, die von euch angesprochen wurden.
@Rumo: Tatsächlich ist die Anwendung unoptimal. Eine erste Optimierung zielt darauf hin, die Daten extern zu spoolen und in Bunches zum PC zu übertragen. Laut Hersteller funktioniert das, was eine Reduzierung der Anzahl der Schreibvorgänge um ca. einen Faktor 1000 bewirken sollte ( Genauer: Anzahl der geschriebenen Dateien).

@BlackWidowmaker: Die Datenverarbeitung wird wohl ausgelagert werden an eine GPU. Es stehen per Gigabit Lan mit 4 Leitungen die GPU Server bereit. Da sich allerdings durch das Netzwerk ein Bottleneck ergibt, wird evtl auf eine kleiner dimensionierte lokale GPU ausgewichen. Für den Task sollten ~1000 Cuda Kerne locker ausreichen.

@Alle: Der jetzt bestellte PC schaut folgendermaßen aus:

MSI® H97M-G43 mATX H97 Mainboard

mit
Intel® Core™ i7-4790, 3,60GHz, 4 Cores / 8 Threads
und
4 x 8GB DDR3 FSB1600 240-pin

1TB Samsung SSD S840 EVO 2,5" SATA 6Gb
HGST 4TB Ultrastar 7K4000 SATA 6Gb

Die Daten kommen über den PCI-Express 3.0 x 16 an und werden auf Ramdisk + SSD gespoolt, mit CUDA und Multi CPU verarbeitet und dann auf die HDD weggeschrieben. Soweit die Theorie.
Ob das alles so klappt....mal sehen
Bisschen doof war ich, dass ich so an den PCIs gespart hab, wenn da jetzt noch GPU Karten rein sollen.... da nur noch Gen 2 Steckplätze da sind aber naja...

 

[MaverickM]

Die Daten kommen über mehrere PCI-X Karten an. Und es geht um viele kleine Dateien (Größenordnung ~ 2000 Dateien pro sekunde).
Schafft eine SSD 250 MB/s?

Sequentiell? Locker.

Viele kleine Dateien (Wie klein? 4k Blöcke? 512k Blöcke?)? Nein!

Die von Pitam bereits vorgeschlagene Lösung via RAMDisk halte ich für am sinnvollsten! Würde allerdings gleich 32GB reinpacken statt nur 16GB, damit hat man dann genügend Puffer.