PC f. Datenanalysen

[kayoh]

Ich suche eine optimale Hardwarekonfiguration für einen Datenanalyserechner

INTEL Core i7 2600 4x3.4GHz boxed

8GB KINGSTON CL9 HyperX PC3-12800U KIT

LG Electronics (Bulk) GH-22NS SecurDisc schwarz

Antec Three Hundred schwarz o.NT.

525W Enermax Modu 82+

3.5" HITACHI HDS723020BLA642 7200U/min 64MB SATA

2.5" OCZ 240GB Vertex 3 Series

Intel DH67BL, H67 (B3) (dual PC3-10667U DDR3)


Wollte die 2 x SSD´s in nem RAID 0 betreiben. Ist es ein Problem ob Softwareraid oder Hardwarerraid?

 

[Martin.H]

Was für eine Art Datenanalyse ist das? Macht es evtl. Sinn mehr CPUs einzusetzen?
Welche Datenmengen werden denn analysiert? Je nach Anforderung macht auch eine andere Ausstattung mit Festplatten mehr Sinn.
Von OCZ SSDs ist derzeit abzuraten, anscheinend werden minderwertige Chips verbaut.

 

[Bauernjoerg]

generell kannst du nen Billigeren Ram nehmen, TeamGroup oder so, kannst noch en 10er Sparen

 

[kayoh]

Hey Danke f. die Antwort Das Programm ist nicht Multicore fähig. Das sind so Unternehmensdaten ganz ähnlich wie riesige Excelsheets in etwa.. Welche SSD würdest du empfehlen? Diese OCZ hat eine Lese-und Schreibgeschwindigkeit von ~550 MB/s angeblich

Nee soll schon qualitativ sehr hochwertig sein.

Ergänzung (1. September 2011)

Vielleicht fällt euch noch was ein was man vergessen könnte. Ein problemloser Zusammenbau ist ja nur selten :> best. Kabel oder sowas?

 

[JustGee]

Hallo,

ist es nicht möglich das Programm mehrmals zu starten und einzelen Threads damit zu belegen? Je nach größe des Projektes kann sich (muss nicht auch weiterer RAM lohnen), ist schwer zu sagen weil wir das Ausmaß nicht kennen.

Was erhoffst du dir genau von einem Raid0 bei einer SSD?

Netzteil brauchst du keine 550 Watt.

 

[kayoh]

ne guter Einwand, ist nicht möglich Mehrfachanmeldung geht net. Naja das Kernproblem ist wohl der Arbeitsspeicher und die Festplattengeschwindigkeit. Erhoffe mir mit dem Raid0 einfach eine noch schnelleren Verarbeitungsprozess...

Auszug vom Programm:
Die begrenzende Ressource ......... Festplatte. Hier sollten Platten mit hohen Umdrehungszahlen und damit hohen Datendurchsatzraten eingesetzt werden. Zu empfehlen sind mindestens 7.200 rpm, wenn möglich 10.000 rpm oder mehr. Auch der Einsatz eines RAID 0 Verbundes bringt weitere Geschwindigkeitsverbesserung. Zukünftig sind auch Solid State Discs sinnvoll.

 

[Bauernjoerg]

Billiger Ram ist genauso Qualitativ hochwertig!
Wobei, ich geh davon aus das bei dir die Firma bezahlt, da wird der Preis jetzt nicht die erste Geige spielen.

Von den OCZ wird momentan öfters über Fehler berichtet, da mag sie noch so schnell sein, wenn die Platte ausfällt hilft das alles nichts.

Generell empfielt sich zZt. immer die Crucial M4, hier wird weitaus weniger oft von Fehlern berichtet, ich selber betreibe auch eine und hatte bisher noch keine Probleme. Geschwindigkeitsmäßig bringt die seit dem Firmware Update 0009 bei mir so 450MB/sec lesen und 250MB/sec schreiben.

// Ich seh grad deine neue Antwort zum Thema RAID0, soweit ich weiss ist es aktuell noch nicht möglich, SSDs im RAID0 mit TRIM zu betreiben! Wenn dich das nicht stört, ist dagegen warscheinlich nichts einzuwenden.

 

[Sharkoon05]

kA wie groß die Daten sind die du Analysieren willst, aber vielleicht ist bei den Heutigen RAM Preisen auch ein RAMdrive ne überlegung wert!

 

[kayoh]

Danke für die Antworten. 250 MB/s klingt ja nicht sonderlich viel... Inwiefern kann man den Angaben denn trauen? https://www.kmelektronik.de/shop/index.php?show=product_info&ArtNr=30950

Firmwareupdate für eine SSD? Oder nur ein aktualisierter Treiber? Fällt euch noch was ein, was ich für einen Zusammenbau vergessen hätte können?

Daten so bis 10 GB.

Ergänzung (1. September 2011)

Muss ich was wegen Dual Channel bedenken? Oder ist das garkein Thema mehr?

 

[rsfb]

Bei den Rampreisen und ner Excel sheet kam mir eigentlich auch nur nen Ramdrive in den Sinn Dazu einfach nen Dualcore mit richtig dampf zb i3-2120 Wenn der Pc nur für diese eine Singlethreaded-Anwendung gedacht ist kann man das ding für 400€ oder so (je nach Ram) hochziehen.

 

[Sharkoon05]

Vll wäre es ne Überlegung wert, ein Sockel 1366 Board mit 24 GB RAM zu nehmen.... dann hättest mit nem RAMDrive die besten karten bei deinem Problem.
Denn keine SSD schafft 8000MB/s an übertragungsraten

 

[Martin.H]

Dann hier mehrere Anmerkungen:
Kann das Programm auf 64 Bit laufen? wenn nein, werden nicht mehr als 3GB RAM vom Programm adressiert, 8GB sind ausreichend. Die RAM-Geschwindigkeit ist unerheblich.
Die CPU sollte passen, wenn einzelne Cores übertaktet werden können, um mäglichst viel Single-Core-Speed zu haben.
RAID 0 hat hier nichts verloren. Bau eine SSD ein, und schau dann wo der Flaschenhals ist (wenn die CPU-Auslastung nicht bei 100% ist, ist die Platte limitierend).
Vielleicht wären 2 Platten sinnvoll, eine kleine fürs Sys, und eine für Programmdaten.

Edit: Das Ramdrive wäre auch eine Überlegung wert!

 

[kayoh]

ohh RAMDrive kenn ich garnicht, hört sich aber interessant an. Muss ich mich mal informieren, sagt mir nämlich garnix.

 

[tm0975]

was für software setzt du denn ein? sofern es vernünftige datenbanken sind, nimm 2 kleinere opteron mit mind. 6 kernen, 32 gb ram (64 bit windows) und 2 ssd vertex 3, letzteres gern auch mehr wenn das geld reicht. mittels tpc-h kannst du das gut kontrollieren. gibt auch offizielle benchwerte, da kannst u ganz gut schauen, welche hardware wie leistungsfähig ist.

 

[kayoh]

Problem ist eine Bestellung soll das sein, alles andere wäre zu aufwendig. Wie muss man sich das vorstellen mit RAMDrive?

 

[Sharkoon05]

Eine RAM-Disk oder Ramdrive ist ein virtueller und temporärer Datenträger im Arbeitsspeicher (RAM) eines Computers. Sie wird hauptsächlich eingesetzt, wenn andere physikalische Speichermedien zu langsam oder, während der Rechner neu aufgesetzt wird, nicht verfügbar sind. @Wiki

eig ganz einfach, innerhalb von ein paar minuten erstellt

 

[kayoh]

Hier sind die Empfehlungen zur Software:
http://support.audicon.net/index.ph...189-faq-idea-optimale-hardware-fuer-idea.html

 

[tm0975]

klingt nach klickview oder sowas...

 

[kayoh]

Soll einfach asap sein. Aber ihr habt ja schon gute Ideen/Anregungen gebracht. Dank Euch.

 

[andy_0]

Beim RAM Drive erstellt du eine virtuelle festplatte im arbeitsspeicher d.h. du musst die daten erst manuel dort reinladen. Abhängig von der größe der quell/zieldaten bringt es eher wenig, vorallem da man die daten wie gesagt erstmal in den ram laden "darf". Kann sinnvoll sein, muss aber nicht. Hier ist wieder der einsatz abhängig und vorallem wie groß die daten sind, die du einlesen musst und ob du dann noch genug RAM zur bearbeitung übrig hast.

Wie groß sind denn die daten die analysiert werden? Ich denke 16 GB RAM wären für dich deutlich von vorteil, da man bei datenanalyse, soweit ich mir das z.B. im SQL Server vorstelle, "nicht genug" RAM haben kann bzw. 8 GB RAM ratzfatz gefüllt sind. Evtl. lohnt sich ein mainboard (sockel 1366) indem du 24 GB RAM (dank 6 RAM slots) reinbaust. Mehr als 4 GB pro modul lohnt sich bei den gegenwärtigen preisen nicht.

Den sinnvollen einsatz von SSDs musst du entscheiden, bedenke aber auch, dass die daten, die du analysierst, dann irgendwo "sicher" abgelegt werden müssen, wenn du sie in einem RAID 0 betreibst. Fällt da eine platte aus, sind die daten futsch. Auch würde ich mir überlegen, ob du den speed beim lesen oder beim schreiben benötigst und wieviel überhaupt. Vier HDDs im RAID 0 bringen ähnlich viel sequenzielle schreibleistung wie zwei SSDs, sind dabei billiger und du hast deutlich mehr platz. Entsprechend würde ich z.B. von einem RAID0 mit 2 HDDs lesen und auf einem RAID0 mit 4 HDDs drauf schreiben (jeweils 1 TB HDDs mit 7200 U/m). Wenn du mehr speed beim lesen brauchst, natürlich anders herum, wenn du geschwindigkeit beim nicht sequenziellen (random) lesen benötigst, lohnt sich eine SSD. Mit entsprechenden board chipsatz (ich glaub Z68 oder so) kannst du z.B. eine SSD als cache verwenden. Sehr praktisch, da dort die häufig verwendeten daten und programme ausgelagert werden. Bedenke das SATA 3 "nur" 600 MB/s transferieren kann d.h. zwei SSDs kannst du u.U. in einem RAID gar nicht voll auslasten.

Software RAID würde ich nur unter Linux verwenden. Mit Windows würde ich MixedRAID empfehlen (RAID übers Mainboard), auch wenn das nicht das beste ist, ist es preisgünstig und für RAID0 und RAID1 ausreichend. Bei RAID0 würde ich jedoch aufpassen, da man bei einem defekten Mainboard u.U. probleme hat, die daten woanders auszulesen (was jedoch schon gehen sollte, wenn man sich ein bissl arbeit macht).