Große DB 3 Systeme was für Hardware ?

[DellControl]

Hallo Liebe ComputerBase Gemeinde,

ich habe die nette Aufgabe bekommen Desktop Hardware zu besorgen um darauf eine Große Mysql Datebank laufen zu lassen.

Die Rahmen bediengungen sehen so aus:

Mysql Datenbank ~700 GB
Mysql Datenbank wird nur gelesen(only select)
Mysql Datebank hat etwa 30 Tablle mit ingesamt ~10.000.000.000 einträgen und das ist kein Schreibfehler 10 Mili nicht Mio
Tabllestruktur sind 97 pozent Zahlen Spalten(int,bigint)
Es gibt zwei Indizies die 99 % der Daten abdeckt
Mysql Datenbank kann auf mehere System verteilt werden
Mysql Datenbank muss es bleiben
Hardwarekosten 2000€ Obergrenze
Desktop Hardware bevorzugt da Strom/Hardwarekosten geringer.
Um Datebanksicherung wird sich gekümmert nicht meine Aufgabe
Kein produktive System.

Meine Gedanken dazu waren bissher diese hier:

Mehrere kleine Systeme mit viel Arbeitsspeicher das der jeweilige Index in den Ram passt
Mehrere Systeme die gleichzeit Arbeiten können und so die Last einer select Abfrage zu verteilen(große tabellen auf verschiedene Hardware verteilen)
SSD benutzten da diese schnellere Zugriffzeiten auf die Datebankeinträge erlaubt als HDD.
SSD benutzten die in der Praxsis zwar bei einem Datenbanksystem schneller kaputt gehen welches aber Hauptsächlich durch die Schreibzyklen der SSD geschuldet ist welches in diesem System aber nicht zum Problem werden sollte da nur einmal geschrieben wird und danach nur noch gelesen wird.
SSD Block größe an Datebank Block größe anpassen.
Linux als Bs.
Dedicated Server also Bs. Und Mysql mehr nicht

Die Hardware die ich besorgen würde und zwar alles 3 mal um dann die DB darauf verteilen:

Intel® Core™ i5-4440, CPU
ASRock B85 Anniversary, Mainboard
Crucial DIMM 32 GB DDR3-1600, Arbeitsspeicher
Crucial CT250BX100SSD1 250 GB
be quiet! System Power 7 300W, Netzteil
Sharkoon VS4-W, Gehäuse

Endsystem wenn alle Rechner zusammen Arbeiten

750Gb SSD
96 GB Ram
12 Threads


Also was denkt Ihr ist sowas mit solcher Hardware möglich oder muss es noch ein 4 Pc dieser config sein.

 

[metalpinguin]

Hallo bezüglich der Software sieh dir mal folgendes an:

https://mariadb.com/products/mariadb-maxscale und Galera Cluster mit der Clustercontroll http://www.severalnines.com/getting-started

Dies dürfte dir helfen.

 

[DunklerRabe]

Wie sieht es denn mit den Zugriffen aus? Wir wissen jetzt, dass es eine recht große DB ist, aber es ist noch ein Unterschied ob da 5 oder 5000 User parallel raus lesen.

 

[metalpinguin]

Und wie willst du die 700 GB über die 3 Systeme verteilen? Willst du Table Partionen machen? Ansonsten benötigst du auf jedem System die 700+ GB an Speicherplatz.

 

[DellControl]

@ DunklerRabe: Parallel zugreifen tun etwa 50 User mal bisscher mehr aber nicht viel mehr

@ metalpinguin: 700 GB würde ich über die 3 Systeme verteilen über den Galera Cluster mache ich mich grade schlau.

 

[bof]

Warum nicht gleich einen Xeon? Dann vielleicht nur 2 mal das Ganze.

http://geizhals.at/intel-xeon-e3-1226-v3-bx80646e31226v3-a1106392.html?hloc=at&hloc=de

 

[DunklerRabe]

Warum nicht gleich einen Xeon? Dann vielleicht nur 2 mal das Ganze.

Ich hab das Gefühl Rechenleistung ist hier nicht so sehr der limitierende Faktor.

Eine mögliche Alternative wäre es noch ein Sockel 2011(-3) System zu bauen, da kriegt man mehr RAM unter und käme dann locker mit einem System aus.

 

[DellControl]

@bof : Warum kein Xeon weil ich leider nicht einschätzen kann wie viel CPU Power benötigt wird um mehr RAM würde DB's immer gut ist

 

[bof]

Das Teil wäre noch eine Möglichkeit! 24 x Ram und 2 CPU Sockel,

http://geizhals.at/supermicro-x10dri-ln4-retail-mbd-x10dri-ln4-o-a1164336.html?hloc=at&hloc=de

aber wenn du es selbst nur mit 1 CPU bestückst bist sicher über dem Budget. DDR4 ist noch zu teuer.

 

[DellControl]

@ bof: Das Mainboards hatte ich mir schon angeschaut würde aber wie du selber sagst zu teuer werden

 

[DunklerRabe]

http://geizhals.at/supermicro-x9sra-retail-mbd-x9sra-o-a835903.html?hloc=de
http://geizhals.at/de/intel-xeon-e5-2603-v2-bx80635e52603v2-a999480.html?hloc=de
http://geizhals.at/de/teamgroup-server-dimm-16gb-t2e1r04h42147-a1125965.html?hloc=de

260+200+8*115 = 1380 Euro

Dann noch ~150 Euro für Gehäuse, Netzteil, CPU Kühler

Und dann bleiben noch 470 Euro übrig für eine 1 TB SSD (Samsung SSD 840 Evo oder 850 Evo, Crucial M500 oder BX100) und irgendwas kleines für das Betriebssystem.

 

[DellControl]

@ DunklerRabe: Ich glaube ich bevorzuge die Cluster Variante weil diese für die Zukunft ausbaufähiger ist.

Das Vorschlag mit Galera Cluster ist nicht schlecht nur verstehe ich folgende Zusammenhang nicht ganz:

MySQL Replicationcluster; MaxScale ; Galera Cluster connection balancing ;Galera Cluster statement splitting mechanism

Meine Quelle : https://github.com/mariadb-corporat...e_ Getting Started With MaxScale.pdf?raw=true

Bzw: Momentan würde ich das Programm so umprogrammieren das wenn ein select kommt alle 3 nodes anfangen zuarbeiten und die Ergebnisse dann zusammen zufügen.

Ergebnis sollte dann sein. Schelles lesen der Daten da jeder Node arbeitet und einen kleineren Teil von Daten abarbeiten muss als wenn alles nodes die ganzen Daten hat und dann loadblanced wird


Frage zur Hardware:
Kann man ASRocks Boards mittleweile wieder verbauen oder gehen diese immer noch so schnell kaputt ?

 

[metalpinguin]

Das was du vorhast ist dies hier http://dev.mysql.com/doc/refman/5.1/en/partitioning-overview.html

Dafür musst du nichts umprogrammieren.

Ich würde dir aber ehr zu einem Loadbalancing anstatt verteilen auf die Nodes raten. Du wirst jede menge Kopfschmerzen durch das Thema bekommen.

 

[e_Lap]

Zu den Asrockboards, in einem Rechner der Familie läuft ein Board seit ~6Jahren fehlerfrei. Mein privates nun auch seit fast 3 Jahren. Ist zwar nur ne Laienaussagen, aber vielleicht hilfts bei der Entscheidung.