Workingstation mit Hardware-Power zu Berechnung von Modellen in Python

[ChrisCo86]

@ghecko: Ok, versuche dann heute Abend Antworten zu liefern. Bin nämlich gerade auf der Arbeit 😅

 

[ChrisCo86]

Ich lasse momentan ein realistisches Modell laufen. Er braucht momentan beim Arbeitsspeicher momentan 12 von 32 GB. Der CPU ist aber gut ausgelastet und schwankt zwischen 30 und 85% Auslastung

 

[ghecko]

Der CPU ist aber gut ausgelastet und schwankt zwischen 30 und 85% Auslastung

Mach mal einen Screenshot vom Taskmanager, auf dem man alle CPU-Threads sieht.

 

[ChrisCo86]

@ghecko Hoffe, am erkennt es

 

[ghecko]

Hm, ich weiß nicht was das 100% da bedeuten soll, aber nach 100% sieht der Verlauf in den Threads nicht aus. Die Anwendung scheint gut parallelisiert, aber irgendwas scheint zu limitieren. Entweder die Speicherbandbreite oder die Berechnung kann einen Kern nur partiell auslasten und der Taskmanager zeigt das entsprechend an.

 

[ChrisCo86]

@ghecko Der Arbeitsspeicher kann es nicht sein und gurobi habe ich auch nicht auf threads begrenzt, aber habe da nicht so viel Ahnung

 

[ghecko]

(Arbeits)speicher kann durchaus sein. Diesmal nicht die Menge sondern die Verbindung zwischen CPU und RAM. Wenn der voll ausgelastet ist, bekommt die CPU nicht schnell genug Daten -> weniger Auslastung der CPU.
Dazu muss der RAM nicht mal voll sein und das ist eben das schwierige. Mir fällt aktuell nicht ein wie man das überwachen könnte.

Andere Möglichkeit ist, dass die Prozesse die CPU eben nur teilweise auslasten können, weil sie immer ähnliche Operationen durchführen, die CPU die nicht intern skalieren kann und diese dennoch die Pipeline voll belegen. Aber ich weiß halt nicht wie das der Taskmanager auswertet.

Schwierig. Ich würde fast auf Speicherbandbreite tippen.

 

[ChrisCo86]

@ghecko Speicherbandbreite? Sagt mir nicht wirklich was...Was würde das denn heißen für einen mögliche Konfiguration?

 

[ghecko]

Das würde bedeuten Quadchannel. Aber das gibts innerhalb deines Budgets nur gebraucht.
Alternativ möglichst hohe Frequenz der Riegel, das ist ebenfalls teuer und wenn die Daten verwertbar sein sollen, würde ich das nicht empfehlen.

Und das ist nur eine Theorie. Es ist ungewöhnlich, dass die Rechnerei nicht mal einen Kern voll auslasten kann, aber über fast alle Threads gut skaliert.

Vllt hat hier noch jemand eine Idee wie man das noch genauer einkreisen könnte, aber ich würde vermuten, dass du innerhalb deines Budgets nicht so viel Geschwindigkeit rausholen kannst, dass es das wert ist. Kommt natürlich drauf an, ob du den Laptop anderweitig brauchst und die Rechnerei ohnehin auslagern willst.

 

[ChrisCo86]

@ghecko Den Laptop brauche ich eigentlich für weitere Aufgaben, würrde das halt gern auslagern. Das drüfte es doch in der Preisklasse geben, oder? Es muss ja kein Hochleistungsrechner sein, aber eine gute CPU auf einem guten MB und mit viel RAM. Allerdings bin ich da Anfänger. Ich dachte eine AMD-Ryzen 7 auf nem MB mit AM4-Sockel könnte ganz gut sein.

 

[ghecko]

Ob Intel oder AMD ist ziemlich egal, da wir ohne Benchmarks nicht wissen auf welcher Architektur deine Berechnung schneller läuft. Und du hast kein System zum gegentesten.
Vorteil bei Intel: man könnte sich die Grafikkarte sparen. Andererseits brauchst du auch keine tolle, da reicht eine für 40€.
Bei AMD würde ich aber nicht unter den 3900X gehen, denn bei allen Prozessoren mit nur einem Chiplet ist die Bandbreite in eine Richtung limitiert, das würde ich bei deiner Anwendung nicht riskieren.

So könnte man das machen:
Intel:
https://geizhals.de/intel-core-i9-10850k-bx8070110850k-a2341363.html
https://geizhals.de/msi-z490-a-pro-7c75-003r-a2287325.html
AMD:
https://geizhals.de/amd-ryzen-9-3900x-100-100000023box-a2064391.html?hloc=at&hloc=de
https://geizhals.de/msi-b450-tomahawk-max-ii-a2405571.html?hloc=at&hloc=de (Bios-Update per Flashback vor dem Zusammenbau!)
https://geizhals.de/msi-geforce-gt-710-1gd3h-lp-v809-1899r-a1386042.html?hloc=at&hloc=de

Rest:
https://geizhals.de/g-skill-ripjaws...-3600c18d-32gvk-a2154732.html?hloc=at&hloc=de
https://geizhals.de/kingston-a2000-nvme-pcie-ssd-500gb-sa2000m8-500g-a2112845.html?hloc=at&hloc=de
https://geizhals.de/scythe-mugen-5-rev-b-scmg-5100-a1647533.html
https://geizhals.de/be-quiet-pure-power-11-500w-atx-2-4-bn293-a1910215.html
https://geizhals.de/silentiumpc-ventum-vt2-spc288-a2432161.html
3x https://geizhals.de/arctic-p12-pwm-pst-schwarz-acfan00120a-a1920159.html

 

[ChrisCo86]

@ghecko mega. Danke. Bist ein Schatz. 🙂🙂 Kannst du noch ein Video zum Zusammenbasteln empfehlen? Hab das zwar schon ein paar mal gemacht, aber habe bei den Preisen Angst was kaputt zu machen

 

[ghecko]

Wenn du nicht das von the Verge befolgst bist du safe. Alternativ kannst du dir Hilfe hier aus dem Forum suchen, dafür gibts extra eine Liste für Boardies in deiner Nähe:
https://www.computerbase.de/forum/t...in-deiner-naehe.1249024/page-88#post-25418797

Zu den Zusammenstellungen: Ich vermute der Intel wird in deiner Software mehr leisten, kann es aber mangels Daten nicht garantieren.
Bevor du jetzt alles kaufst würde ich bis morgen Abend warten, vllt hat hier noch jemand einen Einspruch und/oder ne bessere Idee.

 

[proserpinus]

Hm, ich weiß nicht was das 100% da bedeuten soll, aber nach 100% sieht der Verlauf in den Threads nicht aus.

Mach mal den Ressource Monitor bei dir auf (falls du Windows hast) und schau dir die Diagramme an. Da steht fast überall 100%. Nur macht diese Angabe an dieser Stelle wirklich überhaupt keinen Sinn. AMD hat die Diagramme die letzten Jahre ganz schön klein werden lassen

@ChrisCo86
Wenn ich du wär, würd ich mir auf jeden Fall ein Mainboard mit IPMI nehmen. Dann kannst du dir eine Grafikkarte sparen und das Ding ist somit perfekt ausgelegt auf Fernwartung.
Wieviel Speicher du wirklich brauchst, kannst einzig und allein du einschätzen. Erfahrungsgemäß würde ich diese Einschätzung verdoppeln und dann bist du gut gerüstet.
Sofern das alles stabil laufen soll, würd ich nicht auf ECC verzichten, kostet ja kaum mehr als Non-ECC Ram. Aber dann brauchst du eher eine andere Plattform, Richtung Epyc oder Intel.

Es kommt aber wirklich darauf an, dass du deine Schwerpunkte genau ermittelst um die tatsächlichen Anforderungen zu kennen. Das spart dir einerseits unnötige Ausgaben und eröffnet dir andererseits dadurch den Erhalt von wirklich gebrauchter Leistung und sinnvollen Features (IPMI, Lanes, Speicherkanäle, Stabilität).

 

[ChrisCo86]

@proserpinus @ghecko vielen lieben Dank euch. Ich überlege noch ein bisschen

 

[ChrisCo86]

@ghecko: Bin kurz davor die Zusammenstellung zu bestellen. Allerdings mit 4 der Ram-Riegel. Bin mir aber noch unsicher bzgl. dem Prozessor. Warum denkst du, dass der Intel besser geeignet ist?

 

[ghecko]

Allerdings mit 4 der Ram-Riegel.

Nimm lieber das Kit:
https://geizhals.de/crucial-ballistix-schwarz-dimm-kit-64gb-bl2k32g36c16u4b-a2222501.html?hloc=de

Warum denkst du, dass der Intel besser geeignet ist?

Er ist preislich attraktiver. Und Rocket Lake hat etwas niedrigere Speicherlatenzen gegenüber Zen2. Da ich vermute, dass deine Anwendung Speicherlimitiert ist (beweisen kann ich es nicht) glaube ich, dass der Intel hier ein paar % mehr rausschlagen kann, trotz 2 Cores weniger.

 

[ChrisCo86]

Bin jetzt wirklich nach langem Nachdenken am Bestellen. Habe mich für AMD entschieden. Könntest du @ghecko mir eine Grafikkarte und ein Abreitsspeicher-Kit empfehlen, dass es auch bei mindfactory gibt?

 

[ChrisCo86]

Nochmal lieben Dank an allen. Habe mir die Konfiguraiton mit AMd und kleinen Abweichungen gekauft. Läuft bis jetzt super.