Deep Learning PC 10.000€

[h3ld]

Hallo Leute,

ich bin beauftragt, einen zukunftssicheren Rechner für Deep Learning zusammen zu stellen. Budget liegt bei 10.000€

Es gibt zwei grundätzliche Fragen, bei denen ich mir unsicher bin:

AMD Ryzen oder Threadripper?

Lohnt sich eine Quadro Grafikkarte?

Meine Vorstellung bis jetzt, ohne Threadripper und Quadro Karte:

Grafikkarte
2x Gigabyte Extreme Waterforce
https://geizhals.de/gigabyte-aorus-...-wb-24g-gv-n3090aorus-x-wb-24gd-a2470532.html

Prozessor
AMD Ryzen 9 5900x
https://geizhals.de/amd-ryzen-9-5900x-v43020.html

oder

AMD Ryzen Threadripper 3960x
https://geizhals.de/amd-ryzen-threadripper-3960x-100-000000010-a2188017.html?hloc=at&hloc=de


RAM
Gskill Ripjaws 128GB
https://geizhals.de/g-skill-ripjaws...2666c19q-128gvk-a2467326.html?hloc=at&hloc=de



Freue mich über Anregungen. Im Budget ist auch noch Luft nach oben, also falls jemand Ideen hat, wie dieses sinnvoll verwendet werden kann, immer her damit!

1. Möchtest du mit dem PC spielen?

• Nein

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?

Für maschinelles Lernen mit Tensorflow, Keras oder entsprechenden python Bibliotheken

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?

Sollte so leise sein, dass der Rechner im selben Raum stehen kann.

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)

2 Monitore

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)

Nein

6. Wie viel Geld bist du bereit auszugeben?

10.000€

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
So schnell wie möglich

8. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen (vom Shop oder von freiwilligen Helfern)?
Wird zusammen gebaut von einer Firma.

 

[H3llF15H]

Kurz und bündig: wende dich an ein Systemhaus. Gut gemeinter Rat.

Alles anderes ist Spielzeug.

 

[tomgit]

Wofür willst du den PC denn nutzen - professionelles Deeplearning? Hast du schon Klienten dafür?
Persönlich würde ich eher auf Quadros zurückgreifen, einfach wegen der ECC Fähigkeit. Je nach Einsatzgebiet, wo eben Qualität > Brechstange ist, ist das vielleicht besser als die 3090

Ansonsten find ich den Speicher extrem knapp bemessen

 

[motorazrv3]

Netzteil
Xilence Performance X Modular
https://geizhals.de/xilence-perform...xn076-xp1050mr9-a1889833.html?hloc=at&hloc=de

Wenn schon ordentlich Geld da ist, da würde ich auf ein Seasonic Netzteil setzen.

 

[Darkblade08]

Lohnt sich eine Quadro Grafikkarte?

Das solltest du wissen, wenn du den Rechner zusammenstellst. Du kennst die Software

Wird zusammen gebaut von einer Firma.

Gibt die dann auch Support auf diese Kiste?

Bei so einem Projekt kein ECC RAM?

Kurzum, geh zu einem Systemhaus, die sich auf sowas spezialisiert haben. Dann bekommst du auch den nötigen Support dazu.

 

[acty]

• für solch ein Arbeitstier sollte man weniger auf bling bling RGB setzen
• Gehäuse sollte ordentlich bemessen sein
• Netzteil eher in Richtung bequiet! oder SeaSonic
• bei dem Budget und Einsatzzweck wirklich eher an ein Systemhaus wenden. Du scheinst nicht wirklich zu wissen, was du brauchst - was ich wiederum komisch finde

 

[whats4]

in dem budgetbereich... ...keine consumer sockel. die sind per se zu vergessen.
die großen sockel oder dualprozessor systeme. ecc bzw ecc registered bestückt.

quadro bzw beschleunigerkarte ohne bildausgänge: kommt auf deine software an.

jedenfalls klar eine sache für ein systemhaus. und vergiss den supportvertrag ned, sonst bereust du es, weil es sehr teuer werden kann.

ein tipp: sieh dir puget systems an. so sehen taugliche konfigurationen aus.

 

[Conqi]

Wird zusammen gebaut von einer Firma.

Und bieten die keine Teile oder zumindest Beratung an? Bisher wirkt deine Zusammenstellung sehr willkürlich. Ziemlich günstiges Netzteil, unnötig teures Meinboard, wassergekühlte Grafikkarten, aber ohne alles andere für eine Wasserkühlung nötige?

Ob sich eine Quadro lohnt, hängt sehr von der Software und den eingesetzten Datensätzen ab. Die 24 GB einer RTX 3090 sollten aber in den meisten Fällen ausreichen und die Consumer-Karten sind in den Machine-Learning Bereichen auch nicht so sehr beschnitten meines Wissens nach. In einem spezialisierten Forum dürftest du diesbezüglich aber bessere Informationen bekommen, was Tensorflow und Co. am besten brauchen.

 

[H3llF15H]

Wenn ich mir mal die Systemanforderungen der Software ansehe (GTX 960 oder Intel 6th Gen) halte ich den Eingangspost irgendwie für Zeitvertreib.

 

[Leo.16]

@H3llF15H
tensorflow kann schon gut viel Leistung benötigen, richtige Implementation vorausgesetzt. Kleine Projekte laufen aber auch auf einer mobilen CPU...kommt ganz auf das neuronale Netzwerk an, das du nutzen möchtest.

 

[h3ld]

Danke für die schnellen Antworten!

Den Zusammenbau/ Support übernimmt eine externe Firma. Die Idee ist, dass ich eine grundlegende Hardware Ausstattung empfehle, welche dann versucht wird, zu realisieren.

Im Grunde sind hierfür nur Grafikkarte, Prozessor und RAM relevant, hab den Ausgangspost mal editiert.

Ansonsten find ich den Speicher extrem knapp bemessen

128GB findest du knapp? Wieso?

in dem budgetbereich... ...keine consumer sockel. die sind per se zu vergessen.

Interessant, wieso?

 

[wrglsgrft]

Und warum empfiehlst du Hardware für ein 10.000 €-Projekt, wenn du dir nicht wirklich sicher bist was du da tust?

 

[scheru]

Und warum empfiehlst du Hardware für ein 10.000 €-Projekt, wenn du dir nicht wirklich sicher bist was du da tust?

Weil die Leute, die ihm den Auftrag geben, glauben er wüsste was er tut.

Geht zu einem Systemhaus.

Edit: Grund warum.

Bei dem Budget und professionellem Einsatz wird's schnell teuer, wenn das System ausfällt. Die Häuser die sich auf die Zusammenstellung spezialisiert haben, bieten maßgeschneiderte Systeme and mit, und das ist der wichtige Punkt, aufeinander abgestimmter Hardware, welche auf Herz und Nieren geprüft ist und folglich auch verlässlich zusammen harmoniert.

Einfach Teile zusammenstecken kann funktionieren, muss es aber nicht. Folglich ist es auch nicht sonderlich professionell.

Vom Support ganz zu schweigen.

 

[Autokiller677]

Interessant, wieso?

Weniger Konnektivität (PCI-E Lanes), teilweise kein ECC. Mit den 20 PCI-E Lanes kommt man bei Deep Learning nicht unbedingt weit. 16 frisst allein schon jede Grafikkarte (gut, mit Gen4 kann man hier eventuell auf 8 runter), schneller Speicher / schnelles Netzwerk braucht auch nochmal ein paar - und schon hat man irgendwo einen unnötigen Flaschenhals.

In dem Preisbereich sollte man schon eher auf Threadripper / Epyc schauen.

Am Ende des Tages kommt es aber eben auf die Software- und Nutzer-Anforderungen an, die hier vielfach nachgefragt worden - also liefere die doch mal nach.

 

[chillking]

Meine beschränkte Erfahrung im Bereich neuronale Netze (Tensorflow):
NNs fressen Speicher wie Scheiße, in jeglicher Hinsicht. RAM, VRAM und SDD/HDD.

Die Leute, die die Büxe dann verwenden, werden ja vermutlich auch Erfahrungen haben, wie rechen- und speicherintensiv ihre Trainingsvorgänge sind. Da würde ich mal nachfragen, was da so die Anforderungen sind.

Genauso bzgl. mehreren GPUs: das war damals für mich nicht direkt trivial, dass das Training auch Multi-GPU-Setups effizient verwendet (ich hab damals aber auch nicht Keras verwendet, vllt ist das da auch easy zu händeln). Nur so am Rande, dass ihr nicht einfach ne mords Kiste kauft und hinterher benutzt es keiner.

Generell finde ich die Idee, sich vorher zu informieren und Gedanken über mögliche Hardware (oder zumindest die Region) zu machen und anschließend zum Systemhaus zu gehen, ziemlich gut. Dann hat man zumindest mal einen Grunddocht und kann sich mit dem Kollegen unterhalten. Von dem her passt vorher in einem Forum fragen mMn schon.

 

[kamanu]

Würde ja eher in Richtung von sowas tendieren. Allerdings kommst du da auch nicht sonderlich weit mit 10k€.
Eventuell wäre wenn das Budget wirklich nach oben offen ist ne Racklösung auch interessanter.

 

[Paradox.13te]

Ohne zu wissen welche Software genau drauf laufen wird ist es ziemlich sinnlos da was zu empfehlen.

 

[SoDaTierchen]

Tensorflow bietet verteiltes Rechnen, auf mehreren GPUs aber auch auf mehreren Rechnern per se an. Eine sinnvolle Config würde hier nicht aus 2x 3090 bestehen, sondern eher aus 4 etwas kleineren Grafikkarten, da dort die Leistung / Euro erhebtlich höher ist.

Je nach Projekt gilt zu prüfen, inwieweit du mehr Speicher brauchst. 128GB RAM können knapp werden, müssen es aber nicht. Ebenso gilt zu prüfen, ob du VRAM-technisch mit Consumer-GPUs hinkommst. Per Se Quadro-GPUs oder Serversockel würde ich nicht empfehlen, das lohnt sich erst, wenn die Systeme 24/7 laufen sollen oder wenn die Anforderungen nicht mehr mit Consumerhardware erfüllbar sind. Für "besser Workstations" tut es Consumerhardware auch.

Abgesehen davon solltest du aber dein Systemhaus kontaktieren und dich von denen beraten lassen. Es kann gut sein, dass du dir hier etwas überlegst, was sie dir nicht anbieten. Und du hast ja ganz offensichtlich sehr wenig Ahnung, daher binde sie unbedingt frühzeitig schon in die Planung ein. Das spart allen beteiligten Arbeit

 

[madmax2010]

Uff.
@h3ld hast du schonmal was mit TF / Keras gemacht? Keras ist seit 2 jahren in TF aufgegangen..
Das Mainboard ist quatsch. Nimm eins zwischen 150 und 200 Euro.
Das du dir 128GB RAM voll machst bezweifle ich auch, wenn du halt ohnehin die GPUs fuers training nutzt.

Weniger Konnektivität (PCI-E Lanes), teilweise kein ECC. Mit den 20 PCI-E Lanes kommt man bei Deep Learning nicht unbedingt weit. 16 frisst allein schon jede Grafikkarte (gut, mit Gen4 kann man hier eventuell auf 8 runter), schneller Speicher

Die PCIe Lanes sind mehr als ausreichend, die GPUs reden vor allem ueber NVLink mit einander. auch kann man die batches schon so splitten, dass der Grossteil der Komminukation die Karte nicht verlaesst.
Und man will seine Netze ja auch so gestalten, dass sie spaeter von Gewoehnlicher Hardware genutzt werden kann.
Ich zweifle jedoch daran, dass es sinnvoll ist GPUs hierfuer zu kaufen, wenn man fuer 10k extrem lange TPUs mieten kann.

Wenn ich mir mal die Systemanforderungen der Software ansehe (GTX 960 oder Intel 6th Gen) halte ich den Eingangspost irgendwie für Zeitvertreib.

da gehts um CUDA Verfuegbarkeit. Was man trainieren / inferencen kann und was nicht hängt vor allem an der Menge des verfuegbaren VRAMs und

 

[h3ld]

Weniger Konnektivität (PCI-E Lanes), teilweise kein ECC. Mit den 20 PCI-E Lanes kommt man bei Deep Learning nicht unbedingt weit. 16 frisst allein schon jede Grafikkarte (gut, mit Gen4 kann man hier eventuell auf 8 runter), schneller Speicher / schnelles Netzwerk braucht auch nochmal ein paar - und schon hat man irgendwo einen unnötigen Flaschenhals.

Hey, danke für das Feedback.

Ich orientiere mich an diesen Ausführungen hier:
https://timdettmers.com/2020/09/07/which-gpu-for-deep-learning/#Do_I_need_8x16x_PCIe_lanes
und zitiere mal:
"Same as with PCIe 4.0 — generally, no. PCIe lanes are needed for parallelization and fast data transfers, which are seldom a bottleneck. Operating GPUs on 4x lanes is fine, especially if you only have 2 GPUs. For a 4 GPU setup, I would prefer 8x lanes per GPU, but running them at 4x lanes will probably only decrease performance by around 5-10% if you parallelize across all 4 GPUs."

Die Leute, die die Büxe dann verwenden, werden ja vermutlich auch Erfahrungen haben, wie rechen- und speicherintensiv ihre Trainingsvorgänge sind. Da würde ich mal nachfragen, was da so die Anforderungen sind.

Hey, konkrete Angaben kann ich nicht machen. Der Rechner kann das Budget ruhig ausschöpfen und soll mindestens die nächten 5 Jahre möglichst gut für Anwendungen um Bereich machinelles Lernen, Deep Learning und Data Science gerüstet sein.
Zur Software: Data wrangling mit R und den üblichen Paketen (tidyr und dplyr)
ML mit scikit learn und tensorflow

Ich möchte so grob eine Idee haben, was bei diesem Budget eine sinnvolle, möglichst zukunftssichere Investition ist. Hierfür ist es mir wichtig, dass ich weiß, ob und wieso Threadripper Sinn macht. Außerdem möchte ich verstehen, wann eine Quadro GPU Sinn macht. Sobald ich das einigermaßen verstanden habe, setze ich mich augenblicklich mit Anbietern in Verbindung