PC als Server und Deep Learning Anwendungen

[Sami]

Hallo zusammen, habe gerade versucht mir auf mifco.com einen neuen PC zusammenzustellen. Dieser soll vor allem für Deep Learning dienen, parallel allerdings auch als Server fungieren und ggf. nebenbei auch für einige weitere Python Anwendungen nutzbar sein. Ich kenne mich leider mit Hardware so gut wie überhaupt nicht aus.
Hier mal mein Versuch:
https://www.mifcom.de/laden/rxnuxzzx


1. Möchtest du mit dem PC spielen?

Nein.

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?

Nein, aber für Deep Learning (v.a. tensorflow) und Softwareentwicklung (Python, C++)

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?

Geringe Lautstärke nur wenn ohne Leistungsverlust möglich. Optik spielt keine Rolle

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)

Zwei bis drei Monitore. Aktuell in Verwendung: Lenovo C27-35 68,58 cm (27 Zoll, 1920x1080, Full HD, 75Hz, entspiegelt)

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)

Nein.

6. Wie viel Geld bist du bereit auszugeben?

2.500 € bis 4.000 € sind ok. Mehr nur wenn gute Gründe vorliegen.

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?

Mehrere Monate Wartezeit wären im Zweifel auch in Ordnung.

8. Möchtest du den PC

zusammenbauen lassen

Meine Prioritäten:

1. Maximale Modellgröße für Deep Learning (VRAM)
2. Lernleistung
3. Inferenzleistung
4. Systemstabilität
5. Gut nutzbar als Allrounder während im Hintergrund DL läuft
6. Kompiliergeschwindigkeit

Wäre klasse, wenn ich ein paar Tips bekommen könnte, worauf ich achten müsste.
Ist eine der neueren Grafikkarten für mein Vorhaben nötig?
Luft- oder Wasserkühlung?
Ist das Tower Gehäuse sinnvoll?
Welches Mainboard wäre zu empfehlen?

Vielen Dank im voraus!!!

 

[wern001]

zu 1: mehrere GPUs von Vorteil
zu 2: siehe 1
zu 3: siehe 1
zu 4: hmm....
zu 5: hmm....
zu 6: Viele CPU-Kerne nötig. Je mehr desto Besser. Evtl. auch Dual-CPU-System

So 4-6 GPUs in einem System läst sich fast nur mit Wasserkühlung oder lauter Luftkühlung kühlen.

mit 2.500-4000€ bekommste nur etwas im Einsteiger Bereich

 

[NatokWa]

Zusätzlich zu dem von @wern001 :

Max 4K bei den Ansprüchen ? Du bist lustig ....... Mit EINER GPU und einschränkung in Sachen Allround -> Möglich. Aber gerade in Sachen Deep Learning (Vorausgesetzt du MEINST auch das was sich eig. dahinter verbirgt und normalerweise auf Großrechnern läuft) rennst du gegen ne Wand bzw. in einer 2m Sirup-Schicht ..... Selbst mit ner einzelnen 4090 .....

 

[Netrunner01]

Es gibt ja vorkonfigurierte Deep-Lerning Workstations für Firmen. Vielleicht mal da schauen was die für HW drin haben.

Beispiel hier, System mit Threathripper Pro und 4x RTX4090..... Kostet aber auch soviel wie ein Kleinwagen:
https://www.brentford.com/workstati...ntford-w146-watercooling-gpu-workstation.html

 

[Javeran]

Es kommt in der Tat darauf an wie komplex es werden soll. Aber für DL ist die Fausformel: max VRAM und max CPU-Kerne was das Budget her gibt.

 

[Sami]

zu 1: mehrere GPUs von Vorteil
zu 2: siehe 1
zu 3: siehe 1
zu 4: hmm....
zu 5: hmm....
zu 6: Viele CPU-Kerne nötig. Je mehr desto Besser. Evtl. auch Dual-CPU-System

So 4-6 GPUs in einem System läst sich fast nur mit Wasserkühlung oder lauter Luftkühlung kühlen.

mit 2.500-4000€ bekommste nur etwas im Einsteiger Bereich

Zusätzlich zu dem von @wern001 :

Max 4K bei den Ansprüchen ? Du bist lustig ....... Mit EINER GPU und einschränkung in Sachen Allround -> Möglich. Aber gerade in Sachen Deep Learning (Vorausgesetzt du MEINST auch das was sich eig. dahinter verbirgt und normalerweise auf Großrechnern läuft) rennst du gegen ne Wand bzw. in einer 2m Sirup-Schicht ..... Selbst mit ner einzelnen 4090 .....

Klasse, vielen Dank euch schonmal!
Mehr als ein Einsteiger Modell brauch ich erstmal tatsächlich auch nicht. Es geht erstmal darum einige Konzepte bei mir lokal zu testen. Die Zeit fürs Training muss im Zweifel nicht optimiert sein, solange dieses parallel laufen kann. Und wie gesagt als kleiner (Datenbank-)Server für einige kleinere Projekte.

Große Server für die tatsächliche Umsetzungen stehen dann im Anschluss zur Verfügung. Langfristig wird das also nicht auf dem Gerät laufen.

1.Oder meint ihr, auch für Konzepttests kommt man mit etwas in dem Bereich nicht voran? Ist eine oder mehrere 4090 wären zwingend nötig?
2.Komm ich denn mit mifcom dann überhaupt weiter, oder habt ihr Empfehlungen für einen anderen Konfigurator?
3.Tatsächlich nur CPU und GPU relevant? Alles andere spielt absolut keine Rolle, solange es keine Grundsatzprobleme mit der Konfiguration gibt?

 

[wern001]

gib einfach mal bei google "supermicro gpu server" ein. Die haben Dual Systeme mit bis zu 8 GPUs.
Da kann man klein ( 1 CPU und 1 GPU) anfangen und dann nachrüsten. Da sind auch mehrere TB an RAM möglich