Welche GPU(s) für Machine Learning Workstation?

[ObaeBaum]

Brauche eine Workstation zum Zwecke Machine Learning/ Deep Learning mit CUDA, und muss daher möglichst leistungseffizient sein.
Ich konnte leider keine Kaufberatung-Section für ein kompletes Setup finden, also bitte auch vorschläge für den Rest der Hardware (sodass es noch ins komplettbudget 2-2.5K passt). (Ich bitte um Verständnis, liebe Administratoren)

Weitere anfordungen für den rest der hardware:
CPU mit oder mehr als 8 Kernen (AMD schätze ich als preiswerter ein),
32-64GB RAM,
M.2 anstatt SSD,
Mainboard mit platz für mindestens 3 GPUs (X399?),
Case sollte passen (bitte kein RGB^^),
Kühlung bin ich absolut unentschossen,
Netzteil bin ich absolut unentschossen,
kein Monitor nötig.

1. Wie viel Geld bist du bereit auszugeben?
Da die GPU vorrang hat dachte ich so an 500-1400€ für die GPU (oder auch 2 GPUs, wenn es preiseffizienter ist. (will sowie so bald auf 3-4 GPUs nachrüsten). 2000-2500 für den Kompletten rechner.


3. Möchtest du die Grafikkarte für spezielle Programme & Anwendungen (z.b. CAD) nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Machine Learning mit Python, CUDA und was sonst noch so passt. Semi-professionell.

4. . Wieviele und welche Monitore möchtest du nutzen? Wird G-Sync/FreeSync unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
Keinen

5. Nenne uns bitte deine aktuelle/bisherige Hardware:

• 4 mittelklasse notebooks.

6. Hast du besondere Wünsche bezüglich der Grafikkarte? (Lautstärke, Anschlüsse, Farbe, Hersteller, Beleuchtung etc.)
Nvidia (wegen CUDA), sollte möglichst lange bei hoher auslastung halten und performance liefern.

7. Wann möchtest du die Karte kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Kann paar wochen warten

 

[TheGreatMM]

Hast du das mal mit einer 2080 probiert? Unsere Workstation mit P6000 usw. liegen bei 25k Liste....

 

[ObaeBaum]

Hast du das mal mit einer 2080 probiert? Unsere Workstation mit P6000 usw. liegen bei 25k Liste....

Eine p6000 ist leider zu weit aus meiner preisklasse.

Welche 2080?^^ gibt leider unzählige varianten, hast du vielleicht etwas woran ich mich bei den varianten orientieren kann? (bekomme bei RTX, GTX, Ti, Super, etc keinen einblick)

Mir kommt zudem noch die Frage auf ob es nicht sinvoller wäre 2 "billigere" GPUs reinzuschrauben als eine "teurere", z.b. 2x 2070 (500€) oder 2x 2080(700€) statt 1x 2080Ti (1.300€). Wie siehst du das?

Edit: oder 3 gebrauchte K40 (je 2-300€)

 

[lkullerkeks]

Ich glaub, du musst dir erstmal selber klar werden, was du wirklich brauchst.

X399-Board ab 430€
3960X ab 1350€ als kleinste CPU für sTRX4
min. 64 GB RAM ab 230€
M.2 PCIe 1 TB ab 130€
NT für drei GPU, min 1000 W, eher 1200W ab 200€
Case inkl. Lüfter rund 100€
CPU-Kühler für sTRX4 rund 70€

Das sind schon 2500€ ohne auch nur einen Cent für die GPUs einkalkuliert zu haben.


Auf AM4 sähe dir Rechnung wie folgt aus:
Board bietet nur das ASUS Pro WS X570-Ace drei mal PCIe mit x8-Anbindung - macht 300€
3900X (12 Kerne) ab 410€ oder 3950X (16 Kerne) ab 740€
64 GB RAM ab 230€
M.2 PCIe 1 TB ab 130€
NT für drei GPU, min 1000 W, eher 1200W ab 200€
Case inkl. Lüfter rund 100€
CPU-Kühler min. 50€

1420 bzw. 1750 Euro je nach CPU.

Mit nur zwei GPUs sind beim Board und beim NT jeweils rund 50€ Einsparpotential drin.

 

[elgreco93]

Schau einfach was dir die meisten Cores gibt für dein Budget. Die 2070 Super ist aber glaube ich Preis/Leistung sinnvollsten - müsstest du mal durchrechnen was du da ~ pro Core zahlst.

GPU	Cuda Cores
2060 Super	2176
2070 Super	2560
2080 Super	3072
2080 Ti	4352
Titan RTX	4608

Quelle: https://www.studio1productions.com/Articles/NVidia-GPU-Chart.htm

 

[ObaeBaum]

Ich glaub, du musst dir erstmal selber klar werden, was du wirklich brauchst.

X399-Board ab 430€
3960X ab 1350€ als kleinste CPU für sTRX4
min. 64 GB RAM ab 230€
M.2 PCIe 1 TB ab 130€
NT für drei GPU, min 1000 W, eher 1200W ab 200€
Case inkl. Lüfter rund 100€
CPU-Kühler für sTRX4 rund 70€

Das sind schon 2500€ ohne auch nur einen Cent für die GPUs einkalkuliert zu haben.


Auf AM4 sähe dir Rechnung wie folgt aus:
Board bietet nur das ASUS Pro WS X570-Ace drei mal PCIe mit x8-Anbindung - macht 300€
3900X (12 Kerne) ab 410€ oder 3950X (16 Kerne) ab 740€
64 GB RAM ab 230€
M.2 PCIe 1 TB ab 130€
NT für drei GPU, min 1000 W, eher 1200W ab 200€
Case inkl. Lüfter rund 100€
CPU-Kühler min. 50€

1420 bzw. 1750 Euro je nach CPU.

Mit nur zwei GPUs sind beim Board und beim NT jeweils rund 50€ Einsparpotential drin.

Mein Fehler, hab vergessen zu erwähnen, dass die CPU eher vernachlässigbar ist (da ca 80% der zeit für CUDA-Berechnungen mit GPU drauf gehen).
Bin in CPU-kompatibilität eher neuling, daher noch die frage ob nicht was billigeres wie n Ryzen 5 oder Ryzen 7 (8kerner) mit dem X399 kompatibel sind (vllt auch blöd die frage), weils dann nur 200-300€ für die CPU wären.

EDIT: hab das "sTRX4" überlesen, sry.

 

[ObaeBaum]

Auf AM4 sähe dir Rechnung wie folgt aus:
Board bietet nur das ASUS Pro WS X570-Ace drei mal PCIe mit x8-Anbindung - macht 300€

Wieso schreibst du x8, sind es nicht x16?

 

[Deathangel008]

@ObaeBaum:
nen blick in die specs beim hersteller werfen...?

Expansion Slots
3rd Gen AMD Ryzen™ Processors
2 x PCIe 4.0 x16 (x16 or dual x8)
[...]
AMD X570 chipset
1 x PCIe 4.0 x16 (x8 mode)
1 x PCIe 4.0 x1

für drei mit x16 angebundene slots fehlen der plattform schlicht die lanes. hier muss man auch beachten dass der letzte x16-slot auf der untersten möglichen position bei ATX ist, man bei ner dualslotgraka also ein gehäuse mit mindestens 8 PCIe-slots (bei tripleslot mindestens 9) braucht.

M.2 anstatt SSD

das ergibt keinen sinn. M.2 ist nur ein formfaktor der auch, aber nicht nur für SSDs genutzt wird. meinst du hier PCIe/NVMe statt SATA?

Ich konnte leider keine Kaufberatung-Section für ein kompletes Setup finden

man kann in der forenübersicht auch runterscrollen. dann würde man z.b. das subforum Desktop-Computer: Kaufberatung finden.

 

[ObaeBaum]

@ObaeBaum:
nen blick in die specs beim hersteller werfen...?

für drei mit x16 angebundene slots fehlen der plattform schlicht die lanes. hier muss man auch beachten dass der letzte x16-slot auf der untersten möglichen position bei ATX ist, man bei ner dualslotgraka also ein gehäuse mit mindestens 8 PCIe-slots (bei tripleslot mindestens 9) braucht.


das ergibt keinen sinn. M.2 ist nur ein formfaktor der auch, aber nicht nur für SSDs genutzt wird. meinst du hier PCIe/NVMe statt SATA?


man kann in der forenübersicht auch runterscrollen. dann würde man z.b. das subforum Desktop-Computer: Kaufberatung finden.

Danke für die Erklärungen, bin wie gesagt noch nicht tief in der Hardware materie drin.
I dont get it: was heißt das
1 x PCIe 4.0 x16 (x8 mode)

ist es jetzt x16 oder x8 ?

 

[Deathangel008]

@ObaeBaum:
das heißt mechanisch x16 und elektrisch x8. wenn man sich die bilder von dem brett genau anschaut kann man auch erkennen dass nur der erste x16-slot voll durchkontaktiert ist.

vollzitate werden hier nicht gerne gesehen.

 

[ObaeBaum]

erfüllt das ausser marketing noch einen zweck?

 

[Deathangel008]

@ObaeBaum: was meinst du damit?

 

[ObaeBaum]

Naja, wenn nur eine 8er nutzbar ist, wieso hat man physisch eine 16er da, oder (wie ich glaube) verstehe ich da etwas falsch.

Aber viel wichtiger: 3 GPUs anschließen und sauber für deep learning verwenden klappt?

 

[Deathangel008]

@ObaeBaum:
damit man auch ne x16-karte gescheit einbauen kann (arretierung am ende des slots)?

mit deep learning kenne ich mich nicht aus. bei dem brett kann man über die CPU eine karte mit x16 oder zwei karten mit x8 anschließen und über den chipsatz eine weitere mit x8, wobei man da potenziell nen flaschenhals in der anbindung vom chipsatz an die CPU hat, welche mit 4.0_x4 erfolgt.

 

[nikinho9]

Rechnest du double oder single precision?

 

[ObaeBaum]

Rechnest du double oder single precision?

Bin nicht sicher, da ich zwar weiß wie meine Datasets aussehen (32bit evtl machbar), aber die Gewichte die in den neuroalen Netzen verwendet werden bis ins unendlich kleine aber auch ins unendlich große schwanken können. Wie sähe deine antwort bei den einzelnen optionen aus?

 

[nikinho9]

Müsste ich mich jetzt selbst erst schlau machen, aber du solltest das auf jeden Fall im Auge haben. Manche Karten haben eine deutlich abfallende Performance bei double precision.
Ich selbst habe mit der Pascal Generation mit CUDA gearbeitet und hatte zwei 1080er in der Workstation. Die sind dort total eingebrochen. Bin jetzt allerdings knapp zwei Jahre raus aus dem Thema

 

[0-8-15 User]

Vielleicht hilft dieser Artikel bei der Entscheidung: https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/

 

[ObaeBaum]

Habe irgendwo diese Combi aufgeschnappt:

• Intel Core i9 9960X (16-core)
• Gigabyte X299 Designare EX
• 8x DDR4-2666 16GB (128GB total)
• Intel 2TB 660p NVMe M.2
• 2 x NVIDIA RTX 2070 Super + NVLINK Bridge

was spricht gegen Intel, (scheint preislich nicht soo groß der unterschied in diesem falle oder liege ich falsch?)

 

[Der Nachbar]

Für den Preis der intel CPU und des intel Gigabyte Gamerbretts
bekommt man auch :
https://www.mindfactory.de/product_...er-2970WX-24x-3-00GHz-So-TR4-WOF_1279062.html
https://www.mindfactory.de/product_info.php/ASRock-Mainboard-X399D8A-2T-Sockel-TR4_1335218.html

Ohne für den Händler Werbung zu machen, nur bietet er ein brauchbares Sortiment an. Andernfalls stellt man es sich wild zusammen. Wenn die Speicherbandbreite, CPU und Latenz überhaupt keine Rolle spielen, weil der wichtige Datenaustausch und Sync über NVLink läuft, kann man auch den ersten ZEN basierten TR1900X nehmen, der unter 200€ kostet.
https://www.mindfactory.de/product_...pper-1900X-8x-3-80GHz-So-TR4-WOF_1190053.html

Jedenfalls kann man die Kiste auch irgendwo in eine Kammer stellen und über Fernwartung drauf zu greifen, sollte die Geräuschkulisse zu laut sein.
Alternativ kann man bei TR auch ein beliebiges Gamingbrett im Ausverkauf nehmen, wenn 3-4 PCIe x16 wichtig sind.
https://www.mindfactory.de/product_...TR4-Quad-Channel-DDR4-ATX-Retail_1185851.html

Dann bleibt mehr Geld für CUDA und Tensor Cores übrig.