Welche GPU(s) für Machine Learning Workstation?

Ich würde mir überlegen ob du wirklich etwas anderes als die 2080 Ti nehmen willst. Die meisten (zumindest sehr viele) Anwendungen wurden oder werden auf einer 1080 Ti, 2080 Ti oder Titan X(Maxwell oder Pascal) trainiert. Die haben alle 11 oder 12 GB Speicher und darauf sind dementsprechend auch viele Anwendungen optimiert. Zumindest ist das meine Erfahrung aus dem akademischen Umfeld.
 
  • Gefällt mir
Reaktionen: konkretor
Würde auch nicht unter 11/12 GByte Speicher fahren. Mir gehen regelmäßig 32 GByte aus, wenn man größere Modelle mit halbwegs vertretbaren Batchgrößen trainieren will, sollte man auf den Speicher achten.
 
  • Gefällt mir
Reaktionen: konkretor
Ich frage mich auch, wozu du soviel für die CPU ausgeben willst, wenn der Workload GPU limitiert sein wird?
@Der Nachbar hat vollkommen recht mit dem 1900X, bzw leg paar Euro drauf für 12 Kerne im 1920X.

Ich würde allerdings noch die 2 Monate warten, bis die neuen Amperes da sind. Die sollten noch einen guten Schub bringen für DL.
 
AffenJack schrieb:
Ich frage mich auch, wozu du soviel für die CPU ausgeben willst, wenn der Workload GPU limitiert sein wird?
@Der Nachbar hat vollkommen recht mit dem 1900X, bzw leg paar Euro drauf für 12 Kerne im 1920X.

Ich würde allerdings noch die 2 Monate warten, bis die neuen Amperes da sind. Die sollten noch einen guten Schub bringen für DL.
1) Amperes? Pls explain

2) warum ich bei der CPU noch zittere? naja Preprocessing und manipulation der Daten + ggf extraktion neuer daten daraus, weiß nicht ob das alles die GPU übernehemen kann (python) :I (bzw ob ich dann nicht extremst lange umcoden müsste)
12 kerne sollte erstmal reichen 1920X vs 3900X (ob der aufpreis von ~40% sich lohnt?)
Entscheidet dann auch wieder übers sockel (TR4 vs AM4)

3) gibts einen unterschied zwischen tr4 und trx4 Sockeln?

4) das board das du genannt hast hat nur 2x PCIe 3.0 x16 und 2x PCIe 3.0 x16 (x8) (https://www.mindfactory.de/product_...TR4-Quad-Channel-DDR4-ATX-Retail_1185851.html)
eine 3te oder 4te GPU in die 8er statt eine 16er zu stecken gibt mir aber keine funktions einschränkung (ausser minimalem performance unterschied). Also läuft ebenso genau (zahlen präzisionen) aber evtl. langsamer richtig?
 
Zuletzt bearbeitet:
Desweiteren:
Schätze die 2080 Ti wirds erstmal sein. Eine 2te 2080ti o. 2070 super wird in den folgenden monaten drangeklatscht.

A) Macht es sinn direkt zu beginn eine Blower Style 2080Ti zu kaufen? (weil die anderen zwar sich selbst gut kühlen aber die anderen GPUs erhitzen),
wenn ich mit 2 GPUs unterwegs bin?

B) NVM Bridge soll dann später hinzukommen. Kann ich das irgendwie mit einer Lücke zwischen machen? (sodass beide GPUs nicht direkt nebeneinander sind) andernfalls: wie finde ich raus welche die 16er PCIs beim Taichi board sind. (ohne es in den händen zu halten) https://www.mindfactory.de/product_...TR4-Quad-Channel-DDR4-ATX-Retail_1185851.html

C) Case Big Tower soll nicht wirklich einen riesen unterschied machen (2-5°) (laut: https://timdettmers.com/2018/12/16/deep-learning-hardware-guide/). schätze ein big tower kanns trotzdem werden
Side Panel, muss ich angst vor mehr hitze haben? (wenn ja verzichte ich drauf)
Dämmung, selbe frage (wenn ja verzichte ich drauf)
Könnt ihr eins empfehlen? (idealerweise was hitze-effizienz angeht)

D) Netzteil + Kühler
Könnt ihr was empfehlen? (wie gesagt, 2 GPUs sind sehr wahrscheinlich, mit der 3ten kann ich evtl aufrüsten)
Kühler sollte mehr effizient sein statt leise.
 
@ObaeBaum

Ampere GPU Architektur, die neue RTX3000 Gen von Nvidia, die in 2 Wochen vorgestellt wird. Kauf jetzt auf keinen Fall ne 2080Ti. Ampere dürfte mindestens 50% schneller bei ML sein, als die 2080Ti, wenn nicht doppelt so schnell.
Siehe: https://www.nvidia.com/de-de/data-center/a100/
Das ist die Datacenter Version der Architektur und jetzt werden die Consumerchips am 1 September vorgestellt.

CPU, ok, kann sein, dass das auch etwas CPU Speed braucht. Aber an sich denke ich trotzdem, dass 12 Kerne da in der Regel reichen würden. Aber mit der Boardwahl usw kann ich dir nicht viel zu sagen, da hab ich keinen Plan.
 
@ObaeBaum:
#24
1)
mit "Ampere" sind hier die kommenden grakas von Nvidia gemeint.

2)
die ersten beiden Threadripper-gens sind bei gleicher kernzahl massiv langsamer als Zen2. waren außerdem noch recht zickig beim RAM.

3)
TR4 -> Threadripper 1xxx/2xxx, sTRX4 -> Threadripper 3xxx, sind untereinander nicht kompatibel!

#25
A)
wenn du weniger abwärme im gehäuse haben willst und lautstärke und die letzten paar % leistung nicht so wichtig sind durchaus.

B)
meinst du die HB-bridge? da gibts verschiedene versionen mit unterschiedlich viel abstand zwischen den karten.

ins handbuch gucken, gibts online beim hersteller.

C)
hier ist auch immer die frage ob man potenziell ne graka in den untersten PCIe-slot stecken will. wenn der auf position 7 ist passt das in den allermeisten miditowern nicht mehr. für guten airflow was möglichst offenes, bei miditowern z.b. Pure Base 500DX oder Meshify S2.

Side Panel, muss ich angst vor mehr hitze haben? (wenn ja verzichte ich drauf)
was genau meinst du hier?

D)
NT was richtig gutes mit 1000W aufwärts, z.b. Dark Power Pro 11, HX/AX(i), MaxTytan, Prime PX/TX. kühlung z.b. ne Enermax LiqTech TR4 II 360.
 
@Deathangel008:


Deathangel008 schrieb:
1)
mit "Ampere" sind hier die kommenden grakas von Nvidia gemeint.
=> einer nh schätzung was die 3080 oder 3080Ti kosten wird? (auch um die 1-2k oder schon eher in titan richtung?)


Deathangel008 schrieb:
2)
die ersten beiden Threadripper-gens sind bei gleicher kernzahl massiv langsamer als Zen2. waren außerdem noch recht zickig beim RAM.
=> 400€ für die cpu sind bei meinem 'kleinen' budget mutig, weil ich nicht weiß was die TTX 3080 kosten werden, sehe bei den 2xxx dass sie noch teuerer sind :/ gibts da noch was?

Deathangel008 schrieb:
3)
TR4 -> Threadripper 1xxx/2xxx, sTRX4 -> Threadripper 3xxx, sind untereinander nicht kompatibel!
=> danke ^^ gut zu wissen
Deathangel008 schrieb:
C)
hier ist auch immer die frage ob man potenziell ne graka in den untersten PCIe-slot stecken will. wenn der auf position 7 ist passt das in den allermeisten miditowern nicht mehr. für guten airflow was möglichst offenes, bei miditowern z.b. Pure Base 500DX oder Meshify S2.
=> und bei big towern?
Deathangel008 schrieb:
was genau meinst du hier?
=> die durchsichtige wand im case
Deathangel008 schrieb:
D)
NT was richtig gutes mit 1000W aufwärts, z.b. Dark Power Pro 11, HX/AX(i), MaxTytan, Prime PX/TX. kühlung z.b. ne Enermax LiqTech TR4 II 360.
=> haste auch nh empfehlung für Luftkühler? (weiß nicht ob meine angst vor undichte berechtigt ist, (zumindest für meinen semi-dauerbetrieb)[/QUOTE]
 
@ObaeBaum:
wahrscheinlich nicht günstiger als die aktuellen karten.

den 1920X kriegt man nirgendwo mehr und das günstigste X399-brett kostet 235€.

mit big-towern beschäftige ich mich kaum. das Corsair Obsidian 750D Airflow macht auf mich nen guten eindruck, obgleich ich kein freund von acrylfenstern bin.

sichtfenster, sag das doch. verzichte lieber auf schalldämmung.

lukü für TR4/sTRX4 Dark Rock Pro 4 TR4 oder NH-U14S TR4-SP3. gerade letzterer kommt sich aber ggfs mit dem ersten x16-slot in die quere und für die richtig dicken Threadripper sind die auch grenzwertig. für nen 3900X tut es ein Fuma 2 locker.
 
Der Nachbar schrieb:
Für den Preis der intel CPU und des intel Gigabyte Gamerbretts
bekommt man auch :
https://www.mindfactory.de/product_...er-2970WX-24x-3-00GHz-So-TR4-WOF_1279062.html
https://www.mindfactory.de/product_info.php/ASRock-Mainboard-X399D8A-2T-Sockel-TR4_1335218.html

Ohne für den Händler Werbung zu machen, nur bietet er ein brauchbares Sortiment an. Andernfalls stellt man es sich wild zusammen. Wenn die Speicherbandbreite, CPU und Latenz überhaupt keine Rolle spielen, weil der wichtige Datenaustausch und Sync über NVLink läuft, kann man auch den ersten ZEN basierten TR1900X nehmen, der unter 200€ kostet.
https://www.mindfactory.de/product_...pper-1900X-8x-3-80GHz-So-TR4-WOF_1190053.html

Jedenfalls kann man die Kiste auch irgendwo in eine Kammer stellen und über Fernwartung drauf zu greifen, sollte die Geräuschkulisse zu laut sein.
Alternativ kann man bei TR auch ein beliebiges Gamingbrett im Ausverkauf nehmen, wenn 3-4 PCIe x16 wichtig sind.
https://www.mindfactory.de/product_...TR4-Quad-Channel-DDR4-ATX-Retail_1185851.html

Dann bleibt mehr Geld für CUDA und Tensor Cores übrig.
wie schätzt du die verfügbarkeit von Threadripper2 CPUs in 2021 ein? all sold out oder noch halbwegs günstig zu bekommen?
 
Die TR3000 werden sicher noch verfügbar sein. TR2000 ist klar ausgelaufen und wenn AMD TR4000 auf ZEN 3 bringen sollte, wird sich die Leistung noch mal verbessern. Da aber AMD die Plattform recht stiefmütterlich bei der Produktpflege und Kommunikation behandelt, muss man weiter schauen.
 
Zurück
Oben