Deep Learning Workstation auf budget

[Tycoon]

[Bitte fülle den folgenden Fragebogen unbedingt vollständig aus, damit andere Nutzer dir effizient helfen können. Danke! ]
1. Möchtest du mit dem PC spielen? >>>Nein

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?

>>CUDA, Deep Learning

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?

• Ins Mainboard sollten mind. 2 GPUs passen (idealerw. 3). Wenn gegen monatsende der aktuell von NVIDIA gesetzte stimmt, vorerst eine RTX 3080 oder 3090 (später dann noch 1-2 weitere 3080 in die restlichen slots)
• CPU sollte idealerweise 12 kerne haben.
• 1 TB M.2 SSD
• 128 bis 256GB RAM

4. Wieviele und welche Monitore möchtest du nutzen? nicht so wichtig, im keller liegen noch alte VGA monitore die vorerst reichen

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? nein

6. Wie viel Geld bist du bereit auszugeben? 1k (ohne die GPUs)

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
bis ende diesen monat. (weil muss einen zeitplan einhalten und die GPUs sollten anfang oktober schon lauffähig sein)

8. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen? lieber selbst ^^ (noch keine Erfahrung)


Das setup soll in einem kalten untergeschoss stehen und am stück 30-60 Tage als Workstation durchlaufen. Deep Learning, also kein Gaming.
Lautstärke ist nicht so wichtig (hoffe nur dass es meinen mitbewohnern nicht zu sehr auffällt, weil ich keine neider anlocken möchte (vonwegen blablabla zahl mehr miete wegen brandgefahr, etc),
also die maschine sollte nicht unbedingt auffallen, aber performance steht im vordergrund.

 

[xorxe]

zahl einfach anteilig mehr miete (bzw. stromkosten) sonst kommt noch jemand auf die idee dem ding den stecker zu ziehen...

 

[madmax2010]

Ich gehe mal davon aus das du Training meinst.
Wie groß sollen deine Modelle sein?
Je nachdem was du vor hast kann es Sinn machen eine gpu mit mehr Speicher zu haben oder mehr mit weniger. Zu letzterem tendiere ich eher, denn speicherintensive Berechnungen kann man auf aws / gce für kleines Geld laufen lassen. Egal wie gut die 3090 wird, die aktuellen TPUs sind flinker

 

[Tycoon]

Ich gehe mal davon aus das du Training meinst.
Wie groß sollen deine Modelle sein?
Je nachdem was du vor hast kann es Sinn machen eine gpu mit mehr Speicher zu haben oder mehr mit weniger. Zu letzterem tendiere ich eher, denn speicherintensive Berechnungen kann man auf aws / gce für kleines Geld laufen lassen. Egal wie gut die 3090 wird, die aktuellen TPUs sind flinker

Ja ich meine training^^. geht um RNNs mit Timesequences von ca.10k (zeitschritte) * 100 (spalten) oder 15k (zeitschritte) * 50 (spalten). wie groß genau das model wird kann ich also schwer sagen.

Ich kann nacher mal ein model compilieren, aber wieviel VRAM es tatsächlich beim traininng während der backpropagation einnimmt kann ich nicht sagen.
da es kein image processing ist, schätze ich dass 10GB VRAM ausreichen könnten.

A) Hab aktuell kein aws konto mehr, wieviel flinker schätzt du TPUs?.

Brauche ca. 1 TB disk und idealerweise 128 bis 256GB RAM. (ergänze ich oben gleich) deshalb würde die aws instance schon wieder teurer. plus halt das model für 30 tage durchzumieten ^^ (weil dazwischen noch RAM intensive preprocessings laufen, sind nämlich 6-20 modelle von denen die eine hälfte auf den predications der anderen mittrainiert (stacking) und die erste hälfte auf einem unterschiedlichen split derselben daten trainiert (crossvalidation)=> Preprocessing pro modell kann also schonmal 3-10 stunden CPU berechnung bedeuten (CPU sollte auch stimmen => teurer)

B) kannst du mir kurz sagen unter welcher rubrik ich bei aws schauen muss? (weil ist extrem unübersichtlich finde keine GPU server instanzen)

 

[PHuV]

Egal wie gut die 3090 wird, die aktuellen TPUs sind flinker

Wenn Du nur eine entsprechend bekommen würdest, von der Softwareunterstützung ganz zu schweigen. Und in AWS legt man auch einiges hin. Wer hier viel rechnet, bezahlt auch entsprechend, nach viel ML/DL ist das Geld für eine eigene Workstation nach ca. 5-6 Monaten raus. Wir haben selbst mit nur 1-3 Start pro Woche 8 Stunden ca. 300-500 €/Monat bezahlt.

Ansonsten, die 2080TIs werden doch gerade für 500 € verscherbelt, und hat 11 GB VRAM.
https://blog.exxactcorp.com/nvidia-...chmarks-for-tensorflow-updated-with-xla-fp16/
Funktioniert auch wunderbar mit Cuda 11 und einem aktuellen Treiber, und ist sogar performanter als oben in den Benchmarks (zumindest bei mir, 2080TI FE, keine Übertaktung und alles bei Standard).

 

[Tycoon]

(bzw. stromkosten)

strom hatte ich schon im sinn ist ja auch fair. hab nur einen paranoiden mitbewohner der an allem markel findet was er bemerkt. Deshalb sollte er die workstation nicht unbedingt ständig hören müssen, wenn im keller wäsche holt etc.

Ergänzung (8. September 2020)

Wer hier viel rechnet, bezahlt auch entsprechend, nach viel ML/DL ist das Geld für eine eigene Workstation nach ca. 5-6 Monaten raus. Wir haben selbst mit nur 1-3 Start pro Woche 8 Stunden ca. 300-500 €/Monat bezahlt.

Ansonsten, die 2080TIs werden doch gerade für 500 € verscherbelt, und hat 11 GB VRAM.
https://blog.exxactcorp.com/nvidia-...chmarks-for-tensorflow-updated-with-xla-fp16/

genau das meine ich.
3080 für 700 in neu ist aber auch nicht groß anders als die 2080ti. eher safer. was trainierst du wenn ich fragen darf?

 

[PHuV]

Ich trainiere hier privat nur OS-Sachen für Benchmarks. In der Firma laufen einige DL/ML Projekte für Firmen und ein "Vorzeigeprojekt" mit Luftdaten, siehe https://luftdaten.info/ und einer Exasol Datenbank.

 

[KarlsruheArgus]

Wie soll das alles bei 1K machbar sein ?
Allein schon nur das PSU für 3 mögliche GPUS zieht enorm viel Budget.