Arbeits-PC für hauptsächlich KI-Entwicklung bzw. Training

[SourceCoder]

Liebe Community,

ich suche für einen Kollegen einen neuen Arbeits-PC. Dieser wird auch sehr selten zum Zocken verwendet, aber die Power wird im Wesentlichen für KI-Entwicklung und Training (sklearn, PyTorch, TensorFlow usw.) benötigt.

Wichtig ist eine NVIDIA RTX 5*.
Mindestens 64GB RAM, je mehr desto besser.
Macht AIO Sinn für die Tempe ratur?

 

[madmax2010]

Macht AIO Sinn für die Temperatur?

nein, eher fürs aussehen.

KI-Anwendungen entwickeln und trainieren

-v

LLMs lokal trainieren ist eigentich nicht realistisch.. Da ist es sinnvoller sich stundenweise *B100 u.a zu mieten. man will einfach 80GB VRAM haben.
Kostet, wenn man das ~2 Jahre jeden Tag 8h macht, auch kaum mehr, als eine 5090 gerade.
Selbst eine GH200 kostet inzwischen nur noch 1.5$/h

Sonst ist eine 4090/5090 das kleinste was du lokal einbauen willst

Ich habe im Desktop eine 6700XT zum spielen, eine RTX2060 fuer Cuda Kleinkram, in Notebooks intel GPUs und mach das einfach alles remote.

Intel CPU

auch nicht ideal in der Anwendung.
AMDs AVX-512 will man da schon haben

 

[prian]

Wenn lokal dann passen Budget und Anforderung nicht zusammen.
RTX 5090 ist das was "man" da gerne nimmt und alleine bereits über dem Budget liegt.

 

[abcddcba]

KI-Anwendungen entwickeln und trainieren

das steht und faellt mit der Groesse der Modelle. Um was genau geht es denn? Mit den 24GB VRAM bei Consumer GPUs musst du dir eh ueberlegen was genau du machen willst/kannst. Viel VRAM hilft dir vermutlich viel, musst schauen was du in dein Gesamtbudget dann packen kannst.

Ich bin da auch eher bei mieten von GPUs fuer Training, Deployment meinetwegen noch lokal, sofern das Modell mit der GPU dann hinreichend schnell fuer deine KI Anwendungen ist. Im Zweifel kannst du da ja noch Quantization oder so dann nutzen.

Aber gut, am Ende ist "KI Anwendungen" irgendwie auch alles und nichts. Du wirst das ja schon einschaetzen koennen, den Bedarf an VRAM kennst du vermutlich auch schon, wenn du entwickelst und trainierst. Geht es ueberhaupt um Deep Learning und LLMs, oder ist dein Fokus doch eher auf andere Arten von ML?

 

[oicfar]

für KI-Entwicklung und Training (sklearn, PyTorch, TensorFlow usw.) benötigt.

Wenn schon die Begriffe fallen: Was genau will er machen und wie umfangreich?

 

[SourceCoder]

Vielen Dank euch für die schnelle Rückmeldung, aber für ihn kommt definitiv nur eine lokale Lösung in Frage. Er ist sich über die Einschränkung bewusst.

Gründe für eine lokale Lösung:

• Er hat schon eine hohe Summe für externe Lösungen ausgegeben, da er viel damit arbeiten wird es sehr schnell teurer.
• Die Trainingsdaten die mehrere hundert Gigabyte Groß werden können sollen nicht mehr umständlich über das Netz übertragen werden.
• Viele Einschränkungen bei der Nutzung von externen Lösungen.

Aktuell entwickelt er für einen Kunden eine Lösung auf Basis von TabNet. Sonst auch sehr viel in Kombination mit Ultralytics Yolo.


Aktuell arbeite er mit einem älteren PC mit einer GTX 3060 bis sein neuer PC da ist. (Davon soll nichts übernommen werden)

 

[JumpingCat]

Wie viel Geld bist du bereit auszugeben? 2.000 € bis 2.500 €

Häng da doch mal eine Null dran wenn du lokales Training ernsthaft ausführen willst.

 

[tomgit]

LLMs lokal trainieren ist eigentich nicht realistisch..

Häng da doch mal eine Null dran wenn du lokales Training ernsthaft ausführen willst.

Es geht hier um KI, nicht zwangsläufig um LLMs. Kleine Prototypen für CV, Zeitreihenanalysen, selbst multivariate Analysen brauchen keine 5090. Lief damals auch auf einer MX150, dauert zwar, aber geht.

Problem sind aber Budget, GPU-Anforderung und Zeitpunkt. Selbstgebaut wird es schwierig, eine 5080/5090 kann man aktuell in einem Lenovo Legion Tower erhalten, muss dann aber ab 3500€ rechnen. Kleinere GPUs vielleicht in den kommenden Wochen, was das kosten wird, muss man aber abwarten.

 

[Northstar2710]

können die meissten modelle nicht auch 2 gpus benutzen? Wenn das budget zu klein ist vieleicht dann 2 günstigere Karten oder gebrauchte

 

[SourceCoder]

Es geht hier um KI, nicht zwangsläufig um LLMs. Kleine Prototypen für CV, Zeitreihenanalysen, selbst multivariate Analysen brauchen keine 5090. Lief damals auch auf einer MX150, dauert zwar, aber geht.

Problem sind aber Budget, GPU-Anforderung und Zeitpunkt. Selbstgebaut wird es schwierig, eine 5080/5090 kann man aktuell in einem Lenovo Legion Tower erhalten, muss dann aber ab 3500€ rechnen. Kleinere GPUs vielleicht in den kommenden Wochen, was das kosten wird, muss man aber abwarten.

Genau so ist es, aktuell arbeite er mit einem System in dem eine RTX 3060 steckt. Er funktioniert aktuell auch alles, er erhofft sich mit dem neuen System einem einfach eine eitersparnis.

 

[JumpingCat]

aktuell arbeite er mit einem System in dem eine RTX 3060 steckt. Er funktioniert aktuell auch alles, er erhofft sich mit dem neuen System einem einfach eine eitersparnis.

Vielleicht hätte man diese wichtige Information nicht erst so spät zufällig durchsickern lassen.

 

[tomgit]

wichtige Information

Man hätte die Infos aus den Anforderungen ableiten können, die schon sehr deutlich drauf hinweisen, dass es eben keine LLM-Dev-Workstation sein soll:

KI-Entwicklung und Training (sklearn, PyTorch, TensorFlow usw.)

Da fällt mir aber auch auf

Arbeits-PC

Wird der PC wirklich zum produktiven Arbeiten verwendet und wie wichtig ist Hochverfügbarkeit?

 

[konkretor]

Kauf dir ein Macbook Pro mit 128 GB RAM, kostet ca 6 K. Billiger als ne 6000 ADA mit 48 GB Ram

 

[SourceCoder]

@JumpingCat
Ich dachte, aus den Anforderungen und dem Budget wäre dies ersichtlich.

@tomgit
Ja, für das produktive Arbeiten muss für Hochverfügbarkeit nicht gesorgt werden, dies wird anders realisiert.


@konkretor
Entspricht nicht dem Budget.

 

[Rickmer]

Hast du die Möglichkeit, in den bestehenden PC eine gebrauchte RTX 3090 zu stecken?

 

[KarlsruheArgus]

@SourceCoder
Also um ein Upgrade von einer RTX3060 zu erhalten reicht das Budget.

Nur von den RTX5000er würde ich erstmal Abstand halten aufgrund der zig Probleme (Kabelbrände/Steckerbrände, fehlerhafte Chips und Treiber, mangelhafte Verfügbarkeit.)

Die Treiberthemaktik sollte Nvidia ausgebügelt haben, garantieren werde ich jedoch für nichts.

Kann dein Kollege nicht einfach eine RTX4070TiS ins alte System stecken ?
Ggf. mit neuem PSU.

Ergänzung (27. Februar 2025)

Mindestens 64GB RAM, je mehr desto besser.

Reichen 192GB RAM oder gehen auch 96GB, wird ECC benötigt ?

Bauvorschlag:
https://geizhals.de/wishlists/4341414
RAM ist bei Vollbestückung zu drosseln.
(Liste hat zwei Tage bestand, bei Interesse selbst nochmal abspeichern.)

 

[HerrRossi]

Wie groß wird denn das trainierte Modell? Davon würde ich die bei der GPU benötigte RAM Menge abhängig machen.

 

[SourceCoder]

@KarlsruheArgus
ECC benötigt er nicht, ich habe mal deine Konfiguration an ihn weitergeleitet danke dir