Kaufberatung - PC für lokale LLMs

[Deadlock]

Moin zusammen,

ein Freund möchte seinen Rechner von 2014 ersetzen und mit der Nutzung lokaler LLMs experimentieren. Dazu hat er sich bereits eine RTX 3090 gekauft. Nun geht es um den Rest.

Da ich nicht weiß, ob er eine neue SSD braucht/möchte und er kaum zocken wird, habe ich die 2700€-Version des idealen Gaming-PCs genommen, den 9850X3D mit einem 9950X ersetzt und die Anzahl der SSDs auf 0 gesetzt.
Ob bzw. welche der bereits vorhandenen SSDs noch auf SATA setzen, habe ich bereits rückgefragt und werde diesen Beitrag entsprechend editieren.

Hier die aktuelle Wunschliste.

Habe ich etwas übersehen oder gibt es offensichtliches Verbesserungspotential?

Danke im Voraus und feinste Grüße,
Deadlock

 

[lazsniper]

- geplante Nutzungszeit: 10 Jahre

das ist wunschdenken und absolut nicht möglich wenn man in so einem rechenintensiven bereich hantiert.

cpu, ram und board neu, min 64gb ram, und bitte bitte wert auf ein qualitativ hochwertiges netzteil legen. diese 500w ka angaben sorgen bei mir immer für extrem bauchschmerzen.

die 3090 dann ersetzen wenn (haha) die 5090 wieder günstiger geworden ist, oder durch die 6090 abgelöst wird und im preis fällt.

 

[Deadlock]

Dass die 10 Jahre Wunschdenken sind, ist mir klar, mein Kumpel hatte das aber so angegeben

Gibt es Verbesserungsvorschläge zur aktuellen Wunschliste?

 

[lazsniper]

ich würde kein nzxt netzteil nehmen - sondern seasonic. die guten linien haben 12 jahre garantie und liefern absolut zuverlässige spannungen.

wenn schonmal neu gemacht wird, würde ich bei den sdd's gleich auf pci-e 5.0 setzen.

b850 würde ich ebenfalls nicht nehmen, x870 und x870e bieten mehr pci-e lanes - für die 3090 jetzt nicht so wichtig, aber für eine eventuelle neuere karte dann schon.

 

[BDR529]

Je höher die geplante Nutzungsdauer, desto hochwertiger und leistungsfähiger müssen die Komponenten sein. Aber im Grunde genommen macht es überhaupt keinen Sinn mit 10 Jahren zu rechnen.

Sinnvoller wäre es, wenn man niedriger kalkuliert (sagen wir mit 5 Jahren, und auch mit weniger Budget - z.B. 1500 Euro), und dann jetzt lieber Komponenten der oberen Mittelklasse kauft - dann in 5 Jahren nochmal das kauft, was zu diesem künftigen Zeitpunkt obere Mittelklasse sein wird. Dann hat man effektiv grob das gleiche Geld ausgegeben, und hinten raus den deutlich besseren Rechner.

Kaufst du jetzt die dickste CPU, den meisten RAM für den heutigen Zeitwert, den du dir leisten kannst, dann ist das zwar im Moment top, aber in 4-5 Jahren schon, reißt du damit keine Wurst mehr vom Teller - und der aktuelle Leistungs-Mehrwert ist meistens überproportional schlecht zu den Mehrkosten. Das war immer so, und wird auch immer so sein, dass man für die letzten paar Prozent nochmal einen hohen Aufpreis zahlt.

Das einzige was man wirklich "future proof" kaufen könnte, ist das Gehäuse. Also hier sicherstellen, dass genug Einbaumöglichkeiten für Datenträger und Gehäuselüfter (ggf. Wasserkühlung / AIO) bestehen. Natürlich wird es künftig eher mehr in Richtung M.2 bei Laufwerken im consumerbereich gehen, aber gerade wenn man gerne noch ältere Laufwerke weiterverwenden will, sollte man lieber zu viele als zu wenige Einbaumöglichkeiten schaffen.

 

[Deadlock]

Danke für den Hinweis. Ob die 10 Jahre Garantie bei NZXT oder 12 Jahre bei Seasonic einen großen Unterschied machen, weiß ich nicht, habe aber ein entsprechendes Netzteil auf die Wunschliste gesetzt.

Analog mit der SSD.

Könntest du Vorschläge für ein X870*-Board mit entsprechenden Eigenschaften geben? Bei Mainboards bin ich ziemlich raus...

Die Preis-Leistungs-Thematik ist mir bewusst, besagter Kumpel ist allerdings eher... äh... veränderungsscheu... in Sachen Hardware.

 

[AAS]

Ich würde mir eine nVidia GB10 Plattform kaufen.
Mit 24GB VRAM kommst du nirgendwo hin.

 

[Deadlock]

Ich würde mir eine nVidia GB10 Plattform kaufen.

Ich habe keine Ahnung von LLMs, hier aber nochmal die Anforderung, die explizit das Training ausschließt (abseits davon hat er sich die GPU bereits gekauft):

STT, TTS, LLMs (nicht trainieren sondern offline nutzen, ggf. irgendwann fine tuning), ggf. Bildgenerierung

 

[AAS]

@Deadlock Genau dafür ist ja die GB10 Plattform da.
Man kann Dinge auch wieder verkaufen.

 

[Deadlock]

@AAS Danke, gut zu wissen. Alle Angebote dafür liegen aber deutlich oberhalb des anvisierten Budgets, oder habe ich was übersehen? Lässt sich darauf spielen (ich denke nicht)?

 

[AAS]

@Deadlock Nein Gaming nicht, da ich dachte der Fokus liegt primär auf AI.
Aber sei dir bewusst, mit 24GB VRAM wirst du schon bei 12B+ an die Grenze stossen (Stichwort CUDA-OOM).

Für 3000€-4000€ bist du bei GB10 schon dabei.

 

[BDR529]

Vorschläge für ein X870*-Board mit entsprechenden Eigenschaften geben? Bei Mainboards bin ich ziemlich raus...

Ganz ehrlich - das ist vollkommen Banane. Kauft einfach nur kein Asus.

Ich würde einfach bei Geizhals oder in einem ähnlichen Preisvergleich die Filterfunktion nutzen - hier klickt ihr euch einmal zusammen, welche Eigenschaften euch wichtig sind (z.B. bzgl. USB Ports, M.2 Slots oder sonstigen Features). Wenn ihr keinen "Mini Tower" nehmt, würde ich immer ATX Bauform nehmen, da man hier am meisten Slots/Erweiterungsmöglichkeiten für sein Geld bekommt. Also kein µATX nehmen - außer es "muss" sein, wegen des Gehäuses.

Dann einen Preisbereich definieren (z.B. 130-200 Euro) und jedes beliebige Mainboard von MSI, Gigabyte oder ASRock nehmen - ich würde hier einfach nach Optik/Sympathie gehen. Gegebenenfalls einfach "ausfiltern", also so lange filtern, bis es keine "besseren" Mainboards mehr für das Geld gibt. Asus ist Schrott - und wehe du hast einen Garantiefall, dann lassen die dich im Stich. Aber ansonsten kannst du von den drei vorgenannten Herstellern einfach nehmen was du willst.

Es ist halt auch Geschmackssache. Ich finde die BIOS Oberfläche von Gigabyte besser als die von MSI oder ASRock, besonders wegen der Lüftereinstellungen. Aber andere finden MSI oder ASRock besser... so etwas wie "den besten Mainboardhersteller" gibt es einfach nicht mehr.

Asus macht durchaus gute Mainboards, aber der Support von denen ist eben einfach frech.

PS: Ja, ich hab selbst Asus. Aber bei meiner Plattform gibt es leider wenig andere, gute Alternativen... ich würde das dennoch nicht kaufen, wenn es auch anders geht.

 

[Fujiyama]

Bei intensiver Nutzung und langer Haltbarkeit würd ich kein albernes Spielzeugboard verbauen, eher was aus d dem Workstation Bereich.

 

[Gohst]

Für die Nutzung guter (grosser) LLMs sind typischerweise sehr viel VRAM notwendig, auch ohne Training.
Schliesslich muss ein riesiges Datenset (Parameter) geladen werden und möglicherweise sollen längere Inputs (Token Size) verarbeitet werden.

Hier eignen sich Systeme mit Nvidia GB10 oder sicher auch Ryzen AI Max 395+ und mindestens 96GB VRam bereits sehr gut.

Wenn der VRAM nicht reicht dann kann man die Modelle oft nicht mal ausführen.
Da kommt auch eine RTX 5090 schnell an Grenzen.

Genau darum sind ja GB10 und Strix Halo so interessant für ambitionierte KI Experimente.
Auch wenn beide von der Rechenleistung her im Vergleich zu guten Grafikkarten eher überschaubar sind.

-> Ich würde ehrlich gesagt zunächst mal bestimmen wo der Fokus liegt und dann die mögliche Hardware bestimmen.


Wenn du jetzt sagst, eher kleine LLM und andere Dinge wie Bildverarbeitung etc. dann ist die RTX 3090 eine gute Basis. Das ganze mit min. 64GB Ram und einer netten CPU paaren, das wurde ja schon vorgeschlagen.

 

[Deadlock]

Soweit ich das verstehe, will er hobbymäßig mit LLMs herumspielen. Ich habe wirklich nur die Informationen, die im Anfangspost festgehalten sind und kann daher auch nicht wirklich sinnvoll antworten...

Ich glaube, er weiß selbst nicht genau, was seine Anforderungen sind, da sein aktueller Rechner in dieser Hinsicht komplett ungeeignet ist. Ich mag mich aber irren, wie gesagt, keine Ahnung/nicht mehr Infos vorhanden.

Ich frage nach.

 

[Ultra_Force]

Also mindestens 64GB RAM, am besten mehr. Bei der GPU würde ich zu der PNY RTX Pro 6000 Blackwell Workstation Edition mit 96GB VRAM raten. Damit kannst einigermassen vernünftige LLM laufen lassen.

 

[qiller]

Ich schmeiß mal noch Strix Halo bzw. die Ryzen AI Max+ Serie in die Runde ohne zu wissen, wie gut die Plattform tatsächlich für lokale LLMs funktioniert (hatte jetzt nur das Video von Keno/ct gesehen, wo wohl Strix Halo benutzt wurde).

 

[whats4]

endlich.
+1 für strix halo
aber klar, mit der vollen ramausstattung, 128gb.
weil ned aufrüstbar. aber sehr schnell. davon bis zu 96gb(!) an die gpu. dynamisch.

jo, spielen kann man auch damit, ~4060 niveau.

 

[Deadlock]

Klar, Strix Halo ist eine schöne Idee. Soweit ich das verstehe, ist eine seiner Prioritäten aber "viel Speicherplatz" in Form seiner bisherigen 4 SSDs unterbringen zu können. Das beißt sich leider mit Strix Halo...

Vielleicht lässt er sich ja umstimmen, gerade antwortet er nicht.

 

[AAS]

@Deadlock Oder einfach eine grosse SSD kaufen, er hat ja nur 4.25 TB SSD Speicher.