Hier die Antwort des Freundes auf diesen Thread:
Also kurz kann man sagen, dass die Nutzer
@BDR529 und
@TomH22 mich weitgehend verstanden haben. Detailliert hier einmal meine Antworten zu den Punkten die größtenteils angesprochen wurden, ich hoffe ich habe alle abgedeckt:
Vielen Dank für die Rückmeldungen. Ich fasse einmal zusammen, wie ich das Thema aktuell angehen möchte und welche Punkte für mich gesetzt sind.
1) Warum ein neuer Rechner?
Der neue Rechner ist nicht nur wegen lokaler LLM-Nutzung geplant. Mein aktuelles System (i5-3450) ist inzwischen häufig ein bottleneck und zudem nicht Windows-11-tauglich. Ich brauche daher ohnehin einen neuen, alltagstauglichen Desktop, der zusätzlich AI-Experimenteabdecken kann.
2) Nutzungsdauer / Erwartung
Die „10 Jahre“ aus dem Fragebogen waren grob optimistisch. Realistisch rechne ich eher mit etwa 3–5 Jahren, in denen das System meine Anforderungen gut abdeckt; grundsätzlich nutze ich Hardware aber so lange, wie es sinnvoll/möglich ist.
3) AI-Use-Case (Scope)
Mir geht es um lokale/offline Nutzung (LLMs, STT, TTS), nicht um professionelles Training. Fine-Tuning ist höchstens eine Option für später, aber nicht der Fokus.
Ich bin mit kleinen bis mittleren Modellen zufrieden; bis etwa 14B ist für mich als Einstieg in Ordnung, wenn es im Alltag praktikabel läuft.
4) GPU-Strategie / VRAM
Ich starte bewusst mit einer RTX 3090 (24 GB VRAM), weil das für mich der sinnvollste Einstieg in 24 GB VRAM ist. Das sehe ich als flexible Basis: falls die Anforderungen später steigen, kann ich auf eine größere GPU wechseln.
Wichtig ist mir, dass das System von Anfang an so ausgelegt ist, dass auch größere GPUs (z.B. 4090/5090-Klasse) mechanisch und von der Stromversorgung her problemlos möglich sind.
Aus meiner Erfahrung mit einer T500 im Laptop liefen (sehr) kleine LLMs sowie STT/TTS bereits (mit Verzögerung). Daher halte ich 24 GB VRAM für meinen Zweck weiterhin für sinnvoll.
5) Plattformen, die ich nicht möchte
Ich möchte privat keine Nvidia-Spezialplattformen (GB10/Jetson/„Nvidia-Board“ o.Ä.). Ebenso sind sehr teure Profi-Workstation-Lösungen (z.B. RTX Pro 6000/96 GB VRAM) für meinen Zweck nicht vorgesehen.
6) CPU/RAM/Grundgerüst
Als stimmiges Grundgerüst sehe ich: RTX 3090 als Start, mindestens 64 GB RAM und eine leistungsfähige CPU. Mir ist wichtig, dass CPU/RAM nicht erneut zum limitierenden Faktor werden.
7) Speicher, Gehäuse, Kühlung
Ich möchte viel Speicherplatz und die Möglichkeit, später zusätzliche SSDs/HDDs sauber nachzurüsten. PCIe-5.0-SSDs sind für mich in Ordnung.
Außerdem sind mir gute Kühlung/Lüftung und ein entsprechend geeignetes Gehäuse wichtig.
8) Cloud/Mieten
Die Option, Rechenleistung zu mieten (Cloud), habe ich grundsätzlich bedacht, entscheide mich aber bewusst für eine lokale Lösung: Ich möchte offline arbeiten können und brauche den neuen Desktop ohnehin.
9) Wiederverwendung Altteile
Vom alten Rechner muss ich grundsätzlich keine Komponenten übernehmen.
