Hallo zusammen,
ich plane die Anschaffung eines Rechners für den vollständig lokalen Betrieb größerer LLMs und würde mich über praktische Erfahrungen und Empfehlungen freuen.
Mein geplanter Workflow:
Besonders wichtig sind mir eine hohe Qualität beim Reasoning, gute deutschsprachige Textverarbeitung, ein möglichst großer praktisch nutzbarer Kontext und eine alltagstaugliche Antwortgeschwindigkeit.
Bisherige Hardwareüberlegungen:
Aktuell tendiere ich zu einem Mini-PC mit AMD Ryzen AI Max+ 395 und 128 GB Unified Memory, beispielsweise:
Mein Budget liegt bei etwa 4.000 €, gegebenenfalls etwas darüber, wenn dadurch ein deutlicher praktischer Mehrwert entsteht. Ein klassischer Desktop-PC wäre ebenfalls denkbar.
Meine Fragen:
1. Hardware: Ist ein Ryzen AI Max+ 395 mit 128 GB Unified Memory für diesen Workflow eine sinnvolle Lösung? Oder wäre bei vergleichbarem Budget ein Desktop mit NVIDIA-GPU(s) vorzuziehen?
2. Modellgrößen: Welche Modellklassen lassen sich auf einem solchen System tatsächlich sinnvoll nutzen? Besonders interessieren mich größere Dense-Modelle (z. B. 70B) und MoE-Modelle (z. B. gpt-oss-120b).
3. Kontextlänge: Wie gut funktioniert die Verarbeitung längerer Dokumente und Dialoge in der Praxis? Welche Kontextgrößen sind bei größeren Modellen realistisch nutzbar, ohne dass Geschwindigkeit oder Qualität zu stark leiden?
4. Performance: Welche Antwortgeschwindigkeiten und Wartezeiten sind bei größeren Modellen zu erwarten, insbesondere bei umfangreichen Eingabetexten?
5. Software: Welche Erfahrungen gibt es mit AMD Strix Halo unter Windows oder Linux, insbesondere mit llama.cpp, Ollama, LM Studio sowie ROCm beziehungsweise Vulkan?
6. Zukunftssicherheit: Sind 128 GB Unified Memory für die nächsten Jahre eine sinnvolle Investition, oder würdet ihr eine andere Hardwarekonfiguration empfehlen?
Mir geht es nicht darum, möglichst große Modelle allein aufgrund ihrer Parameterzahl auszuführen. Entscheidend ist die bestmögliche Qualität bei langen, anspruchsvollen textorientierten Aufgaben und einer noch angenehm nutzbaren Geschwindigkeit.
Besonders hilfreich wären Erfahrungen von Anwendern, die bereits mit vergleichbarer Hardware, größeren lokalen LLMs und umfangreichen Dokumenten arbeiten.
Vielen Dank für eure Einschätzungen!
ich plane die Anschaffung eines Rechners für den vollständig lokalen Betrieb größerer LLMs und würde mich über praktische Erfahrungen und Empfehlungen freuen.
Mein geplanter Workflow:
- Immer nur ein LLM gleichzeitig
- Lokale RAG-Wissensbasis mit einer größeren Anzahl eigener Dokumente
- ChatGPT-ähnlicher Workflow als Schreib-, Analyse- und Diskussionswerkzeug
- Schwerpunkt auf geisteswissenschaftlichen und stark textorientierten wissenschaftlichen Arbeiten
- Analyse, Strukturierung und Weiterentwicklung umfangreicher Texte, Konzepte und Dokumente
- Häufig längere Dokumente und Dialoge, bei denen möglichst viel relevanter Kontext erhalten bleiben soll
- Keine Bild- oder Videogenerierung
- Kein Modelltraining oder Fine-Tuning, keine Multi-Agenten-Systeme und keine mehreren gleichzeitig laufenden LLMs
Besonders wichtig sind mir eine hohe Qualität beim Reasoning, gute deutschsprachige Textverarbeitung, ein möglichst großer praktisch nutzbarer Kontext und eine alltagstaugliche Antwortgeschwindigkeit.
Bisherige Hardwareüberlegungen:
Aktuell tendiere ich zu einem Mini-PC mit AMD Ryzen AI Max+ 395 und 128 GB Unified Memory, beispielsweise:
- ACEMAGIC M1A Pro+
- GMKtec EVO-X2
- Minisforum MS-S1 MAX
Mein Budget liegt bei etwa 4.000 €, gegebenenfalls etwas darüber, wenn dadurch ein deutlicher praktischer Mehrwert entsteht. Ein klassischer Desktop-PC wäre ebenfalls denkbar.
Meine Fragen:
1. Hardware: Ist ein Ryzen AI Max+ 395 mit 128 GB Unified Memory für diesen Workflow eine sinnvolle Lösung? Oder wäre bei vergleichbarem Budget ein Desktop mit NVIDIA-GPU(s) vorzuziehen?
2. Modellgrößen: Welche Modellklassen lassen sich auf einem solchen System tatsächlich sinnvoll nutzen? Besonders interessieren mich größere Dense-Modelle (z. B. 70B) und MoE-Modelle (z. B. gpt-oss-120b).
3. Kontextlänge: Wie gut funktioniert die Verarbeitung längerer Dokumente und Dialoge in der Praxis? Welche Kontextgrößen sind bei größeren Modellen realistisch nutzbar, ohne dass Geschwindigkeit oder Qualität zu stark leiden?
4. Performance: Welche Antwortgeschwindigkeiten und Wartezeiten sind bei größeren Modellen zu erwarten, insbesondere bei umfangreichen Eingabetexten?
5. Software: Welche Erfahrungen gibt es mit AMD Strix Halo unter Windows oder Linux, insbesondere mit llama.cpp, Ollama, LM Studio sowie ROCm beziehungsweise Vulkan?
6. Zukunftssicherheit: Sind 128 GB Unified Memory für die nächsten Jahre eine sinnvolle Investition, oder würdet ihr eine andere Hardwarekonfiguration empfehlen?
Mir geht es nicht darum, möglichst große Modelle allein aufgrund ihrer Parameterzahl auszuführen. Entscheidend ist die bestmögliche Qualität bei langen, anspruchsvollen textorientierten Aufgaben und einer noch angenehm nutzbaren Geschwindigkeit.
Besonders hilfreich wären Erfahrungen von Anwendern, die bereits mit vergleichbarer Hardware, größeren lokalen LLMs und umfangreichen Dokumenten arbeiten.
Vielen Dank für eure Einschätzungen!