Lokale KI für textorientierte wissenschaftliche Arbeit – Hardware- und Modellempfehlungen

dorit77

Cadet 1st Year
Registriert
Sep. 2011
Beiträge
9
Hallo zusammen,

ich plane die Anschaffung eines Rechners für den vollständig lokalen Betrieb größerer LLMs und würde mich über praktische Erfahrungen und Empfehlungen freuen.

Mein geplanter Workflow:

  • Immer nur ein LLM gleichzeitig
  • Lokale RAG-Wissensbasis mit einer größeren Anzahl eigener Dokumente
  • ChatGPT-ähnlicher Workflow als Schreib-, Analyse- und Diskussionswerkzeug
  • Schwerpunkt auf geisteswissenschaftlichen und stark textorientierten wissenschaftlichen Arbeiten
  • Analyse, Strukturierung und Weiterentwicklung umfangreicher Texte, Konzepte und Dokumente
  • Häufig längere Dokumente und Dialoge, bei denen möglichst viel relevanter Kontext erhalten bleiben soll
  • Keine Bild- oder Videogenerierung
  • Kein Modelltraining oder Fine-Tuning, keine Multi-Agenten-Systeme und keine mehreren gleichzeitig laufenden LLMs

Besonders wichtig sind mir eine hohe Qualität beim Reasoning, gute deutschsprachige Textverarbeitung, ein möglichst großer praktisch nutzbarer Kontext und eine alltagstaugliche Antwortgeschwindigkeit.

Bisherige Hardwareüberlegungen:

Aktuell tendiere ich zu einem Mini-PC mit AMD Ryzen AI Max+ 395 und 128 GB Unified Memory, beispielsweise:

  • ACEMAGIC M1A Pro+
  • GMKtec EVO-X2
  • Minisforum MS-S1 MAX

Mein Budget liegt bei etwa 4.000 €, gegebenenfalls etwas darüber, wenn dadurch ein deutlicher praktischer Mehrwert entsteht. Ein klassischer Desktop-PC wäre ebenfalls denkbar.

Meine Fragen:

1. Hardware: Ist ein Ryzen AI Max+ 395 mit 128 GB Unified Memory für diesen Workflow eine sinnvolle Lösung? Oder wäre bei vergleichbarem Budget ein Desktop mit NVIDIA-GPU(s) vorzuziehen?

2. Modellgrößen: Welche Modellklassen lassen sich auf einem solchen System tatsächlich sinnvoll nutzen? Besonders interessieren mich größere Dense-Modelle (z. B. 70B) und MoE-Modelle (z. B. gpt-oss-120b).

3. Kontextlänge: Wie gut funktioniert die Verarbeitung längerer Dokumente und Dialoge in der Praxis? Welche Kontextgrößen sind bei größeren Modellen realistisch nutzbar, ohne dass Geschwindigkeit oder Qualität zu stark leiden?

4. Performance: Welche Antwortgeschwindigkeiten und Wartezeiten sind bei größeren Modellen zu erwarten, insbesondere bei umfangreichen Eingabetexten?

5. Software: Welche Erfahrungen gibt es mit AMD Strix Halo unter Windows oder Linux, insbesondere mit llama.cpp, Ollama, LM Studio sowie ROCm beziehungsweise Vulkan?

6. Zukunftssicherheit: Sind 128 GB Unified Memory für die nächsten Jahre eine sinnvolle Investition, oder würdet ihr eine andere Hardwarekonfiguration empfehlen?

Mir geht es nicht darum, möglichst große Modelle allein aufgrund ihrer Parameterzahl auszuführen. Entscheidend ist die bestmögliche Qualität bei langen, anspruchsvollen textorientierten Aufgaben und einer noch angenehm nutzbaren Geschwindigkeit.

Besonders hilfreich wären Erfahrungen von Anwendern, die bereits mit vergleichbarer Hardware, größeren lokalen LLMs und umfangreichen Dokumenten arbeiten.

Vielen Dank für eure Einschätzungen!
 
GMKtec EVO-X2 mit 128 GB Unified Memory kriegst du für so 2000-3000€
Modell würde ich GPT-OSS 120B als Hauptmodell und Qwen3 30B als schnellere Alternative nehmen.

Eine 5090 wäre zwar etwas schneller in der Berechnung, aber aufgrund des Speichers begrenzt.

1. Hardware: Bei einem 4.000-€-Budget halte ich den Ryzen AI Max+ 395 mit 128 GB Unified Memory für eine gute Wahl, wenn große Modelle lokal laufen sollen. Ein NVIDIA-Desktop bietet mehr Rechenleistung, aber weniger VRAM fürs Geld.

2. Modellgrößen: 70B-Modelle und GPT-OSS 120B sind mit geeigneter Quantisierung realistisch. GPT-OSS 120B wäre mein Favorit für komplexe Analysen und wissenschaftliche Texte.

3. Kontextlänge: 32 K bis 64 K Tokens halte ich für einen guten Ausgangspunkt. 128 K sind je nach Modell und Software möglich, benötigen aber mehr Speicher und können die Verarbeitung verlangsamen.

4. Performance: Kleinere Modelle wie Qwen3 30B reagieren schneller. Bei GPT-OSS 120B hängt die Geschwindigkeit stark von Quantisierung und Backend ab. Für den Alltag würde ich Benchmarks der konkreten Konfiguration vergleichen.

5. Software: Ich würde zunächst Ollama mit Open WebUI ausprobieren. Für mehr Kontrolle über GPU-Beschleunigung und Quantisierung ist llama.cpp interessant.

6. Zukunftssicherheit: 128 GB Unified Memory sind für große lokale LLMs attraktiv. Da der Speicher normalerweise nicht aufrüstbar ist, würde ich vor dem Kauf prüfen, ob die gewünschte Modellgröße und Kontextlänge tatsächlich hineinpassen.
 
Zuletzt bearbeitet von einem Moderator:
  • Gefällt mir
Reaktionen: konkretor und drake23
dorit77 schrieb:
Welche Erfahrungen gibt es mit AMD Strix Halo unter Windows oder Linux, insbesondere mit llama.cpp, Ollama, LM Studio sowie ROCm beziehungsweise Vulkan?
Mit ROCm unter Linux funktioniert llama.cpp/ollama absolut problemlos mit dem Ryzen AI Max+ 395 und auch mit der AI PRO 9700.

Tatsächlich hab ich beides und die GPU mittels Oculink (mittels M.2-Adapter) verbunden. USB4 ginge auch, aber beides ist eher gut, wenn alles in den VRAM passt weil die Bandbreite für PCIe da natürlich begrenzt ist.

Ich hab auch eine 5090 aber so wie die Preise da hochgehen würde ich die heute nicht mehr kaufen. Evtl. kann man sich überlegen ein Mainboard mit drei PCIe x16-Slots zu holen und drei 9700 oder so reinstecken (wobei die inzwischen auch so 1.8-1.9k€ das Stück kosten... vor drei Monaten noch 1.4k€).

Mit einem Qwen3.8-27B custom model quantisiert mit Q5_K_M was ich gerade herumliegen habe auf beellama.cpp und etwas MTP aber Chat wo das nicht so viel bringt wie bei Code also folgendes:
  • 8060S: 17.38 tokens per second (324.86 tokens per second fürs Context-Lesen)
  • PRO 9700: 36.96 tokens per second (814.22 tokens per second fürs Context-Lesen)
  • 5090: 100.72 tokens per secon (2301.85 tokens per second fürs Context-Lesen)

Alles mit Linux. Dabei ist das Model relativ klein und passt mit gutem Context-Window in die 32 GB der GPUs. Das ist nun kein wissenschaftlicher Benchmark sondern ein schneller Test. Die 8060S kann natürlich deutlich größere Modelle laden als die anderen, aber die werden dann auch langsamer.

dorit77 schrieb:
Das gerade erwähnte Quen3.8-27B hat bei mir 194k Tokens Kontext (q8_0) bei meinen 32GB-VRAM-Karten. Da passt einiges rein. Das native Limit wäre 262k für dieses Modell.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: madmax2010
Ich würde bei dem Budget tatsächlich auch mal Apple in den Raum werfen, gerade wenn es hauptsächlich um lokale LLMs und nicht um Training geht. Ein Mac Studio mit M4 Max und entsprechend viel Unified Memory wäre zumindest eine Überlegung wert.

Der große Vorteil ist eben der gemeinsame Speicher. Bei NVIDIA bist du mit 24 oder 32 GB VRAM relativ schnell am Limit, sobald du größere Modelle und längere Kontexte nutzen willst. Mehrere GPUs machen die Sache dann auch nicht gerade günstiger oder unkomplizierter.

Die 128 GB beim Ryzen AI Max+ 395 sind natürlich ebenfalls interessant. Allerdings würde ich mir vor dem Kauf genau anschauen, wie gut die jeweiligen Modelle unter ROCm oder Vulkan tatsächlich laufen. Nur weil ein 70B- oder 120B-Modell in den Speicher passt, heißt das noch lange nicht, dass man damit angenehm arbeiten kann.

Apple ist mit MLX und llama.cpp mittlerweile ziemlich gut aufgestellt. Gerade für deinen Anwendungsfall mit nur einem Modell gleichzeitig könnte das durchaus interessant sein. Wunder bei der Geschwindigkeit sollte man allerdings auch dort nicht erwarten.

Was ich bei deinem Vorhaben fast noch wichtiger finde: Ein riesiges Kontextfenster ersetzt keine vernünftige RAG-Lösung. Gerade bei wissenschaftlichen Texten würde ich eher auf gute Dokumentenaufbereitung, saubere Quellenzuordnung und gezieltes Retrieval setzen, statt ständig komplette Dokumentensammlungen ins Kontextfenster zu laden.

Ich würde jedenfalls bei 4.000 € nicht ausschließlich auf Strix Halo schauen, sondern auch einen Mac Studio mit ausreichend RAM vergleichen. Entscheidend wären für mich echte Benchmarks mit 70B-Modellen, langen Prompts und der gewünschten Quantisierung, nicht irgendwelche theoretischen TOPS-Angaben.
 
Btw, die KI-Entwicklung ist auch weitergegangen und es gibt ein paar echt gute Tricks die im nächsten Qwen Einzug halten werden. Man kann das schon mit Qwen3.8-Flash-Next ausprobieren.

177B-Modell auf einer 8GB-VRAM-GPU + 64GB-System-RAM mit 35 t/s: click
Hier ist es auf 12 GB 5070 mit 55-79 t/s bzw einer 16 GB 9070 XT mit 44-60 t/s: click
Oder auch hier.


Eventuell ist also ein PC mit einer 16GB-GPU und dafür 128GB RAM eine Option, allerdings ist dann die Modell-Auswahl die das können noch etwas eingeschränkt. Kann aber gut sein, dass das bald von allen Modellen übernommen wird, um teuren GPU-VRAM durch günstigeren System-DDR5-RAM zu ersetzen...
 
SirKhan schrieb:
Eventuell ist also ein PC mit einer 16GB-GPU und dafür 128GB RAM
Wäre es denkbar sowas auch mit 32GB RAM hinzubekommen wenn man längere Wartezeiten in Kauf nimmt?
Also nicht Grad ne Stunde für ne Zeile...
 
Bei wissenschaftlichen Arbeiten würde ich definitiv nicht auf eine GPU setzten (bei dem Budget). Es bringt dir nix, wenn dein LLM mit xxx token/s generiert, wenn die Ausgabe zu ungenau ist.
Die kleinen Modelle sind für ihre Größe erstaunlich, aber falls es dir dann nicht reicht bringt die GPU am Ende "nix", weil dein Model alleine doppelt den Vram voll macht.

Wenn daw Budget da ist auf jeden Fall auch so viel memory wie möglich, weil den kann man nicht substituieren später. Lieber die Möglichkeit offen halten auf ein größeres Modell zu wechseln (auch mit Sicht auf die Zukunft), mMn.
 
Zurück
Oben