Lokale KI ohne Grafikkarte

[madmax2010]

The main limitation won't be whether a model fits in memory, but how quickly the CPU can generate tokens."

nope, speicherbandbreite.


DIe integriete GPU zum betreiben von LLMs zu nutzen geht seit es Open Source LLMs gibt
seit einem halben jahr auch von AMD selbst dokumentiet
https://rocm.blogs.amd.com/artificial-intelligence/language-models-locally/README.html

Die Furzgrafik vom Prozessor hilft dir allerdings nicht.

yep. Die von 8700G hingegen kann deutlich mehr performance liefern. Macht matmul schon ein bisschen performanter als das bisschen AVX 512 VNNI in der CPU.
Aber auch da limitiert der doch im vergleich sehr langsame DDR5

 

[nutrix]

@moonwalker99​

Dann solltest Du mal genauer Deinen Usecase erläutern. Ich experimentiere gerade selbst viel rum, und ohne GPU, vergiß es. Ohne genügend VRAM, vergiß es, kleine Modelle, vergiß es.

Wenn Du lokal nichts gescheites hast, nimm ein 20€ Abo. Das ist um Welten besser als alles, was Du mit Deinen Mitteln hosten kannst.

 

[Keuleman]

Mit ein bisschen Zeit, Spucke und Liebe kein Ding. Heute ein YUE2 Lied auf i7-10700 gemacht mit 32 GB DDR4 RAM. Hat nur 2 Stunden gedauert aber klingt toll (mache ich gelegentlich für YouTube parat).

 

[derMutant]

Erstmal rumspielen und ausprobieren, danach wäre ein Codingmodell schon interessant.

Ja, dann fang mal damit an. Dann wirst du ziemlich schnell feststellen was geht und vor allem was nicht.

 

[TeeKayEV]

Ich betreibe local AI auf einem Ugreen IDX 6011 Pro - das hat auch keine dGPU. Der Speicher ist etwas schneller als beim Ryzen. Der größte Unterschied ist aber die in den Prozessor integrierte GPU, die deutlich mehr Recheneinheiten umfasst. Schnell ist das nicht - aber ausreichend, um Hintergrund-Tasks abzuarbeiten. Auch mit großen Modellen - schließlich kann die iGPU auf 64 GB Speicher zugreifen.

Bei deinem Ryzen wäre zuerst die Frage, was du genau experimentieren willst und wieviel GB deines RAMs die iGPU überhaupt nutzen kann. Für kleine Experimente mit kleinen Modellen, die Hintergrundaufgaben ohne Zeitlimits ausführen, ist dein System ausreichend. Sowas wie Text- und Bild-Klassifizierung.

Du wirst aber deutlich mehr Spaß haben, wenn du dir eine auch nur halbwegs aktuelle GPU aus den vergangenen 8 Jahren mit wenigstens 8 GB VRAM besorgst und dann Strata zum Laufen bekommst. Immens größeres Modell mit immens schnellerer Ausführungsgeschwindigkeit, als du es mit dem Ryzen und seiner eigentlich nur für Bildausgabe gedachten iGPU hinbekämst.

 

[AAS]

Du wirst viel Geduld benötigen / vielleicht / ja / wahrscheinlich.

Nicht einmal auf alten Server System laufen mittlere Modell recht gut (RAM Anbindung).

Auf Desktop PC läuft:
• Llama 3.2 3B: Benötigt nur ca. 2 bis 4 GB Arbeitsspeicher und bietet eine sehr gute Kompatibilität.
• Phi-4 Mini / Phi-3.5: Kompakte Modelle (ca. 3.8B–4B Parameter), die auch auf leistungsschwächerer Hardware logische Aufgaben und Reasoning gut bewältigen.
• TinyLlama (1.1B) oder Qwen2 (0.5B–7B): Extrem ressourcenschonend für sehr alte oder schwache Maschinen.


Man darf halt kein ChatGPT erwarten.
Aber Automatisierungen, DAtenanalysen usw. lässt sich echt gut damit betreiben.

 

[Garmor]

Würde jetzt nicht unbedingt drei Jahre alte Modelle vorschlagen.

 

[TeeKayEV]

Muss mich korrigieren. Der Strata-Entwickler sagt, die GPU braucht mindestens 12 GB VRAM. Da reicht dann aber auch eine RTX 3060, um mit einem deutlich größeren Modell Kreise um deine iGPU zu ziehen.

Im Netz findest du aber auch Erfahrungsberichte und Konfigurationen zur Nutzung mit nur 8 GB VRAM.

 

[AAS]

nope, speicherbandbreite.


DIe integriete GPU zum betreiben von LLMs zu nutzen geht seit es Open Source LLMs gibt
seit einem halben jahr auch von AMD selbst dokumentiet
https://rocm.blogs.amd.com/artificial-intelligence/language-models-locally/README.html



yep. Die von 8700G hingegen kann deutlich mehr performance liefern. Macht matmul schon ein bisschen performanter als das bisschen AVX 512 VNNI in der CPU.
Aber auch da limitiert der doch im vergleich sehr langsame DDR5

Bester Beitrag bis jetzt.
Wenn man natürlich eine Gemma4-26b oder Qwen 3.8 27b betreiben will, stimme ich dir voll zu,
0.5b-4b gehen aber sehr gut. Auf alten Servern (Ab 2014) wirst du aber sicher +30 t/s haben.

 

[derMutant]

und dann Strata zum Laufen bekommst

Strata braucht 12GB vram mindestens

 

[AAS]

Muss mich korrigieren. Der Strata-Entwickler sagt, die GPU braucht mindestens 12 GB VRAM. Da reicht dann aber auch eine RTX 3060, um mit einem deutlich größeren Modell Kreise um deine iGPU zu ziehen.

Ich wäre hier vorsicht mit dem Wort grosse Modelle.
Ein Gemma4-26b (ca. 16 bis 19 GB) nutze ich oft für die PC Bedienung und das ist ein sehr kleines Modell im vergleich zu den Frontier Modelle brauchen bis zu 4TB an Speicher.

 

[derMutant]

@AAS
Lies dich mal zu strata ein

 

[TeeKayEV]

Im Kontext lokaler AI interessieren wir uns aber selten dafür, wie wir ein Modell mit mehreren TB an VRAM-Bedarf zum Laufen bekommen. Im lokalen Kontext sind 125B Parameter ein größeres Modell.

 

[Shririnovski]

Ja es wird laufen, ja es wird schnarch langsam sein. Gerade wenn es etwas komplexere Aufgaben werden. Ich spiele selbst mit Image Generation herum, mit Stablediffusion. Nutze ich die CPU (9950X3D), dann dauert ein einzelnes Bild in niedrieger Auflösung und wenig Instruktionen bereits 15 Minuten und länger. Nutze ich die GPU (9070XT) dann geht es deutlich schneller, zwischen 2 und 5 Minuten warte ich bei vergleichbaren Settings aber auch noch auf ein Bild. Und nur um das klar zu stellen: diese Bilder sind alles, nur nicht gut. Und nur selten wirklich das, was man erwarten würde.

Angefangen habe ich mit den Spielereien übrigens bereits mit meinem alten System (5600X + 5700XT), dort war alles noch deutlich langsamer, hat aber auch funktioniert.

Mein Fazit: zum Rumspielen und Ausprobieren reicht jede einigermaßen moderne, vorhandene Hardware. Zum wirklich damit arbeiten braucht es dann aber mehr.

Dementsprechend: mach! Versuch macht Klug.

 

[AAS]

@AAS
Lies dich mal zu strata ein

Hab Strata selbst schon genutzt, aber mein Stack ist für meine Aufgaben besser.
Und ich nutze viel lokale Modell (2*16GB Arc B50 Pro im OpenVino Hetero Betrieb) und eine MI50 mit 32GB.
Mir wäre es neu das Strata Frontier Modelle ausführen könnte, sondern nur die mittleren OpenWeight Models.
Ein Qwen 125B (72 GB und 355 GB je nach Bittiefe) ist für mich halt ein mittleres Model.

Ergänzung (Dienstag um 15:00)

Im Kontext lokaler AI interessieren wir uns aber selten dafür, wie wir ein Modell mit mehreren TB an VRAM-Bedarf zum Laufen bekommen. Im lokalen Kontext sind 125B Parameter ein größeres Modell.

Im lokalen Kontext gebe ich dir recht.

 

[bart1983]

Ohne Grafikkarte läuft es eben vollkommen über CPU&RAM.
Es kommt dann auf deinen Datendurchsatz deines RAMs an, weil jedes Token durch diesen Flaschenhals muss.

normale Leserate eines Menschen ist ca. 7-9 Token/s.
Die Performance unter LMStudio war bei mir übrigens 20% schlechter als wenn ich ollama mit Alpaka (eine GUI installiert als flatpak die man zusammen mit ollama nutzen kann) verwende.

Meine Erfahrung mit LLMs ohne Grafikkarte:

Modelle mit 4b Parameter (Gemma4):
i5-8500 (6 Kerne/6Threads) 32Gib DDR4-RAM: 6 Token/s
i7-4770 (4Kerne/8Threads)/24GB DDR3-RAM: 4-5 Token/s
Ryzen Pro 2400GE (4Kerne/8Threads), 24GiB DDR4:: 5-6 Token/s
i5-3320M (2Kerne/4Threads)/ 8GB DDR3-RAM: 3-4 Token/s

Modell mit 0,6b (Qwen3)
RaspberryPi 3b+: 3-4 Token/s

Kleinere Modelle (wie 0.6b) würden auf den Maschinen im ersten Abschnitt natürlich besser laufen, mit den Modellen kann man aber wegen ihrer geringen Parameteranzahl eigentlich kaum etwas machen.

Zum Vergleich:
auf einem Laptop mit einer RTX3070 läuft das 4b modell mit 60Token/s.Das große Modelle qwen3.8 27b läuft auf dem Gerät dann mit 3-4 Token/s genauso schlecht wie ein 4b-Modelle auf dem i5-3320M-Laptop

 

[TeeKayEV]

Ohne Grafikkarte läuft es eben vollkommen über CPU&RAM.

Er hat ja eine Grafikkarte: 2 GPU-Kerne im Prozessor. Die würde rein theoretisch beim Prefill helfen, was weitgehend RAM-unabhängig läuft.

"Problem" ist da nur, dass die Rechenleistung der 12 CPU-Kerne höher ist als die Rechenleistung der zwei CU der dGPU. Die hat AMD eben nur für die Displayausgabe von Office-PCs eingebaut.

 

[rollmoped]

Ich habe mir gerade testweise nemotron-3-nano:4b heruntergeladen und getestet:
100% auf der GPU(RX 9070): 132 Token/s
100% auf der CPU(5950X): 13 Token/s

Also so schlecht ist das doch gar nicht auf einer CPU! Selbst wenn man größere Modelle laufen lässt, die dann noch langsamer ausgeführt werden - man kann sie ja über Nacht als Agent laufen lassen und ihnen eine Aufgabe geben.

 

[Garmor]

Also so schlecht ist das doch gar nicht auf einer CPU!

Lass mal ne größere Textdatei auswerten, damit das Kontextfenster ein bisschen gefüllt ist. Dann bricht die Leistung weiter ein. 😅

 

[DiePalme]

Was schafft denn so eine Intel B50 (16GB), B60 (24GB) oder B65 (32GB) an Tokens. Weiß das jemand? Die sind preislich noch in einem brauchbaren Rahmen, wenn man die sonstigen Preise der GPUs ins Verhältnis setzt.