Lokale KI ohne Grafikkarte

[moonwalker99]

Ich habe eine AMD CPU mit kleinem Grafik-Chip, mit der ich bislang zufrieden bin. Wie sieht es aus, wenn ich eine lokale KI laufen lassen möchte? Würde sich das lohnen? Brauche ich viel RAM? Oder doch eine leistungsfähige Grafikkarte?

 

[rocka81]

Was soll die lokale KI denn machen? Kleine, sehr spezialisierte Modelle könnten da laufen. Eine Coding KI allerdings nicht.

 

[Tornhoof]

Kommt wie immer aufs Modell an, Modelle mit 2 stelligen Millionen Parameter bereich gehen noch ganz gut auf CPU (mit oder ohne AVX512, mit oder ohne NPU) alles andere bedarf eine dedizierte GPU.
Die kleinen Modelle die auf CPUs laufen, benötigen auch nicht wirklich viel RAM.

Die üblichen Codingmodelle sind im Milliardenbereich bzgl. Parametern...

 

[Sykehouse]

Du wirst viel Geduld benötigen / vielleicht / ja / wahrscheinlich.

 

[moonwalker99]

Eine Coding KI allerdings nicht.

Schade. Auch wenn das auch eine "sehr spezialisierte" KI wäre.

 

[MadDog]

frag doch die KI 🤪🤪🤪

 

[Scirca]

Kannste direkt vergessen. Was willst du damit? Sobald Ki's zu wenig Speicher oder zu klein dimensioniert sind kommt da nur Qäuse bei raus.

 

[moonwalker99]

Die üblichen Codingmodelle sind im Milliardenbereich bzgl. Parametern...

Gibt es vielleicht kleinere Codingmodelle?

Hab 64GB RAM, könnte das helfen?

 

[Sykehouse]

...und: von welcher CPU reden wir überhaupt?

 

[moonwalker99]

@Sykehouse AMD Ryzen 7900

 

[Fujiyama]

Was sind überhaupt die Anforderungen? Ki ist ja nicht gleich KI.

 

[moonwalker99]

Erstmal rumspielen und ausprobieren, danach wäre ein Codingmodell schon interessant.

 

[AleksZ86]

Sobald Ki's zu wenig Speicher oder zu klein dimensioniert sind kommt da nur Qäuse bei raus.

ist dir der Speicher ausgegangen? XD

 

[Tornhoof]

Es gibt keine kleinen (nützlichen) Codingmodelle die auf deiner CPU laufen, wie gesagt wir reden hier vom Milliardenbereich bei Parametern. Ohne GPU kommst du da nicht weiter. Die hoch quantisierten Modelle, wie z.b. Qwen 3.8 mit Q4 oder noch weniger bekommst du auf CPU zum laufen, schaffen etwa 1-2t/s und sind "ziemlich dumm"

 

[Smily]

Das hört sich nach Ausprobieren an. Und das kannst du immer machen. Ohne GPU ist das halt dementsprechend langsam. Was großartig nützliches kommt halt nicht raus, musst halt ewig warten für kleine Dinge.
Aber ... zum Ausprobieren ob es überhaupt funktioniert und sich freuen, wenn nach 5 Minuten eine Antwort kommt, dafür immer.
Und wenn du dann gelernt hast, was noch erträglich ist und was nicht funzt, und wie lange es überhaupt dauert, hast du auch was gelernt .

 

[moonwalker99]

chatgpt sagt:

"My recommendation would be Ollama + Qwen3-Coder 30B, running with 4-bit quantization.

Your Ryzen 9 7900 is a decent CPU for this purpose (12 cores / 24 threads), and 64 GB RAM gives you quite a bit of flexibility.

The main limitation won't be whether a model fits in memory, but how quickly the CPU can generate tokens."

 

[Hans-juergen]

rumspielen kann man doch mit den kostenlosen KI. Google Gemini (Suche rechts KI drücken), Copilot von Office 365 und Claude Free.
Ich habe mit Google und MS schon bis zu 1000 Zeilen Powershell Code erstellen lassen. Irgendwann gehen die Fenster aus... und nach einer Weile bauen beide Fehler ein..
Claude Free ist da eine ganz andere Hausnummer... dauert zwar hier und da 3-5 min... aber deutlich besser und bei mir beim ersten Prompt Fehler auszumerzen sofort fehlerfrei. man kommt nur schnell an die Grenze des Tokenlimits.

Da muss es nicht gleich das aufsetzen eine lokalen KI sein.

 

[Garmor]

Lad doch einfach LM Studio oder Ollama und probier irgendeins der vorgeschlagenen Modelle aus. Die Furzgrafik vom Prozessor hilft dir allerdings nicht.

 

[rollmoped]

Klar kann man die KI auch auf dem IGP oder der CPU laufen lassen. Ollama hat beispielsweise ein Vulkan Backend, das man optional nutzen kann - somit braucht man keine ROCm-kompatible Grafikkarte.
Es wird dann nur langsamer als mit einer dGPU.

Wenn man einen IGP nutzt, kann man auf den RAM des PC zurückgreifen und spart sich teureren VRAM. Mit entsprechender NPU wie sie beispielsweise in Ryzen AI CPUs integriert ist, kann es eine bessere Lösung sein, als eine dedizierte Grafikkarte zu nutzen.

Leider ist ein Ryzen 7900 kein Ryzen AI, sodass es vermutlich echt langsam laufen würde. Es kann sein, dass es schneller auf den CPU-Kernen als auf dem IGP läuft, weil der nur wenige Shadereinheiten hat.

Selbst wenn man eine dGPU hat, und Modelle laufen lässt, die ein bisschen größer als der VRAM sind, werden Teile des LLM in den System RAM ausgelagert.
Beispielsweise benutze ich gerade das KI-Modell Flint auf einer 16GB Grafikkarte und das läuft zu 15% auf der CPU und nur 85% liegen auf der GPU, weil das Modell etwas größer ist.

Ich würde dir ein möglichst kleines Modell empfehlen, vielleicht unter 4GB groß. Das könnte auch auf der CPU zufriedenstellend laufen.

 

[Xes]

Neben der reinen Menge an Speicher (wo 64GB schon ansatzweise brauchbar wären) ist leider vorallem die Speicherbandbreite für die Geschwindigkeit relevant, wenn es um größere und halbwegs intelligente Models geht. Da ist klassischer DDR4 und DDR5 RAM einfach um ein vielfaches langsamer als der Speicher, welcher auf Grafikkarten oder verlötet als unified Memory z.B. bei den macs zum Einsatz kommt. Für die Berechnung jedes Tokens wird da das komplette Model + Kontext einmal gelesen und verarbeitet also zig Gigabyte pro neuem "Wort" der Antwort (sehr stark vereinfacht). Hinzu kommt natürlich noch fehlende oder deutlich schwächere Beschleunigungseinheiten gegenüber "richtigen" GPUs.
Bedeutet konkret:
Selbst wenn ein brauchbares Codingmodel, der Chatverlauf und der Code in den Speicher passt, wird die Verarbeitung einfach unbrauchbar langsam laufen.

Einfach mal rumspielen kann man natürlich. Kleinere 4-7B Modelle wirst du vermutlich halbwegs schnell zum laufen bekommen. Deren Intelligenz geht aber nicht besonders weit, hoch komplexe Aufgaben wie Coding kannst du damit knicken.