Größte Modell was ihr LOKAL laufen gelassen habt?

[bart1983]

Ich denke dass das lokale Ausführen von KI in den kommenden 5 Jahren tatsächlich die Zukunft sein bzw. eine wichtige Rolle spielen wird.
Natprlich, werden große KI-Firmen weiter existieren und komplexe Aufgaben gegen Geld lösen. Es wird also eher so sein wie mit Personal-Computing/Supercomputern. PC hat die SC schließlich auch nicht ausgelöscht.

Deshalb die Frage nach eurer lokal-KI Erfahrungen & wieviel Parameter ihr sinnvoll lokal laufen gelassen habt.

Dank CPU/GPU Offloading und Quantisierung ist man nicht mehr alleinig am starren VRAM-Wert gebunden und damit fallen auch die üblichen VRAM.Grenzen (8/9b, 16/20bm usw) etwas weg.

Also, lasst mal hören.

(und ich bin mir durchaus bewusst das diese Frage & diese Parameter in 5 Jahren lächerlich wirken. In etwa wie 20 Jahre alte Threads über die Sinnhaftigkeit von QuadCores diskutierten )

 

[Rickmer]

Ich hatte aus Neugierde mal gpt-oss-120b lokal laufen. Mit einer 4090 und 96 GB RAM geht's so grade noch, ist aber natürlich nicht schnell - wobei das dank MOE besser lief als verschiedene 70b dense die ich schon getestet habe.

Wirklich sinnvoll laufen tut auf einer 4090 ein Modell mit Größe von bis zu 32b Parametern.

 

[ghecko]

Noch gar keins bisher. Aber zu mir ist ein ASrock BC-250 unterwegs (PS5 APU, 16GB GDDR6) und mich interessiert, ob ich darauf sinnvoll ein Modell laufen lassen kann, was mich etwas bei meinem Wiedereinstieg in die Programmierung von Microcontrollern unterstützen kann.

 

[therealcola]

Als Maximum: GLM 5.3 Flash-Int4 (321B) Modelgröße ca. 190gb -> 1 Token pro Sekunde.

Sinnvoll im Rahmen dessen was ein kleines Model Leisten kann ist nur bei mir QWEN 3.8 9b oder so mit 100 Tokens pro Sekunde bei einer 9070 XT ( 16gb VRAM ) dann aber mit großer Kontextgröße. -> über 128k oder gar 256k.

 

[john.smiles]

Noch gar keins bisher. Aber zu mir ist ein ASrock BC-250 unterwegs (PS5 APU, 16GB GDDR6) und mich interessiert, ob ich darauf sinnvoll ein Modell laufen lassen kann, was mich etwas bei meinem Wiedereinstieg in die Programmierung von Microcontrollern unterstützen kann.

Aus meiner Erfahrung mit einer 16GB 5060 Ti, alles Schrott :/

 

[ghecko]

alles Schrott :/

Gut, danke. Dann bleibt es bei Cyberpunk.

 

[zeaK]

27B - selbst das ist schon eng bei etwas mehr Kontext. Aber ist auch nur ne 4090, da wirds halt doch recht fix knapp mit dem Speicher.
Ich hoffe ja das sich MoE Modelle mehr durchsetzen, die funktionieren damit - und auch mit weniger Speicher - einfach besser.

 

[Garmor]

Dank CPU/GPU Offloading und Quantisierung ist man nicht mehr alleinig am starren VRAM-Wert gebunden und damit fallen auch die üblichen VRAM.Grenzen (8/9b, 16/20bm usw) etwas weg.

Naja, aber die Performance sinkt erheblich, sobald du aus dem VRAM rausgehst, und sobald man mit agentenbasiertem Arbeiten anfangen möchte, braucht man deutlich größere Kontextfenster, die wieder mehr RAM brauchen und die Performance drücken. Wenn ich z.B. die von Openclaw als Minimum angesetzten 70.000 Token annehme, passt Qwen3.5 9B Q4 gerade so in meine 10GB rein. Q6 sprengt mit dem Kontextfenster bereits die gängigere 12GB-Marke und Q8 sogar knapp die 16GB.

 

[Azghul0815]

Das grösste Modell bei mir ist aktuell Devstral 2 mit 123B. Daneben probiere ich auf dem Spark gerade noch einiges durch, unter anderem Qwen 3.8, Mistral Small 4, Gemma 4 und kleinere Qwen-Modelle für Embeddings.

Das Ganze läuft auf einem DGX Spark mit GB10 und 128 GB Unified Memory. Ich bin gerade dabei, mir damit so eine Art kleines „Home AI Studio“ aufzubauen.

Gedacht ist das für Vibe Coding bzw. Coding-Agenten, Paperless-ngx, meine selbst gehostete DnD-Webseite als Logbuch/Wiki, Transkription mit WhisperX und später noch weitere lokale Automationen und Agenten.
Devstral 2 eher für komplexere Sachen bzw. als Reviewer, kleinere Modelle für schnellere Aufgaben. Mal schauen wie gut das geht.

OpenCode rennt leider nicht so, wie ich gern will (das Reasoning geht mit den lokalen Modellen via LiteLLM nicht) und bin will noch OpenHands testen.
Das wichtigste ist eben die DnD Webpage, das soll alles die Ai machen.
Transkription via Whisper, Diarisation, Zusammenfassung, semantischew Suche dann, etc.

 

[therealcola]

Das Ganze läuft auf einem DGX Spark mit GB10 und 128 GB Unified Memory. Ich bin gerade dabei, mir damit so eine Art kleines „Home AI Studio“ aufzubauen.

Die interessanteste Lösung ist hier wohl der Microsoft Ansatz mit Project-Hydrafusion.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Wenn man so potente Hardware zu Hause hat sprich 128gb oder 192gb Unified Memory.


Es wird quasi je nach Bedarf automatisch entschieden was Lokal und was durch Frontier Modelle Online durchgeführt wird.


Oder hier der kurze 24 min Ausschnitt lohnt auch anzugucken

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[Bliird]

ich spiele dieses Wochenende mit rum, nutze LM Bionic mit QWEN 3.8 27B. hab mich an das Kontextlimit rangetastet und bin jetzt in nem sweetspot von ca 85k Kontext gelandet wo er anfangs mit 50 zum ende mit 30 T/s arbeitet. System: Ryzen 9800X3D - 96 GB DDR-5 - Radeon 7900XTX m. 24GB Vram.
Ziel ist es soviel wie möglich über Vram abzudecken wegen dem Speed.

Performancetest: Ich habe ihn eine von mir in Entwicklung befindliche Website analysieren lassen. Dauer der ersten analyse ca 4.5h, mit 128k fenster. ca 15 t/s im Mittel. Daraus entstanden 8 Dokumente.
und die 8 Einzeldokumete (MD) soll er für den Performancetest auf Konsistenz prüfen und daraus eine synthese erstellen.
Ich checke das ganze mit ChatGPT Enterprise gegen, welches ich zur Entwicklung der Website nutze. Bionic ist ziemlich gut beim compacting. ab ca. 50 k-Kontextfenster kann er sicher im nebenagenten die zusammenfassung erstellen und drückt dann den kontext auf ca. 15.000 zusammen. bei 50k Kontext ist er aber schnell wieder im Limit, und er verliert halt evtl. informationen die er noch nicht geschrieben hat aber übe die er gerade nachdachte. daher hab ich mich in 10k schritten nach oben getastet. dabei die logfiles punktuell geprüft und chatty analsieren lassen.

Kontext​	Generation​
50k​	~49–50 t/s​
60k​	~42–45 t/s​
70k​	~38–42 t/s​
80k​	~30–34 t/s​
90k​	~27–31 t/s​
128k​	~15–20 t/s​

Die Gefahr beim compacting ist halt dass er gerade diese Information verliert an der er gerade knabbert. Beispiel:
in den Einzeldokumenten sind ein paar Themen drin die in der weiteren Dokument von Bedeutung sind und hier anders interpretiert wurden. Diese AAbweichungsanalyse hat er dann zwar im "Gedächnis" erledigt, aber gerade bevor er seine Erkenntnisse schreiben konnte ist das Kontextfenster voll gewesen.
Das erneute Compacting hat dann leider fast all diese Informationen nicht mehr gehabt, so dass dann ne mini compacting Schleife entstanden ist. Er musste wieder analysieren, und wieder kurz vor der vollständigen Lösung: Kontextfenster voll. Das ging 3x so, danach hatte er aus den überlebten compacting informationen genug gerettet um im nächstem Kontextfenster den Rest am stück durchzuziehen.

Die erzeugten .MD inventar, infrastruktur, shell_datenschicht, Module, Verwaltungsplattform, backend, pwa_SW und halt die erste synthese mit QWEN 3.8 27B mit 128k Kontext hab ich dann in Pro durch ChatGPT Enterprise analyisieren lassen und das ist die Einschätzung zu QWEN qualität:

Bereich	Meine Einschätzung
Technisches Reasoning	9/10
Code-/Architekturverständnis	9/10
Widerspruchserkennung	9,5/10
Große Multi-File-Analysen	9/10
Detailtreue	9/10
Selbstkorrektur	9/10
Autonome Agentenarbeit	8,5/10
Effizienz des Reasonings	6,5–7/10
Priorisierung/Relevanzfilter	7,5/10
Konsistenz über sehr lange Läufe	8/10 mit 128k, schlechter unter 128k
Gesamteindruck für eure Entwicklung	~8,5–9/10

 

[PrussianHeathen]

Mit MOE LLMs können die Anzahl der Parameter schnell explodieren. Ich nutze Qwen 3.6 35B (3B active) auf der 780M iGPU. Läuft sehr gut mit ~22token/s.
Am wichtigsten ist genug RAM für alle Parameter.

Dann gehts beliebig bergauf:
Qwen3.8-Flash-Next 125B (6B active)
DeepSeek-V4-Flash: 284B (13B active)
DeepSeek-V4-Pro: 1.6T (49B active)

 

[Azghul0815]

Es wird quasi je nach Bedarf automatisch entschieden was Lokal und was durch Frontier Modelle Online durchgeführt wird.

Danke
Da ich allerdigns nur eine ChatGPT Plus abo habe und sonst kein Geld ausgeben will, muss Lokal reichen

 

[MoonTower]

Auch wenn ich lokale KI aktuell nicht wirklich ernsthaft nutze, hat DeepSeek v4 Flash UD, q8, 284B (13B active) mein gewünschtes Python-Skript zur Steuerung meines ComfyUI-Setups die beste Arbeit geleistet Anders gesagt: Ich schieße mit Kanonen auf Spatzen ... grrr
Für einfache, kleine Skripte hat Standard Google Gemini aber eigentlich immer die beste Arbeit geleistet. Bei DeepSeek wird aber scheinbar weniger "verschlimmbessert" bei Korrekturen oder neuen Anpassungen eines vorhandenen Skripts. Ein passender, individueller System Prompt scheint mir generell das "Wichtigste" zu sein bei einem Modell.

 

[Precide]

Ich bin mit meiner 5070 bei Qwen 3.8 27B und einem Kontextfenster von 32k bei 10t/s. Da reicht um ein, zwei große Codedateien zu analysieren und zu fixen. Aber es dauert halt. Wenn ich aber ehrlich bin unter 100k Kontext ist sowas eher Spielerei als wirklich nützlich. Und selbst 100k sind auch noch nicht wahsinnig viel.
Ich sehe auch nicht, was sich da in den nächsten 5 Jahren großartig ändern sollte, eine 24GB Karte hat heute schon mit einem 27B Modell gut zu tun und viel mehr VRAM wird da für Mainstream auch nicht kommen. Alles andere ist krasse Nische, weil man einfach den Preis eines gebrauchten Kleinwagens in eine Workstation investieren muss. Was ich mir sicher vorstellen kann, ist dass Unternehmen stark auf lokale AI aufpringen.

 

[Azghul0815]

Ich würde gerne Alexa ersetzen und das ganze Lokal laufen lassen. Also die ganze Smarthome Steuerung.
Dafür sollte eigentlich alles reichen.

 

[Syntax_41]

Aktuell 550B mit 55B pro Token (Nvidia Nemotron 3 Ultra) vorher Deepseek mit 671B mit 37B pro Token

 

[DonQuichote]

Gemma 4 26B A4B Qat

 

[Bliird]

Gemma 4 26B A4B Qat
Anhang anzeigen 1767554

Also ich teste gerade die Gemma 4. Performance ist atemberaubend, selbst mit einem kontextfenster von 240k ist er noch bei 70 t/s. zu beginn bei über 140 t/s.
Allerdings nervt mich Gemma bei der deepdive Testanalyse. erst will er mir mit 2-3 Minuten rechenzeit weiss machen: Ich hab alles analysiert. Und nach mehrfachem nachschärfen hat er dann wirklich angefangen sich auch den Code aller Daten anzuschauen.
Allerdings trotz der Aufforderung: Bitte autark durchführen hört er nach jedem mini block auf und wartet auf ein Feedback von mir. Weiterhin scheint es irgendwie kleinere Probleme mit dem Toolsintegration mit LM Bionic zu geben, da er leider sau viel Kontext wasted weil er mehrfach nicht auf eine Datei zugreifen kann wenigen permission themen. Naja vielleicht bin ich auch zu blöd ^^

Fazit zu Gemma: ich hab das Testergebnis von Chatty zusammenfassen lassen.
Gemma 4 26B A4B – kurzer Praxistest als Coding-Agent:
Performance war beeindruckend: mit experimentellem Q4-Thinking anfangs ca. 100–120 t/s, selbst bei >200k Kontext noch sehr schnell; praktisch nutzbares Kontextfenster bis ca. 250k, danach funktionierende Compaction auf ~10k.

Für längere autonome Entwicklungs-/Audit-Aufgaben war das Modell bei mir aber zu instabil. Wiederholt Probleme mit exakten Dateipfaden, Read/Write-Toolcalls, Tool-Loops und unnötigen Selbstkorrekturen. Außerdem neigte Gemma stark dazu, nach Stichproben früh zu behaupten, die vollständige Analyse sei abgeschlossen. Selbst mit expliziten Coverage-Regeln fiel es wieder in dieses Verhalten zurück.

Q4-Thinking auszuschalten machte die Toolarbeit etwas stabiler, reduzierte die Performance aber massiv (z. B. bei ~160k Kontext nur noch ~34 t/s Decode) und löste die grundlegenden Agentenprobleme nicht.

Fazit: Sehr interessantes, schnelles Long-Context-Modell für gezielte Analysen einzelner Dateien/Logs. Als autonomer Coding-/Deep-Audit-Agent hat bei meinem realen Projekt Qwen3.8 27B trotz geringerer t/s klar besser funktioniert, weil es wesentlich hartnäckiger, vollständiger und zuverlässiger gearbeitet hat. Entscheidend war am Ende nicht tokens/s, sondern brauchbare Arbeit pro Stunde ohne menschliches Babysitting.

Kurz meine pers. worte:
Er hat sich nicht mal seine eigenen Fehler gemerkt, bei jeder Runde wo er eine .MD schreiben sollte: MD angelegt -> Schreiben -> Fehler -> Grund: Datei nicht geöffnet -> DENK DENK DENK -> Datei erst Read dann in datei schreiben. Das Thema Deep Dive Analyse hat er zwar auf kritische Nachfrage richtig beantwortet, aber sich selbst nicht dran gehalten. Erst als ich Ihm Muster von QWEN in die Hand gegeben habe konnte er ansatzweise eine DeepDive machen, mit den obigen fehlern. Und wenn die .MD bei QWEN rund 20kbyte groß war, war die von GEMMA Analyse 4 Kbyte, wieder ohne evidente Beweise zum teil sondern einfach nur Annahmen.

Daher fliegt GEMMA von der Platte.

 

[therealcola]

Derzeit teste ich das Model QWEN 3.8 Flash next also 125b parameter wo 6 bill aktiviert sind file size ~70gb

https://github.com/Niko1221/Strata


Alles mit ner 9070 XT und 48gb RAM ist schon nicht schlecht. Ich muss es nur noch erweitern mit Fähigkeiten.


Bin vorhin erst darauf gestoßen und find ich rkass das es so schnell läuft

Context Size ist sogar 65k