Ich lass gerade die Qwen3.8-27B-UD-Q4_K_S.gguf durchjagen gegen die normale 3.8. erster vorteil: weniger vRAM belegt durch das Modell, die experimentelle Funktion den KV Cache zu quantifizieren funktionier mit QWEN3.8 ausgezeichnet ohne dass ich Qualitätseinbrüche merke. Gemma hats da halt total zerschossen.
Aktuell kann ich auf der 7900XTX 120.000 Kontext halten. bei im mittel 50-60 t/s. Die compaction wurde bei knapp 115k Kontext angestoßen und hat 4:40 Min gedauert. also 44,2 t/s. danach war er wieder bei 14k Kontext, das Handoff von ChatGPT analysieren lassen und er ist begeistert ;-)
Bearbeitung: Handoff raus und gesamt-test rein.
Der Qwen3.8-27B wird mein standardmodell.
Der komplette Hauptlauf dauerte
122 Min. 50 Sek.. In dieser Zeit hat das Modell Architektur, PHP/MariaDB-Backend, Security/AuthZ, Concurrency, Workflowsysteme, Frontend, PWA, Tests und Performance-Evidenz analysiert und am Ende
11 strukturierte Analysedokumente inklusive Findings-Register und Gesamtbewertung erzeugt und noch einmal verifiziert.
Besonders positiv war die Agentenarbeit:
Das Modell arbeitete
ohne Babysitting, führte parallel eigene WORKING_NOTES.md als persistentes Arbeitsgedächtnis und überstand während des Hauptlaufs
vier Context-Compactions, ohne Scope oder Arbeitsstand zu verlieren. Ein anschließender gezielter Nachtest lief bereits in die fünfte Compaction.
Performance auf der 7900 XTX war ebenfalls stark:
anfangs ungefähr
55–60 t/s, bei großem Kontext meist noch
40–45 t/s. GPU-Auslastung typischerweise 90–100 %, VRAM etwa 21 GB. Also sogar noch etwas platz für ein größeres Kontextfenster, ob ich dieses nochmal ausreize oder bei den 120k bleibe, muss ich mal schauen. Mehr kontext = Langsamer, evtl. ist das compacting an der stelle der bessere Weg. den 100% Sweet-Spot hab ich daher noch nicht gefunden. Kontext hat er weniger generiert als die andern Modelle, daher hat er länger durchgehalten vor dem
Qualitativ war es bisher mein bester lokaler Agententest. Er hat Verdachtsmomente mehrfach selbst wieder verworfen, wenn Gegenbelege gefunden wurden, und sauber zwischen belegten Fakten, Schlussfolgerungen und offenen Punkten unterschieden. Ein bekannter Audit-Outbox-Fehler wurde im ersten Lauf allerdings übersehen und erst durch eine gezielte Nachfrage gefunden — also auch dieses Modell ist nicht unfehlbar.
Bewertung als lokaler Coding-/Audit-Agent: 9/10.
Der größte Pluspunkt ist nicht einmal die reine Geschwindigkeit, sondern die Kombination aus
Tempo, Autonomie, Tool-Stabilität und sehr guter Langzeit-Context-Verwaltung.
Für mich aktuell klar vor den anderen getesteten Varianten:
| 1. Qwen3.8-27B UD-Q4_K_S + MTP | Details siehe oben. |
| 2. normales Qwen3.8-27B | Mein Ursprungskandidat, langsamer, hatte in der 50K Kontext rund 30 t/s (anfangs) und in der 120K Kontextgröße 15 t/s. für die Komplettanalyse brauchte er ca. 4 Stunden. Weiterhin hat er sein token-run sehr oft bis max (8.192) ausgeschöpft und hat alles im gedächnis verarbeitet bevor er schrieb. Was gerade bei dem Kontextfenster zu einem, davor beschriebenem, compresionsloops führte. Er hats durchdacht: Kontextfenster voll, fast alles wieder verloren, wieder von vorne. Ich glaube das war auch ein Mitgrund für seine 4 Stunden analyse. Dort hab ich aber das mit dem Compresion-Loop noch nicht so auf dem Schirm gehabt und nicht weiter detailiert betrachtet. Aufgefallen war es erst als ich mit der Kontextgröße 60 - 100k expermientierte. wo der sweetspot t/s bei ungefähr 85k bei mir liegt. ich hab ihm die einzeldokumente zur synthese gegeben, er hat dann in ca 75k Kontext alles analysiert und gerade als er schrieb "ich fange jetzt an das Dokument zu erstellen". ist er in die compresion gelaufen, und dann brauchte er 3 loops bis er genug hatte um überdiese Schwelle zu kommen. Mit kleineren Fenstern wie es die UD version macht (ich hab nur 2x 8.192 Tokenmax gesehn), wäre es nicht dazu gekommen. |
| 3. Qwen3.8 Turbo/Fusion | Test vorzeitig abgebrochen, Er hat immer auch auf der CPU gerechnet, auch wenn noch 6 GB vRAM frei waren, GPU hat 2/3 der Zeit mit verringerter Leistung gearbeitet. 8-12 t/s. diese abr relativ stabil von kleinem nach großem Kontext. |
| 4. Gemma 4 26B A4B | Totaler Fehlschlag, konnte Tools nicht aufrufen, hat seine Pfade verloren, super schnell weit über 100 t/s davon das meiste TRASH. In Minuten Kontextfenster von 250k aufgefüllt und nach der compaction blieb dann noch 8k informationen übrig.
Für das Szenario absolut ungeeignet, ich musste ihm eigentlich exakt vorkauen was er machen muss, obwohl der Startpromt klar definiert war. Konnte nicht selbstständig arbeiten ohne nach jedem teilpunkt mind ein "los/weiter/arschtritt?" zu erwarten, hing in loops, etc.. |
Kleine Anmerkung zur Persönlichkeit: Was mich stört ist grundsätzliches dieses Anbiedern, Dazu neigt auch ChatGPT und wahrscheinlich alle großen Modelle. Gemma ist mir absolut negativ aufgefallen. Also dieses "oh da hast du recht" "das tut mir so leid, ich werde das sofort korrigieren" "ich verstehe warum du gefrustet bist, lass mir dir ein Taschentuch reichen". Gemma hat mich zur Weißglut getrieben mit seinem triefendem pseudomitgefühl.
QWEN in allen 3 getesteten Varianten ist vom Sprachgefühl absolut trocken und neutral. ChatGPT meinte zu ihm: genau und kommunikativ wie der Bundesrechnungshof. Und so liebe ich dass, ich brauche fakten kein geschnörkel, was noch unwahr ist.
Hinweis: Das ist nur ein User-Test. Ich hab LM Bionic Logdateien, die Fazite, etc. über ChatGPT überprüfen lassen. Ich hab auch noch kleinere Modelle kurz mal getestet aber hier nicht gelistet weil ich die nur kurz angestupst habe um zu schauen wie Sie reagiern, kein kompletter Durchgang / keine Ergebnisse.
