Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
RX 9060 XT 16 GB + LM Studio unter Windows: 5 Modelle gemessen, Vulkan schlägt ROCm deutlich
Zum Qwen3-Coder 30B-A3B noch ein Tipp. Statt 30 von 48 Layern auf die GPU zu legen, kannst du die Expert-Gewichte auf der CPU lassen. In LM Studio gibt's dafür in den Ladeoptionen einen eigenen Schalter, in llama.cpp heißt das --n-cpu-moe. Dann bleiben Attention und KV-Cache komplett in den 16 GB, und nur die Experten liegen im RAM. Bei MoE-Modellen ist das oft deutlich schneller als normaler Layer-Offload.
Würde mich interessieren, was das bei dir unter Vulkan bringt.
Prompt-Verarbeitung bei langen Kontexten etwa 250–450 Tokens/s, abhängig vom Cache. Kontext-Checkpoints werden wiederverwendet, gelegentlich ist aber eine erneute Verarbeitung nötig.
Fazit: Bislang über 95.000 Tokens erfolgreich verarbeitet, ohne Abstürze oder Kontextabschneidung. Die vollen 128k sind noch nicht getestet. Für ein 27B-Multimodal-Modell auf einer einzelnen 20-GB-AMD-Karte läuft das erstaunlich gut. Besonders erfreulich ist, dass der Vulkan-Fork trotz der Probleme mit dem bisherigen ROCm-Backend stabil arbeitet.
@Rykar Bei 128k mit Q4_0 für beide Caches würde mich interessieren, ob du bei langen Kontexten Aussetzer merkst. Die K-Werte reagieren meist empfindlicher auf Quantisierung als die V-Werte. Falls es hakt, wäre K auf Q8_0 und V auf Q4_0 ein Kompromiss, der nur etwas mehr VRAM braucht.
Wie viele Tokens pro Sekunde schafft die 7900 XT bei dir noch, wenn der Kontext richtig voll ist?
Danke für die ausführliche Zusammenfassung! Spannend, dass du unter Linux mit ROCm 7.2 ebenfalls bei Vulkan gelandet bist, weil es stabiler läuft. Das zieht sich ja wie ein roter Faden durch den Thread. Bemerkenswert finde ich vor allem, wie wenig die Generierung bei langem Kontext einbricht: von 35,6 auf 28,4 t/s bei 95k Tokens. Der Q4_0-KV-Cache dürfte der Schlüssel sein, damit 128k überhaupt in die 20 GB passen.
Ergänzung ()
Vitalis. schrieb:
Statt 30 von 48 Layern auf die GPU zu legen, kannst du die Expert-Gewichte auf der CPU lassen. […] Würde mich interessieren, was das bei dir unter Vulkan bringt.
Super Tipp, danke! Gemessen unter Vulkan (v2.73.0, Flash Attention an), Qwen3-Coder 30B-A3B Q4_K_M, alle 48 Layer auf der GPU und unterschiedlich viele Experten-Layer auf der CPU (LM Studio: „Number of layers for which to force MoE weights onto CPU“):
Bisher, 30/48 Layer auf GPU (LM-Studio-Vorschlag): 23,9 t/s
Alle 48 Experten-Layer auf der CPU: 15,1 t/s
14 Experten-Layer auf der CPU: 35,1 t/s (35,5 / 35,0 / 35,0)
10 Experten-Layer auf der CPU: 31,5 t/s
Mit 14 also fast 50 % schneller als vorher. Auch der lange Prompt (~4.600 Token Code) profitiert: erstes Token nach 10,0 s statt 13,4 s, danach 31,9 t/s.
Alles auf die CPU bremst bei meinem Ryzen 7 3700X mit DDR4 zu stark, und mit nur 10 Layern auf der CPU läuft vermutlich der VRAM über. Achtung: Die Speicherschätzung im Ladedialog berücksichtigt die Einstellung nicht und zeigt weiter 18,5 GB an. Also ausprobieren statt der Schätzung vertrauen.
@LocalAI Danke fürs Nachmessen, fast 50 % mehr ist ein schönes Ergebnis. Dass es mit 10 Layern auf der CPU wieder langsamer wird, passt zu deiner Vermutung. Sobald der VRAM knapp wird, lagert der Treiber in den geteilten Systemspeicher aus, und das kostet mehr als ein paar zusätzliche Experten auf der CPU.
Mit 12 oder 13 Layern liegst du vermutlich noch knapp unter der Grenze. Und für den langen Code-Prompt kann eine größere Batch-Größe beim Laden helfen, wenn danach noch etwas VRAM frei ist.
Wie viel VRAM zeigt der Taskmanager bei 14 Layern unter Last an?