RX 9060 XT 16 GB + LM Studio unter Windows: 5 Modelle gemessen, Vulkan schlägt ROCm deutlich

LocalAI

Cadet 1st Year
Registriert
Nov. 2026
Beiträge
10
Moin zusammen,

ich habe meine Gigabyte RX 9060 XT (16 GB) mit LM Studio unter Windows durchgemessen, weil ich kaum Zahlen zu RDNA4 und lokaler KI gefunden habe. Vielleicht hilft es dem einen oder anderen.

System: Ryzen 7 3700X, 32 GB RAM, Windows, LM Studio 0.4.18, Runtimes Vulkan und ROCm llama.cpp v2.72 (ROCm teils schon 2.73). Kontext 4096, GPU-Offload maximal, gleicher Prompt (ca. 300 Wörter), je 3 Läufe, Durchschnitt.

ModellQuantVulkan (tok/s)ROCm (tok/s)
gpt-oss 20BMXFP487,366,5
Mistral 7B Instruct v0.3Q4_K_M62,751,9
Gemma 4 12B QATQ4_037,829,5
Qwen3-Coder 30B-A3B (30/48 Layer auf GPU)Q4_K_M23,920,2
Mistral Small 3.2 24BQ4_K_M19,615,6

Was mir aufgefallen ist:
  • Vulkan war bei allen fünf Modellen 19–31 % schneller als ROCm. Dazu hat ROCm teils lange gebraucht, bis das erste Token kam (Gemma 4: bis ca. 30 s).
  • gpt-oss 20B ist der Überflieger: 87 tok/s und passt komplett in die 16 GB.
  • Mistral Small 24B: LM Studio schlägt beim Laden nur 31 von 40 Layern auf der GPU vor, das ergibt 7,7 tok/s. Manuell alle 40 Layer und Kontext 4096: 19,6 tok/s. Es lohnt sich, den Offload-Regler selbst anzufassen.
  • Qwen3-Coder 30B-A3B (18,6 GB) läuft trotz Teil-Offload mit rund 24 tok/s, MoE sei Dank.
  • Deutsch: Mistral Small klar am besten, Gemma 4, gpt-oss und Qwen3-Coder gut, Mistral 7B schwach.

Falls jemand mit RX 9070 (XT) oder 7800 XT vergleichbare Werte hat: gerne her damit.
 
  • Gefällt mir
Reaktionen: herrStreusalz, PiraniaXL, futzi und eine weitere Person
Moin! Mein System ist leicht aktueller und stärker mit einem 5800X, 9070XT und 64GB RAM. Wenn Du willst, teile gerne mal deine Prompts und wenn ich Zeit finde mache ich dieselben Tests wie Du. :)
 
Moin und danke, das wäre klasse! Gerade der Vergleich mit der 9070 XT interessiert mich, die hat ja ungefähr die doppelte Speicherbandbreite. Mit 64 GB RAM dürfte bei dir auch Qwen3-Coder mit Teil-Offload entspannter laufen.

So habe ich gemessen:

Einstellungen (LM Studio):
  • Kontextlänge 4096, GPU-Offload auf Maximum (bei Qwen3-Coder 30B-A3B den Vorschlag von LM Studio, bei mir 30/48 Layer)
  • Sonst alles auf Standard, bei gpt-oss Reasoning auf „Low“ (Standard)
  • Runtime umstellen mit Strg + Umschalt + R, danach Modell neu laden
  • Jeder Lauf in einem neuen Chat, 3 Läufe pro Modell und Runtime, Durchschnitt der tok/s, die LM Studio unter der Antwort anzeigt

Prompt für die Geschwindigkeit:
Code:
Erkläre in etwa 300 Wörtern, wie eine Wärmepumpe funktioniert. Schreibe sachlich und in ganzen Sätzen.

Prompt für die Deutsch-Bewertung (Note 1–5):
Code:
Schreibe eine kurze, höfliche E-Mail an einen Mieter. Kündige an, dass am 15. des nächsten Monats zwischen 9 und 12 Uhr die Zählerstände abgelesen werden, und bitte darum, Zugang zur Wohnung zu ermöglichen. Biete an, einen anderen Termin zu finden, falls es nicht passt.

Modelle (aus der LM-Studio-Suche): openai/gpt-oss-20b (MXFP4), google/gemma-4-12b-qat (Q4_0), mistral-small-3.2-24b-instruct-2506 (Q4_K_M), qwen/qwen3-coder-30b (Q4_K_M). Mistral 7B kannst du dir sparen, das Deutsch war zu schwach.

Wäre super, wenn du deine LM-Studio- und Runtime-Versionen mit dazuschreibst, bei mir hat sich zwischendurch automatisch ROCm von 2.72 auf 2.73 aktualisiert. Bin gespannt auf deine Zahlen!
 
@0x8100 Danke für den Link, guter Punkt! Phoronix hat unter Linux mit Lemonade gemessen, unter anderem auf der R9700 (auch RDNA4). Dort hatte ROCm deutliche Vorteile bei der Zeit bis zum ersten Token, Vulkan beim Durchsatz. Der Durchsatz passt zu meinen Werten.

Meine TTFT-Werte taugen für diesen Vergleich ehrlich gesagt nicht: Mein Prompt war nur ein Satz, da misst man eher den Anlauf als die eigentliche Prompt-Verarbeitung. Wer viel Kontext reinkippt, zum Beispiel ganze Code-Dateien, ist mit ROCm also eventuell besser bedient, auch unter Windows.

Ich versuche demnächst einen zweiten Durchlauf mit einem langen Prompt (ca. 4.000 Tokens) und reiche die Zahlen für beide Runtimes nach.
 
Hallo :)

Gemma 4 12B QATQ4_065,8855,7
nur Wärmepumpe.

R9900X, 9070XT und 64 GB Ram
LM Studio 0.4.20 (build 1) alles auf v2.73.0
Nobara 44

Grüße
 
Wie versprochen der Nachtest mit langem Prompt (Python-Modul, ca. 4.600 Tokens, Kontext 8192, LM Studio 0.4.18, beide Runtimes v2.72):

ModellTTFT VulkanTTFT ROCmtok/s Vulkantok/s ROCm
gpt-oss 20B1,9 s7,7 s8346
Qwen3-Coder 30B-A3B (30/48 Layer GPU)13,4 s17,5 s11,712,1

@0x8100 Unter Windows mit LM Studio sieht es bei mir also anders aus als bei Phoronix unter Linux: Auch beim Prompt-Processing ist Vulkan vorne, bei gpt-oss sogar rund Faktor 4. Nur Qwen3-Coder mit Teil-Offload schreibt mit ROCm minimal schneller. Wer unter Linux unterwegs ist, sollte das aber selbst gegenprüfen, das scheint stark von OS und Treiber abzuhängen.
 
ich habe den Vergleich ebenfalls mit meiner AMD RX 9070 XT und LM Studio unter Windows ausprobiert.
Mein bisheriges Ergebnis mit dem Modell gpt-oss-20b-GGUF:
Ich muss auch sagen das ist Neuland für mich. :cool_alt:

Erkläre ausführlich, wie eine Grafikkarte funktioniert.
Beschreibe Speicher, Recheneinheiten und Datenverarbeitung.
Vulkan llama.cpp: 13 Sekunden
ROCm llama.cpp: 11 Sekunden
 
Zuletzt bearbeitet:
@Bahalana Danke dir! Spannend, dass Vulkan auch unter Linux rund 18 % vorne liegt. Und die 9070 XT ist ziemlich genau 1,7× so schnell wie meine 9060 XT.
Ergänzung ()

@ZockerZentrale Danke fürs Testen! Was genau sind die 13 bzw. 11 Sekunden, die Gesamtzeit der Antwort oder die Zeit bis zum ersten Token? Am besten vergleichbar sind die Werte, die LM Studio unter jeder Antwort anzeigt: tok/s und die Uhr (Zeit bis zum ersten Token). Und welchen Prompt hast du genommen? Meine stehen weiter oben im Thread.
 
@LocalAI Das fehlte noch habe ich oben nachgetragen.

Erkläre ausführlich, wie eine Grafikkarte funktioniert.
Beschreibe Speicher, Recheneinheiten und Datenverarbeitung.
 
@ZockerZentrale Danke, super dass du mitmachst! Kleiner Haken bei der Gesamtzeit: Bei „Erkläre ausführlich …“ schreibt das Modell jedes Mal eine unterschiedlich lange Antwort. War die ROCm-Antwort kürzer, ist sie auch schneller fertig, obwohl ROCm pro Wort langsamer sein kann.

Vergleichbarer sind die Werte, die LM Studio direkt unter jeder Antwort einblendet:
  • Tok/Sek (Tacho-Symbol) = wie schnell geschrieben wird
  • Sekunden (Uhr-Symbol) = wie lange es bis zum ersten Wort dauert
Wenn du magst, poste einfach diese beiden Zahlen für Vulkan und ROCm, gern auch mit deinem Prompt. Mit der 9070 XT würde ich bei gpt-oss 20B ungefähr das 1,5- bis 2-Fache meiner 87 tok/s erwarten, bin gespannt!
 
schaut euch mal rocmfpx for lama.cpp an - gibts auch für die gfx1100 aka xt7900 usw. ich hab keine ahnung von linux usw aber chatgpt hat geholfen und die rocm optimierten builds sind verdammt fix.
 
@Rykar Danke für den Tipp! Hab mir ROCmFPX angeschaut: Soweit ich das sehe, ist das nicht nur ein schnellerer ROCm-Build, sondern ein Fork mit eigenen Quant-Formaten (ROCmFP4/ROCmFPX). Die Modelle müssen extra in diesem Format vorliegen und laden laut den Modellkarten nicht in LM Studio, Ollama oder normalem llama.cpp. Ein Teil des Tempos dürfte also vom kleineren Format kommen, nicht nur von ROCm.

Mich würde interessieren: Welches Modell und welche Quantisierung hast du genutzt, und wie viele Tok/s schaffst du damit im Vergleich zum gleichen Modell als normales Q4_K_M unter Vulkan? Dann sieht man, wie viel vom Backend und wie viel vom Format kommt.

Für meinen Test bleibe ich bei LM Studio unter Windows, weil das die Zielgruppe des Threads ist. Ein Linux-Vergleich mit dem Fork wäre aber ein spannender eigener Beitrag.
 
LocalAI schrieb:
Vulkan war bei allen fünf Modellen 19–31 % schneller als ROCm. Dazu hat ROCm teils lange gebraucht, bis das erste Token kam (Gemma 4: bis ca. 30 s).
Interessantes Thema, was Du aufbringst, ich bin bisher ohne Prüfung davon ausgegangen das ROCm besser ist. Habe eben nun mal selber einen kurzen "Smoke Test" mit meiner RX7700XT (also RDNA3) und Gemma 4 12B Q4_l_M (nicht Gemma 4 12B QAT, das kann ich aber alternativ auch mal testen) gemacht.

Ich habe aber nicht Deine Testprompts genommen, sondern es in einer laufenden Session, die ich eh gerade offen hatte, eingesetzt. Daher ich heute da schon eine längere Konversation laufen hatte, konnte ich da einfach umschalten.

Bezüglich Output in token/s nahmen sich ROCm und Vulkan (beide Version 2.73.0) nichts, die Outputs schwanken zwischen 33 und 38 Token/s.

Beim Prefill (Prompt Processing) hatte ich den Eindruck das Vulkan eher langsamer als ROCm war.

Wichtig in diesem Zusammenhang: Unbedingt "Flash Attention" einstellen, zumindest bei Gemma und Qwen werden dadurch die Prefill Zeiten massiv kürzer, ich bekomme mit ROCm oft Zeiten bis zum "First Output" von unter 5 Sekunden. Ohne Flash Attention hatte ich oft auch sehr lange Prefills.
1794763885572.png


K/V Quantization habe ich mit experimentiert, da habe ich bisher keine eindeutigen Ergebnisse.
 
TomH22 schrieb:
Bezüglich Output in token/s nahmen sich ROCm und Vulkan (beide Version 2.73.0) nichts, die Outputs schwanken zwischen 33 und 38 Token/s.
[…]
Wichtig in diesem Zusammenhang: Unbedingt "Flash Attention" einstellen, zumindest bei Gemma und Qwen werden dadurch die Prefill Zeiten massiv kürzer […]
Danke für den Test und vor allem für den Flash-Attention-Hinweis! Dein Ergebnis passt zu dem, was 0x8100 und Phoronix zeigen: Bei der Ausgabegeschwindigkeit liegen ROCm und Vulkan praktisch gleichauf, beim Prefill hat ROCm eher die Nase vorn.

Ob Flash Attention bei meinen Messungen an war, prüfe ich gerade nach. Falls nicht oder nicht bei beiden Runtimes gleich, wäre mein Ergebnis beim langen Prompt (gpt-oss: Vulkan 1,9 s vs. ROCm 7,7 s bis zum ersten Token) nicht fair. Ich messe den langen Prompt deshalb noch mal mit Flash Attention bei beiden Runtimes und poste die Zahlen hier.

Falls du Lust hast: Mit Gemma 4 12B QAT und einem frischen Chat (gleicher Prompt einmal mit ROCm, einmal mit Vulkan) könnte ich deine Werte direkt neben meine in die Tabelle stellen.
Ergänzung ()

Korrektur / Nachtrag: TomH22 hatte den richtigen Riecher. LM Studio 0.4.18 schaltet Flash Attention bei der ROCm-Runtime standardmäßig aus, bei Vulkan an. Meine ROCm-Werte oben sind also alle ohne Flash Attention entstanden.

Nachgemessen mit gpt-oss 20B und dem langen Prompt (~5.000 Token):
  • Vulkan (FA an): 1,85 / 1,87 s bis zum ersten Token, 83 Tok/s
  • ROCm mit FA: 1,89 / 1,75 s, 63 Tok/s
  • ROCm ohne FA (Standard): 6,97 s, 46 Tok/s

Fazit: Mit Flash Attention ist ROCm beim Prompt-Einlesen gleichauf. Die langen Wartezeiten kamen nur von der fehlenden Flash Attention. Bei der Ausgabegeschwindigkeit bleibt Vulkan bei gpt-oss aber rund 30 % schneller.

Tipp für alle mit ROCm: Beim Laden des Modells „Show advanced settings“ einschalten und Flash Attention aktivieren. Die übrigen Modelle messe ich mit ROCm + FA noch nach und ergänze die Tabelle.
 
Zuletzt bearbeitet:
LocalAI schrieb:
Falls du Lust hast: Mit Gemma 4 12B QAT und einem frischen Chat (gleicher Prompt einmal mit ROCm, einmal mit Vulkan) könnte ich deine Werte direkt neben meine in die Tabelle stellen
Mache ich später mal.
Zur Zeit ist meine Hardware "busy" mit einem Projekt an dem ich gerade arbeite: Ich schreibe eine Anwendung für die Nutzung von lokalen Bildmodellen (hauptsächlich Flux.2) unter macOS. Ein Features dieser Anwendung ist der "Prompt Shaper", die Idee ist, ähnlich wie bei Cloud Anwendungen wie ChatGPT, mit dem Modell zu chatten und zu erklären was für ein Bild man will, oder wie man ein existierendes Bild bearbeiten will, der "Prompt Shaper" erzeugt dann einen passenden Prompt (er hat dafür spezielle interne Systemprompts, die auch modellspezifische Anweisungen zum Prompting enthalten - etwa für Flux.2 oder ZImage Turbo). Anschliessend analyisert er auch das erzeugte Bild und prüft wie gut es passt.

Gemma 4 12B hat sich für diesen Zweck als gut und schnell erwiesen, es performt bei diesen Aufgaben besser als Qwen. Es hat ja Vision Fähigkeiten, d.h es kann hochgeladene Bilder analyiseren. Da ist natürlich der Prefill/Prompt Processing sehr wichtig, denn bei dieser Anwendung werden neben der Benutzereingabe diverse Systemprompts, unter anderem auch Anweisungen für das Output Format der Antwort und das zuletzt erzeugte Bild und ggf. Referenzbilder hochgeladen.

Was mich natürlich hier auch interessiert, ist wie die RX9060XT im Vergleich zur RX7700XT abschneidet. Bei Spielen sind ja beide wohl ungefähr gleich schnell.
 
Nachtrag 2: Wie angekündigt, die übrigen Modelle mit ROCm + Flash Attention nachgemessen (Prompt A, je 3 Läufe, Tok/s):
  • gpt-oss 20B: 70,9 (ohne FA 66,5, Vulkan 87,3)
  • Gemma 4 12B QAT: 31,1 (ohne FA 29,5, Vulkan 37,8), erstes Token nach 0,2 s statt 8,5 s
  • Qwen3-Coder 30B-A3B: 20,0 (ohne FA 20,2, Vulkan 23,9)
  • Mistral Small 3.2 24B: 11,1 (ohne FA 15,6, Vulkan 19,6). Mit FA schätzt LM Studio 15,7 GB, vermutlich läuft die 16-GB-Karte dann über.

Fazit: Flash Attention bei ROCm unbedingt einschalten, das behebt die langen Wartezeiten. Beim Schreibtempo bleibt Vulkan auf meiner 9060 XT unter Windows aber rund 20 % vorn. Bei Modellen knapp an der VRAM-Grenze FA testen, es kann auch bremsen.

Danke an TomH22 für den Hinweis!
Ergänzung ()

TomH22 schrieb:
Was mich natürlich hier auch interessiert, ist wie die RX9060XT im Vergleich zur RX7700XT abschneidet.
Mit deinen Zahlen ist der Vergleich zumindest grob möglich: Du hattest mit Gemma 4 12B (Q4_K_M) auf der 7700 XT 33–38 Tok/s, ich mit Gemma 4 12B QAT (Q4_0) auf der 9060 XT 37,8 Tok/s mit Vulkan und 31,1 mit ROCm + FA. Das spricht dafür, dass beide Karten auch bei LLMs ungefähr gleichauf liegen. Mit derselben Modelldatei und einem frischen Chat wäre es dann ein sauberer Vergleich, gerne wenn deine Hardware wieder frei ist.

Für deinen Prompt Shaper mit Bildern und langen Systemprompts ist der Prefill entscheidend. Bei mir begann gpt-oss 20B mit einem Prompt von rund 4.600 Tokens nach etwa 1,8 s zu antworten, mit Vulkan und mit ROCm + FA gleich schnell.
 
LocalAI schrieb:
Qwen3-Coder 30B-A3B: 20,0 (ohne FA 20,2, Vulkan 23,9)
Das muss ich mir auch mal anschauen, bisher hatte ich mit den MoE Modellen halt meist doch eher schlechte Performance, mir ist dann nicht nur der VRAM (sind bei der RX7700XT ja nur 12GB) sondern auch der CPU RAM (32GB) übergelaufen, und mein Ryzen 5 3600 hat zwei Kerne weniger wie Deine CPU.

Anderseits war bei meinen Tests mit Coding Tasks (da habe ich pi.dev als Harness genommen) das MoE Modell wesentlich verlässlicher als ein 9B Dense Modell. Aber beide waren dann doch zu unzuverlässig für meine Zwecke, sodass ich Coding dann doch lieber mit Cloud Modellen mache.

Für Arbeiten mit Texten (auch Texte zusammenfassen, usw.), und dazu gehört auch der Prompt Shaper sind hingegen die 9B-12B Modelle gut genug, Gemma 4 12B kann vor allem besser Deutsch als Qwen.

Die Gemma 4 Modelle sind für mich die ersten kleinen Modelle deren Output sich "erwachsen" anhört. gpt-oss-20b und Mistral produzieren gerne mal eloquent klingenden Quatsch.

Für Coding sind sie aber eher ungeeignet.

Hier mal Messdaten aus einer Unterhaltung in meinen Prompt Shaper:
1794771718753.png


Beim Input ist eben ein 768x960 Pixel großes Bild dabei und eben die Skill und diverse System Anweisungen. Ich bin mir nicht sicher, ob Reasoning auch Input Tokens füllt.

BTW: Zum Thema Reasoning mit kleinen Modellen: Die Ergebnisse damit sind durchwachsen, teilweise verfangen sich die kleinen Modelle, sowohl Qwen als auch Gemma in Denkschleifen, die ewig dauern (im Extremfall auch mal quasi endlos), ob das Ergebnis wirklich dann besser wird, ist fraglich.
 
LocalAI schrieb:
@Rykar Danke für den Tipp! Hab mir ROCmFPX angeschaut: Soweit ich das sehe, ist das nicht nur ein schnellerer ROCm-Build, sondern ein Fork mit eigenen Quant-Formaten (ROCmFP4/ROCmFPX). Die Modelle müssen extra in diesem Format vorliegen und laden laut den Modellkarten nicht in LM Studio, Ollama oder normalem llama.cpp. Ein Teil des Tempos dürfte also vom kleineren Format kommen, nicht nur von ROCm.

Mich würde interessieren: Welches Modell und welche Quantisierung hast du genutzt, und wie viele Tok/s schaffst du damit im Vergleich zum gleichen Modell als normales Q4_K_M unter Vulkan? Dann sieht man, wie viel vom Backend und wie viel vom Format kommt.

Für meinen Test bleibe ich bei LM Studio unter Windows, weil das die Zielgruppe des Threads ist. Ein Linux-Vergleich mit dem Fork wäre aber ein spannender eigener Beitrag.
Ich hab eine 7900 XT mit 20 GB, ich lasse
Qwen3.8-27B-abliterated-Q4_ROCmFPX_FAST.gguf mit mmproj für visuelle verarbeitung auf https://github.com/charlie12345/ROCmFPX für llama.cpp laufen. Für Hermes mit 65k tokens.
Der läuft dann je nach länge mit 30-35 t/s. Vor allem stabil.
Lm-Studio mit rocm lief so am Speicherlimit nicht stabil - Vulkan schon - also würde ich unter windows auch Vulkan empfehlen.
Durch die aktuelle Grakasituation läuft die AMD Entwicklung aber recht gut - ich bin gespannt was da noch kommt weil mehr Hardware kaufen für ein Hobby muss gerade nicht ;D
 
TomH22 schrieb:
Hier mal Messdaten aus einer Unterhaltung in meinen Prompt Shaper: […] Ich bin mir nicht sicher, ob Reasoning auch Input Tokens füllt.
@TomH22 Danke für die Zahlen! 11.705 Input-Tokens und 5,3 s bis zur ersten Ausgabe sind ordentlich, vor allem mit Bild. Ein Vorbehalt für den Vergleich: In einer laufenden Unterhaltung hält llama.cpp den bisherigen Verlauf im Prompt-Cache, dann wird oft nur der neue Teil (Bild + neue Nachricht) wirklich eingelesen. Für einen reinen Prefill-Vergleich wäre die erste Anfrage in einer frischen Unterhaltung aussagekräftiger.
Zum Reasoning: Die Reasoning-Tokens zählen zum Output. Soweit ich weiß, schicken die Chat-Vorlagen von Gemma und Qwen die Denkblöcke früherer Antworten meist nicht erneut mit, sie sollten den Input also kaum füllen. Deine Erfahrung mit Gemma 4 kann ich bestätigen: Auf Deutsch klingt es bei mir auch natürlicher als gpt-oss.

Rykar schrieb:
Lm-Studio mit rocm lief so am Speicherlimit nicht stabil - Vulkan schon - also würde ich unter windows auch Vulkan empfehlen.
@Rykar 30–35 t/s mit einem 27B-Modell und 65k Kontext ist stark. Deine Beobachtung, dass ROCm in LM Studio am Speicherlimit instabil wird und Vulkan nicht, passt zu meinem Ausreißer: Mistral Small 24B lief mit ROCm + Flash Attention knapp an der 16-GB-Grenze nur mit 11 statt 16 t/s, mit Vulkan dagegen mit 19,6.
 
Zurück
Oben