Moin zusammen,
ich habe meine Gigabyte RX 9060 XT (16 GB) mit LM Studio unter Windows durchgemessen, weil ich kaum Zahlen zu RDNA4 und lokaler KI gefunden habe. Vielleicht hilft es dem einen oder anderen.
System: Ryzen 7 3700X, 32 GB RAM, Windows, LM Studio 0.4.18, Runtimes Vulkan und ROCm llama.cpp v2.72 (ROCm teils schon 2.73). Kontext 4096, GPU-Offload maximal, gleicher Prompt (ca. 300 Wörter), je 3 Läufe, Durchschnitt.
Was mir aufgefallen ist:
Falls jemand mit RX 9070 (XT) oder 7800 XT vergleichbare Werte hat: gerne her damit.
ich habe meine Gigabyte RX 9060 XT (16 GB) mit LM Studio unter Windows durchgemessen, weil ich kaum Zahlen zu RDNA4 und lokaler KI gefunden habe. Vielleicht hilft es dem einen oder anderen.
System: Ryzen 7 3700X, 32 GB RAM, Windows, LM Studio 0.4.18, Runtimes Vulkan und ROCm llama.cpp v2.72 (ROCm teils schon 2.73). Kontext 4096, GPU-Offload maximal, gleicher Prompt (ca. 300 Wörter), je 3 Läufe, Durchschnitt.
| Modell | Quant | Vulkan (tok/s) | ROCm (tok/s) |
|---|---|---|---|
| gpt-oss 20B | MXFP4 | 87,3 | 66,5 |
| Mistral 7B Instruct v0.3 | Q4_K_M | 62,7 | 51,9 |
| Gemma 4 12B QAT | Q4_0 | 37,8 | 29,5 |
| Qwen3-Coder 30B-A3B (30/48 Layer auf GPU) | Q4_K_M | 23,9 | 20,2 |
| Mistral Small 3.2 24B | Q4_K_M | 19,6 | 15,6 |
Was mir aufgefallen ist:
- Vulkan war bei allen fünf Modellen 19–31 % schneller als ROCm. Dazu hat ROCm teils lange gebraucht, bis das erste Token kam (Gemma 4: bis ca. 30 s).
- gpt-oss 20B ist der Überflieger: 87 tok/s und passt komplett in die 16 GB.
- Mistral Small 24B: LM Studio schlägt beim Laden nur 31 von 40 Layern auf der GPU vor, das ergibt 7,7 tok/s. Manuell alle 40 Layer und Kontext 4096: 19,6 tok/s. Es lohnt sich, den Offload-Regler selbst anzufassen.
- Qwen3-Coder 30B-A3B (18,6 GB) läuft trotz Teil-Offload mit rund 24 tok/s, MoE sei Dank.
- Deutsch: Mistral Small klar am besten, Gemma 4, gpt-oss und Qwen3-Coder gut, Mistral 7B schwach.
Falls jemand mit RX 9070 (XT) oder 7800 XT vergleichbare Werte hat: gerne her damit.