Den Benchmark hab ich mit Claude für mich gebaut. Allerdings hab ich nach 30 Jahren erstmals kein Windowssystem mehr zum Testen. Claude denkt, dass das von Claude angepasste Programm auf Windows läuft.
Meine Empfehlung: Gib ausführbare Dateien, die du aus unbekannter Quelle aus dem Netz lädst, erstmal einem LLM deiner Wahl und frage, ob es Sicherheitsprobleme sieht: auch bei diesen Dateien.
Der Benchmark misst gleich etliche Sachen auf einmal:
1. Prefill
2. Decode
3. beides auch im Batchprozess, also mehreren Anfragen parallel
4. Korrektheit der Antworten (weil schnell und falsch auch nichts bringt)
5. Mit und ohne Reasoning
6. Eigenangabe Stromverbrauch der Karte(n)
Es ist also nicht nur ein Geschwindigkeitsbenchmark, sondern auch ein Fähigkeitenbenchmark. Ein schnelles Modell, das falsch antwortet, ist weniger brauchbar als ein langsames mit korrekten Antworten. SHA256 zur Prüfung des ZIP: 8859d6713fb35a2436e565cc0d064a3af203287bf45ce4a741b892f9863fed6d
Ich habe zwei Systeme getestet.
infernix: Version bbc2771c, Qwen3.8-Flash-Next NVFP4 Dense8, RTX 5090 400W an PCIe 4.0 x4, 62 GB DDR-8400 RAM, Experten 42 GiB im RAM, Kontext 131072, 2 Plätze.
Strata: v0.1.42, Qwen3.8-Flash-Next UD-Q4_K_XL, 2× RTX 3090 Ti (300 W je Karte), 128 GB RAM, Kontext 262144, 2 Plätze.
Je Stufe 16 Anfragen (gleiches Anfragenpaket und gleicher Fahrplan), Stufen 1 bis 3 nicht gemessen (Stufen 1 bis 3 schicken nur 1 bis 4 Anfragen pro Minute und sind für sehr langsame Systeme gedacht. Da sind die meisten Anfragen fertig, bevor die nächste kommt. Die Stufen 1 bis 3 messen deshalb fast dasselbe wie die Einzelmessung, dauern aber am längsten: allein Stufe 1 braucht 16 Minuten, weil nur eine Anfrage pro Minute kommt. GEMESSEN bei infernix: Schon in Stufe 4 war im Mittel nur etwa eine Anfrage gleichzeitig offen (0,98, kurz bis zu 4).). "Richtig" prüft nur die Endantwort (Zahl, kurzer Text, JSON). Unterschiedliche Hardware und Quantisierung: Das ist ein Vergleich ganzer Systeme, nicht der Server-Programme allein.
Noch nicht implementiert sind richtig große Prompts, denen auch lange Outputs folgen.
Mein Testfazit: Eine über PCIe4 4x angebundene RTX 5090 mit Infernix und 64 GB sehr schnellem RAM ist doppelt so effizient wie 2x3090 Ti und 128 GB fast halb so langsamen RAM mit Strata und kann deutlich mehr parallele Anfragen abarbeiten, obwohl sie 25% weniger VRAM und nur halb soviel RAM hat. Das könnte darauf hindeuten, dass die RAM-Geschwindigkeit relevanter ist als die RAM-Größe.
Qwen3.8-Flash-Next: infernix (1× RTX 5090) gegen Strata (2× RTX 3090 Ti)
1. Prefill: Einlesen des Prompts (eine Anfrage allein)
| Prompt-Länge | infernix | Strata |
|---|
| kurz (~150 Tokens) | 0,8 s | 1,4 s |
| mittel (~8.200 Tokens) | 7,8 s (1.060 Tokens/s) | 5,9 s (1.400 Tokens/s) |
| lang (~66.000 Tokens) | 29,5 s (2.230 Tokens/s) | 27,2 s (2.410 Tokens/s) |
2. Decode: Schreiben der Antwort (Tokens/s, Denken aus / an)
| infernix | Strata |
|---|
| eine Anfrage allein | 61 / 58 | 63 / 73 |
| je Anfrage bei 16 Anfragen/min | 41 / 40 | 37* / 47* |
| alle Anfragen zusammen bei 16 Anfragen/min | 25 / 37 | 25* / 26* |
3. Korrektheit und Belastbarkeit (Denken aus / an)
| infernix | Strata |
|---|
| richtig, eine Anfrage allein | 100 % / 100 % | 100 % / 100 % |
| richtig bei 16 Anfragen/min | 100 % / 100 % | 69 %* / 56 %* |
| richtige Antworten pro Minute (höchster Wert) | 11,5 / 8,9 | 8,8 / 7,7 |
| Kapazität (höchste gut geschaffte Last) | ≥ 64 / ≥ 32 Anfragen/min | ≥ 8 / unter 8 Anfragen/min |
4. Stromverbrauch (alle Grafikkarten zusammen)
| infernix | Strata |
|---|
| Leistung bei einer Anfrage (Mittel) | 175 W | 390 W |
| Leistung, höchster Wert | 293 W | 594 W |
| Energie je 100 richtige Antworten, eine Anfrage allein (aus / an) | 36 / 41 Wh | 73 / 84 Wh |
| Energie je 100 richtige Antworten, 16 Anfragen/min (aus / an) | 27 / 34 Wh | 96* / 134* Wh |
* = überlastet: ein Teil der Anfragen blieb ohne Antwort.
___________________________________________________
@Jan Das wär dann auch der Benchmark, den ich dir vor einigen Wochen anbot. Man kriegt da noch deutlich detailliertere Daten heraus, die ich jedoch noch nicht auf Wiederholbarkeit validiert habe. z.B.
Qwen3.8-Flash-Next, Denken aus
| Stufe | infernix: richtig | infernix: Tokens/s gesamt | infernix: Tokens/s je Anfrage | Strata: richtig | Strata: Tokens/s gesamt | Strata: Tokens/s je Anfrage |
|---|
| Einzelmessung | 100 % | 20 | 61 | 100 % | 27 | 63 |
| 4 (8 Anfragen/min) | 100 % | 13 | 42 | 100 % | 16 | 52 |
| 5 (16 Anfragen/min) | 100 % | 25 | 41 | 69 % (überlastet) | 25 | 37 |
| 6 (32 Anfragen/min) | 100 % | 25 | 43 | – | – | – |
| 7 (64 Anfragen/min) | 100 % | 27 | 49 | – | – | – |
Kapazität: infernix mindestens Stufe 7, Strata mindestens Stufe 4.
Qwen3.8-Flash-Next, Denken an
| Stufe | infernix: richtig | infernix: Tokens/s gesamt | infernix: Tokens/s je Anfrage | Strata: richtig | Strata: Tokens/s gesamt | Strata: Tokens/s je Anfrage |
|---|
| Einzelmessung | 100 % | 31 | 58 | 100 % | 34 | 73 |
| 4 (8 Anfragen/min) | 100 % | 25 | 45 | 88 % | 24 | 54 |
| 5 (16 Anfragen/min) | 100 % | 37 | 40 | 56 % (überlastet) | 26 | 47 |
| 6 (32 Anfragen/min) | 100 % | 36 | 40 | – | – | – |
| 7 (64 Anfragen/min) | 100 % | 37 | 42 | – | – | – |
Kapazität: infernix mindestens Stufe 6, Strata unter Stufe 4.
___________________________________________________________________________
@Jan Das wär dann auch der Benchmark, den ich dir vor einigen Wochen anbot.
infernix (1× RTX 5090), Qwen3.8-Flash-Next, Denken aus
| Einzelmessung | Stufe 4 | Stufe 5 | Stufe 6 | Stufe 7 |
|---|
| Anfragen/min | einzeln | 8 | 16 | 32 | 64 |
| Anfragen | 16 | 16 | 16 | 16 | 16 |
| Richtig | 100 % | 100 % | 100 % | 100 % | 100 % |
| Nicht richtig (Grund) | – | – | – | – | – |
| Richtige/min | 8,0 | 5,5 | 11,0 | 11,5 | 11,1 |
| Tokens/s gesamt | 20,4 | 13,4 | 25,2 | 25,0 | 27,2 |
| Tokens/s je Anfrage | 61,4 | 41,8 | 41,4 | 42,9 | 49,3 |
| Erstes Token s (Median / 95 %) | 0,8 / 32,2 | 1,0 / 26,7 | 13,8 / 29,4 | 3,5 / 42,4 | 24,4 / 77,1 |
| Erste Antwort s (Median / 95 %) | 0,8 / 32,2 | 1,0 / 26,7 | 13,8 / 29,4 | 3,5 / 42,4 | 24,4 / 77,1 |
| Dauer s (Median / 95 %) | 6,6 / 32,6 | 6,0 / 32,1 | 20,3 / 44,7 | 8,2 / 44,9 | 26,7 / 77,5 |
| Gleichzeitig offen (Spitze / Mittel) | 1 / 1,0 | 4 / 1,0 | 8 / 3,4 | 5 / 2,5 | 14 / 5,7 |
| Prompt-Tokens (Median) | 158 | 157 | 156 | 156 | 156 |
| Leistung W (Mittel / Spitze) | 172 / 224 | 125 / 293 | 181 / 254 | 186 / 291 | 188 / 239 |
| Energie Wh | 5,7 | 6,0 | 4,4 | 4,3 | 4,5 |
| Energie Wh je 100 Richtige | 35,5 | 37,2 | 27,4 | 27,0 | 27,9 |
| GPU-Auslastung % (Mittel) | 92 | 48 | 87 | 95 | 95 |
| VRAM MiB (Spitze) | 31659 | 31551 | 31551 | 31551 | 31533 |
| Überlastet | nein | nein | nein | nein | nein |
Kapazität: mindestens Stufe 7 (64 Anfragen/min). Kennzeichen: unter_empfehlung, profil_widerspruch.
infernix (1× RTX 5090), Qwen3.8-Flash-Next, Denken an
| Einzelmessung | Stufe 4 | Stufe 5 | Stufe 6 | Stufe 7 |
|---|
| Anfragen/min | einzeln | 8 | 16 | 32 | 64 |
| Anfragen | 16 | 16 | 16 | 16 | 16 |
| Richtig | 100 % | 100 % | 100 % | 100 % | 100 % |
| Nicht richtig (Grund) | – | – | – | – | – |
| Richtige/min | 7,3 | 5,4 | 8,9 | 8,7 | 8,5 |
| Tokens/s gesamt | 30,7 | 24,7 | 37,0 | 35,9 | 37,4 |
| Tokens/s je Anfrage | 57,5 | 45,4 | 39,9 | 39,5 | 42,0 |
| Erstes Token s (Median / 95 %) | 0,8 / 29,5 | 4,2 / 29,6 | 24,0 / 35,0 | 11,9 / 68,0 | 38,6 / 99,8 |
| Erste Antwort s (Median / 95 %) | 4,1 / 31,3 | 8,2 / 34,6 | 29,6 / 40,3 | 16,6 / 69,5 | 41,8 / 101,7 |
| Dauer s (Median / 95 %) | 6,3 / 31,6 | 11,8 / 38,1 | 32,0 / 41,2 | 21,0 / 69,7 | 43,3 / 103,8 |
| Gleichzeitig offen (Spitze / Mittel) | 1 / 1,0 | 4 / 1,4 | 9 / 4,6 | 8 / 3,7 | 14 / 6,7 |
| Prompt-Tokens (Median) | 156 | 155 | 154 | 154 | 154 |
| Leistung W (Mittel / Spitze) | 178 / 276 | 142 / 260 | 185 / 261 | 183 / 250 | 186 / 253 |
| Energie Wh | 6,5 | 7,0 | 5,5 | 5,6 | 5,7 |
| Energie Wh je 100 Richtige | 40,8 | 43,8 | 34,2 | 35,1 | 35,9 |
| GPU-Auslastung % (Mittel) | 94 | 63 | 95 | 95 | 95 |
| VRAM MiB (Spitze) | 31533 | 31551 | 31551 | 31551 | 31551 |
| Überlastet | nein | nein | nein | nein | nein |
Kapazität: mindestens Stufe 6 (32 Anfragen/min). Kennzeichen: unter_empfehlung, profil_widerspruch.
Strata (2× RTX 3090 Ti), Qwen3.8-Flash-Next, Denken aus
| Einzelmessung | Stufe 4 | Stufe 5 |
|---|
| Anfragen/min | einzeln | 8 | 16 |
| Anfragen | 16 | 16 | 16 |
| Richtig | 100 % | 100 % | 69 % |
| Nicht richtig (Grund) | – | – | 5× ohne_inhalt |
| Richtige/min | 8,8 | 5,6 | 7,1 |
| Tokens/s gesamt | 26,6 | 16,1 | 25,0 |
| Tokens/s je Anfrage | 63,2 | 52,1 | 37,3 |
| Erstes Token s (Median / 95 %) | 1,5 / 27,2 | 2,6 / 28,4 | 2,4 / 28,5 |
| Erste Antwort s (Median / 95 %) | 1,5 / 27,2 | 2,6 / 28,4 | 2,4 / 28,5 |
| Dauer s (Median / 95 %) | 5,7 / 27,5 | 8,4 / 31,7 | 10,8 / 40,9 |
| Gleichzeitig offen (Spitze / Mittel) | 1 / 1,0 | 4 / 1,1 | 7 / 2,5 |
| Prompt-Tokens (Median) | 158 | 157 | 156 |
| Leistung W (Mittel / Spitze) | 387 / 590 | 306 / 594 | 413 / 593 |
| Energie Wh | 11,6 | 14,5 | 10,6 |
| Energie Wh je 100 Richtige | 72,8 | 90,9 | 96,2 |
| GPU-Auslastung % (Mittel) | 61 | 39 | 65 |
| VRAM MiB (Spitze) | 48110 | 48112 | 48112 |
| Überlastet | nein | nein | ja |
Kapazität: mindestens Stufe 4 (8 Anfragen/min). Kennzeichen: unter_empfehlung, ueberlastet, profil_widerspruch.
Strata (2× RTX 3090 Ti), Qwen3.8-Flash-Next, Denken an
| Einzelmessung | Stufe 4 | Stufe 5 |
|---|
| Anfragen/min | einzeln | 8 | 16 |
| Anfragen | 16 | 16 | 16 |
| Richtig | 100 % | 88 % | 56 % |
| Nicht richtig (Grund) | – | 2× ohne_inhalt | 7× ohne_inhalt |
| Richtige/min | 7,7 | 4,8 | 5,7 |
| Tokens/s gesamt | 33,9 | 24,3 | 25,7 |
| Tokens/s je Anfrage | 72,6 | 54,0 | 46,6 |
| Erstes Token s (Median / 95 %) | 1,4 / 27,2 | 4,2 / 30,6 | 14,3 / 28,8 |
| Erste Antwort s (Median / 95 %) | 4,5 / 28,9 | 10,3 / 35,1 | 20,3 / 49,2 |
| Dauer s (Median / 95 %) | 5,9 / 29,3 | 10,9 / 37,1 | 17,3 / 49,6 |
| Gleichzeitig offen (Spitze / Mittel) | 1 / 1,0 | 4 / 1,3 | 8 / 3,7 |
| Prompt-Tokens (Median) | 156 | 161 | 165 |
| Leistung W (Mittel / Spitze) | 389 / 576 | 332 / 589 | 455 / 592 |
| Energie Wh | 13,4 | 16,1 | 12,0 |
| Energie Wh je 100 Richtige | 83,7 | 114,6 | 133,8 |
| GPU-Auslastung % (Mittel) | 61 | 45 | 78 |
| VRAM MiB (Spitze) | 48112 | 48114 | 48114 |
| Überlastet | nein | nein | ja |
Kapazität: unter Stufe 4 (8 Anfragen/min). Kennzeichen: unter_empfehlung, ueberlastet, profil_widerspruch.