# LLM-Durchsatz-Benchmark für Windows (Version 1.0)

Dieser Benchmark misst, wie schnell und wie richtig ein Sprachmodell auf **deinem eigenen PC** antwortet, wenn
mehrere Anfragen gleichzeitig kommen. Er ist für infernix mit Qwen3.8-Flash-Next oder Qwen3.8-27B gedacht, misst
aber jeden Server mit OpenAI-Schnittstelle (zum Beispiel llama.cpp). Alle, die dieses Paket benutzen, schicken genau
dieselben 16 Anfragen im selben Takt; deshalb lassen sich die Ergebnisse im Forum vergleichen.

**Dauer:** etwa 30 Minuten (kurz, Standard) oder 3 Stunden (voll). **Was er nicht tut:** Er öffnet keinen Port,
sendet nichts ins Internet und lädt nichts nach. Er spricht nur mit dem Server, dessen Adresse du angibst, und nur,
wenn der auf diesem PC (127.0.0.1) oder in deinem Tailscale-Netz läuft.

> **Ungeprüft unter Windows:** Das Paket wurde auf macOS und Linux getestet (auch mit nachgestelltem
> Windows-Verhalten), aber noch nie auf einem echten Windows-PC. Bitte melde Fehler im Forum, mit dem Text aus dem
> Fenster (vorher den Schlüssel herauslöschen, siehe unten).

Diese Anleitung gibt es zweimal: als `.md` und als `.txt` (die `.txt` öffnet sich per Doppelklick im Editor).

## Was du brauchst

- Windows 10 oder 11, eine NVIDIA-Grafikkarte mit aktuellem Treiber (für infernix: RTX 50xx, Treiber 580 oder neuer).
- infernix (Windows-Release) und ein Modell.
- Python 3.11 oder neuer (Schritt 3 zeigt, wie).
- Etwa 1 GB freien Platz für die Ergebnisse.

Die Befehle unten tippst du in **PowerShell**: Startmenü öffnen, `PowerShell` eintippen, Enter. Eine Zeile kopieren,
im PowerShell-Fenster mit **Strg+V** einfügen, Enter.

Hinweis zu Windows: Der Explorer blendet Dateiendungen oft aus; dann heißen die Dateien `benchmark-starten` und
`infernix-starten` (ohne `.cmd`). Unter Windows 11 steht "Bearbeiten" im Rechtsklick-Menü unter
**Weitere Optionen anzeigen**.

## Schritt 1: Download prüfen

Im Forum steht neben dem Download eine Prüfsumme (SHA256). So zeigst du die Prüfsumme deiner Datei an (liegt sie
nicht im Ordner Downloads, den Pfad anpassen):

    (Get-FileHash -Algorithm SHA256 "$env:USERPROFILE\Downloads\llm-durchsatz-benchmark-1.0.zip").Hash.ToLower()

Die ausgegebene Zeichenfolge muss **genau** der im Forum entsprechen. Wenn nicht: Datei löschen, nicht entpacken
(jemand könnte sie verändert haben).

Danach Windows sagen, dass die Datei in Ordnung ist. So fragt es später nicht bei jeder Datei nach:

    Unblock-File "$env:USERPROFILE\Downloads\llm-durchsatz-benchmark-1.0.zip"

## Schritt 2: Entpacken

Rechtsklick auf die ZIP-Datei, **Alle extrahieren**, als Ziel `C:\benchmark` eintragen. Danach liegen die Dateien
in `C:\benchmark\llm-durchsatz-benchmark-1.0\`; das ist der Ordner, in dem `benchmark-starten.cmd` steht.
Bitte nicht direkt im ZIP-Fenster doppelklicken, das funktioniert nicht.

## Schritt 3: Python installieren (einmalig)

    winget install -e --id Python.Python.3.13 --source winget

Windows fragt dabei, ob die Installation Änderungen vornehmen darf: mit **Ja** bestätigen. Danach PowerShell
**schließen und neu öffnen** und prüfen:

    py -3 --version

Es muss `Python 3.11` oder höher erscheinen.

Ohne winget ("winget wurde nicht erkannt"): auf https://www.python.org/downloads/ den Installer für **Windows 64-bit**
laden, starten, die Haken bei **py launcher** und **Add python.exe to PATH** gesetzt lassen, installieren.

## Schritt 4: Schlüssel erzeugen (empfohlen)

Ein Schlüssel schützt infernix davor, dass andere Programme oder Webseiten in deinem Browser es benutzen. Erzeugen
(ergibt 48 Zeichen aus Ziffern und a bis f):

    $b = New-Object byte[] 24; [Security.Cryptography.RandomNumberGenerator]::Create().GetBytes($b); -join ($b | ForEach-Object { $_.ToString('x2') })

Die Zeichenfolge mit der Maus markieren und mit **Strg+C** kopieren; du brauchst sie in Schritt 5 und 6.

**Wichtig:** Den Schlüssel nie im Forum posten. Er steht in `infernix-starten.cmd` auf deinem PC und, solange
infernix läuft, in der Prozessliste (infernix nimmt ihn nur so an). Bevor du Text oder Bilder aus dem Fenster
postest, den Schlüssel herauslöschen; im Zweifel einen neuen erzeugen.

## Schritt 5: infernix starten

1. Rechtsklick auf `infernix-starten.cmd`, **Bearbeiten** (öffnet den Editor).
2. Zwischen `HIER ANPASSEN` und `ENDE` eintragen. **Pfade ohne Umlaute, Sonderzeichen und Ausrufezeichen**, zum
   Beispiel `D:\modelle` (sonst findet Windows die Dateien nicht):
   - `INFERNIX`: Pfad zu deiner `infernix-serve.exe`.
   - `MODELLART`: `flash-next` oder `27b`.
   - `MODELL` und (nur Flash Next) `NGRAM`: Pfade zu den Modelldateien.
   - `EXPERTEN_RAM_MIB` (nur Flash Next): wie viel Arbeitsspeicher die Experten bekommen.
     - `auto` (Standard): infernix nimmt, was beim Start frei ist. Mit etwa **73 GB freiem RAM** liegen alle
       Experten im RAM (am schnellsten).
     - Eine Zahl in MiB, wenn du weniger geben willst. Freien RAM zeigt dieser Befehl in GB:

           [math]::Round((Get-CimInstance Win32_OperatingSystem).FreePhysicalMemory/1MB,1)

       Faustregel: (freier RAM in GB − 8) × 1024, zum Beispiel bei 60 GB frei: `53248`.
   - `SCHLUESSEL`: den Schlüssel aus Schritt 4 (oder leer lassen).
3. Speichern, Editor schließen, **Doppelklick** auf `infernix-starten.cmd`. Warten, bis im Fenster
   `listening on http://127.0.0.1:8080` steht (bei Flash Next einige Minuten). Das Fenster offen lassen.

**Nicht ins infernix-Fenster klicken.** In der klassischen Windows-Konsole hält ein Klick die Ausgabe an und kann
den Server anhalten. Hängt es doch: ins Fenster klicken und **Enter** drücken.

Die übrigen Einstellungen (2 Plätze, Kontext 131072, Warteschlange 16) bitte **nicht ändern**, sonst ist dein
Ergebnis nicht mit anderen vergleichbar.

## Schritt 6: Benchmark starten

**Doppelklick** auf `benchmark-starten.cmd`. Der Assistent fragt nacheinander; meist reicht Enter für den Vorschlag:

| Frage | Antwort |
|---|---|
| Adresse des Servers | Enter (`http://127.0.0.1:8080`) |
| Schlüssel | den aus Schritt 4 mit Strg+V einfügen, Enter; er wird nicht angezeigt |
| Modell | Enter (der Name kommt vom Server) |
| Server und Version | zum Beispiel `infernix windows-2026.10.11` |
| Arbeitsspeicher des PCs in GB | zum Beispiel `96` |
| Experten-RAM | derselbe Wert wie `EXPERTEN_RAM_MIB` in Schritt 5 |
| Kontext, Plätze | Enter |
| Umfang | Enter (`kurz`); bei langsamen PCs `voll` (siehe unten) |

**kurz oder voll?** `kurz` misst 8, 16, 32 und 64 Anfragen pro Minute (Stufen 4 bis 7) und reicht für PCs, die eine
Antwort in einigen Sekunden schreiben. Braucht dein PC für eine Antwort eine Minute oder länger (zum Beispiel, weil
Teile des Modells von der SSD kommen), wähle `voll`: Dann misst der Benchmark zusätzlich 1, 2 und 4 Anfragen pro
Minute (Stufen 1 bis 3). Steht im Bericht nach `kurz` "unter Stufe 4", zeigt erst ein Lauf mit `voll`, was der PC
schafft.

Dann misst er zwei Läufe: **Denken aus** und **Denken an**. Währenddessen:

- Nichts anderes auf der Grafikkarte laufen lassen (keine Spiele, kein zweites Modell).
- Der Benchmark bittet Windows, nicht in den Ruhezustand zu gehen. Bei einem Laptop das Netzteil anschließen und
  den Deckel offen lassen.
- Nicht über die Zeitumstellung messen (Nacht zum 25.10.2026, 3 Uhr): das Messlog verträgt den Zeitsprung nicht.
- **Strg+C** bricht ab (das kann bis zu 15 Sekunden dauern). Fragt Windows danach "Batchvorgang abbrechen (J/N)?",
  **N** eingeben, dann bleibt das Fenster mit den Meldungen offen.

## Schritt 7: Ergebnis ansehen und teilen

Am Ende stehen die Pfade der Berichte im Fenster. Den Ordner öffnen:

    explorer "$env:USERPROFILE\llm-durchsatz\laeufe"

Je Lauf gibt es einen Ordner mit `lauf.md` (der Bericht, eine Tabelle je Laststufe), `ergebnis.json` (dieselben
Zahlen für Programme) und `messpunkte.jsonl` (jede einzelne Anfrage). Zum Teilen im Forum reicht **`lauf.md`** beider
Läufe (Rechtsklick, Öffnen mit, Editor).

Steht im Fenster "Für diesen Lauf gibt es noch keinen Bericht", steht darunter eine Zeile, mit der du den Bericht
nachreichst: sie in PowerShell kopieren und ausführen.

**So liest du den Bericht:** Jede Zeile ist eine Laststufe (Anfragen pro Minute). Wichtig sind **Richtig** (Anteil
richtiger Antworten), **Richtige/min**, **Tokens/s gesamt** (alle Antworten zusammen, über die ganze Stufe samt
Wartezeiten), **Tokens/s je Anfrage** (wie schnell eine einzelne Antwort geschrieben wird), **Erstes Token**
(Wartezeit bis zur ersten Antwort) und unten die **Kapazität** (höchste Stufe, die der PC noch gut schafft).
**Kennzeichen** wie `ueberlastet` erklären, warum eine Zahl nicht für sich allein steht. Es gibt absichtlich keine
Gesamtnote.

Zwei Kennzeichen stehen bei jedem Lauf und sind kein Fehler: `unter_empfehlung` (der Benchmark begrenzt die
Antwortlänge absichtlich unter die Empfehlung der Modellkarte, für alle gleich) und, nur bei Flash Next,
`profil_widerspruch` (die Quellen zu Flash Next widersprechen sich an zwei Stellen; das steht im Modellprofil).

## Was in den Dateien steht (vor dem Teilen lesen)

- `lauf.md` und `ergebnis.json`: Zahlen, Modellname, deine Beschreibung des PCs (Grafikkarte, RAM, Server, Experten-RAM).
- `messpunkte.jsonl`: zusätzlich die Antworten des Modells auf die 16 erfundenen Anfragen. Keine persönlichen Daten.
- Der Schlüssel steht in keiner Datei des Benchmarks (er prüft das und schwärzt ihn).
- Das Messlog liegt in `%USERPROFILE%\llm-durchsatz\messlog\` (Leistung, Takt, Temperatur der Karte je Sekunde).

## Wenn etwas nicht klappt

| Meldung | Was tun |
|---|---|
| `Bitte zuerst das ZIP entpacken` | Schritt 2: erst entpacken, dann im entpackten Ordner doppelklicken |
| `Python wurde nicht gefunden`, `Python 3 fehlt` oder `Bitte Python 3.11 oder neuer installieren` | Schritt 3 wiederholen, PowerShell neu öffnen |
| `... nicht gefunden` beim Start von infernix | Pfad in `infernix-starten.cmd` prüfen; Umlaute oder Sonderzeichen? |
| `Schluessel: nur Buchstaben ... und Ziffern` | Schlüssel aus Schritt 4 nehmen (nur Ziffern und a bis f) |
| `MODELLART: flash-next oder 27b` | In `infernix-starten.cmd` genau `flash-next` oder `27b` eintragen |
| `EXPERTEN_RAM_MIB: auto oder eine Zahl` | `auto` oder eine Zahl ohne Punkt und Leerzeichen, höchstens 7 Ziffern |
| `Adresse ...` / `Erlaubt sind dieser PC` | Der Server muss auf diesem PC laufen (`127.0.0.1`) oder ein Tailscale-Name sein |
| `Schlüssel abgelehnt` / HTTP 401 | Derselbe Schlüssel wie in `infernix-starten.cmd`? |
| `Modellliste nicht lesbar (nicht erreichbar)` | Läuft infernix? Steht `listening on` im infernix-Fenster? |
| infernix meldet, Port 8080 sei belegt | Ein anderes Programm nutzt den Port; das Programm beenden oder den PC neu starten |
| `nvidia-smi liefert keine Karte` | NVIDIA-Treiber installieren oder aktualisieren; sonst `j` für eine Messung ohne Messlog |
| `Stufe ... ist überlastet` | Kein Fehler: Ab dieser Last schafft der PC es nicht mehr; die Leiter endet dort |
| `Anfragenpaket oder Fahrplan weichen ab` | Das Paket wurde verändert: neu herunterladen und Schritt 1 prüfen |
| Windows warnt beim Doppelklick (SmartScreen) | Schritt 1 ausgelassen? Sonst "Weitere Informationen", "Trotzdem ausführen" |
| `Unerwarteter Fehler (...)` | Diese Zeile im Forum melden (sie enthält keinen Schlüssel) |

## Was ungeprüft ist

- Windows: siehe Hinweis oben. Gemessen werden nur NVIDIA-Karten (AMD und Intel nicht).
- `Richtig` prüft nur die Form der Antwort (Zahl, kurzer Text, JSON), nicht die Güte langer Texte.
- Jede Stufe hat nur 16 Anfragen: kleine Unterschiede zwischen zwei PCs sind nicht belastbar.
- infernix selbst ist nicht Teil dieses Pakets und wird hier nicht geprüft.

Lizenz: Apache-2.0 (Datei `LICENSE`), ohne Gewähr.
