Größte Modell was ihr LOKAL laufen gelassen habt?

Wieviel Parameter hatte max das Modell was ihr sinnvoll lokal ausgeführt habt?

  • bis 4b

    Stimmen: 1 1,1%
  • bis 8/9b

    Stimmen: 9 9,8%
  • bis 12b

    Stimmen: 5 5,4%
  • bis 16b

    Stimmen: 0 0,0%
  • bis 27b

    Stimmen: 28 30,4%
  • bis 40b

    Stimmen: 3 3,3%
  • bis 64b

    Stimmen: 0 0,0%
  • bis 100b

    Stimmen: 3 3,3%
  • bis 128b

    Stimmen: 11 12,0%
  • bis 200b

    Stimmen: 0 0,0%
  • >200b

    Stimmen: 9 9,8%
  • noch garnicht

    Stimmen: 23 25,0%

  • Umfrageteilnehmer
    92
  • Umfrage geschlossen .
Azghul0815 schrieb:
Ich struggle immer noch die Agenten lokal mit reasoning zum laufen zu bekommen.

Wieso? nimmste Gemini Flash 3.8 abo oder Chat GPT oder Claude die richten dir doch alles ein xD
 
  • Gefällt mir
Reaktionen: valovalo
@Bliird: Danke Dir, das schau ich mir an :-)
Bin nur grad etwas eingebunden :-( Hab grad 12,5 Stunden hinter mir, Intermodale Transporte.
Pegel Kaupp am Rhein war heute morgen bei 20 cm, normal min sind 140 cm, sorry for OT.
 
Azghul0815 schrieb:
Nope. Scheint bei Opencode nen Bug zu geben.
Ich nutze ein lokales Qwen 3.8 Flash Next mit OpenCode. Was ist das Problem?
 
also ich hab jetzt die für mich perfekte combi aus openCode und STRATA. Ich hab mein Websitenprojekt als Benchmark genommen und QWEN/STRATA hat dinge gefunden die mein ChatGPT Enterprise nicht gefunden hat, und andersrum. Benefit bei QWEN: Er kann halt lokal testen während ich in ChatGPT auf die Webversion beschränkt bin. also Theorie vs. Praxis. Chatty ist exakter an vielen Stellen während Qwen im zweifel tools nutzt.

2. Test: Unsere Entwickler bauen gerade e-Rechnungen auf (B2B ZUGFeRD,XML einbettung, etc.).
Ich bin zwar nicht der Primärtester aber wurde von einer Kollegin gebeten (Business test) mal gegenzuschauen. ChatGPT hat die Fehler in der .XML sauberer rausgefiltert gegen offizielle Quellen, dafür hat sich QWEN zusätzlich die Validatoren der offiziellen Quellen gezogen, installiert und die .PDF gegengefahren.
UInd dafür andere Fehler gefunden die ChatGPT nicht finden konnte. in diesem Duett hab ich dann ein synergie Dokument erstellen lasse von Chatty und der Kollegin in die Handgedrückt für die Entwickler.


Alles andere fliegt von der Platte. Ich hätte nicht gedacht dass ich so einen starken Agenten lokal laufen lassen kann. Was ich mit dem noch privat machen soll... muss ich noch finden.

Was hab ich noch probiert?
in OpenCode zusätzlich eine Webserver aktiviert für meine Frau damit Sie von ihrem Laptop ihn nutzen kann. Mit eigenem Projekt (sie kann zwar die andern von mir auswählen aber im Standard ist es erstmal ihr Projekt) zusätzlich für ihre generierten Daten, z.B. Arbeitsblätter Grundschule kurz Mal nen 2. Webserver im lokal netzwerk bauen lassen, der direkt auf einen definierten Ordner zeigt wo der Agent nach erstellen von Dokumenten, etc. diese ablegt. So dass Sie diese dann einfach herunterladen kann. Und das hat mal simpel gesagt - schnell unter 1 Stunde inkl. mir gedauert und sofort... kein hupsala, kein Oh das hab ich nicht bedacht...

Vorschlag von QWEN wäre sogar gewesen: Erstmal in diesem Setup testen und evtl. später mal eine eigene Weboberfläche bauen in welcher sowohl OpenCode läuft wie auch das hochgezogene "Datei-WebServer". Mit zusätzlichen Einschränkungen dass der Button z.B. "weitere Projekte öffnen" garnicht angezeigt wird. Quasi ein Overlay.

Technische Daten: 256k Kontextfenster - zwischen 85 t/s am start und 65 t/s wenn kontextfenster stark gefüllt. ca 1.200 bis 1.400 t/s prefilling
 
@Bliird
„Er kann halt lokal testen während ich in ChatGPT auf die Webversion beschränkt bin“

Ist doch völlig Wurst, wo das Model gehostet ist. So lange dein Agent lokal läuft, kann er auch lokal testen.
opencode auth login und sich mit dem ChatGPT-Abo anmelden, fertig.
Das mit dem Webserver erschließt sich mir ebenfalls nicht.
 
  • Gefällt mir
Reaktionen: Azghul0815
Im ChatGPT Enterprise ist nur der Webclient als CHAT im "sofort Modus" enthalten.
Die höhersprachigen Modelle und Codex sind da außen vor (zumindest nicht pauschal abgegolten im Tarif)

Wer aktiv seinen Account in Codex nutzen würde zahlt in "Credits" egal in welchem Modell "gedacht" wird.
Also z.B. 5 Credits je Anfrage über codex + n credits je nach Modell (sofort = 0, mittel +5, high + 15, very high 25, pro 50) so aus dem gedächnis. hab ich mal testweise kurz ausprobiert.

OpenCode hat lt. Aussage von ChatGPT selbst aktuell keine aktive Verbindung außer zu Plus/Pro Abo.
Daher ginge nur eine API Anbindung, und diese fällt lt. ChatGPT nicht unter Enterprise und wird nach Tokens verrechnet. Also ist der Pfad auch tot.

Daher der Umweg oder das doppelspiel zwischen ChatGPT Enterprise als "entwickler" (Kein .git sondern immer volle .ZIP wo das ganze Webprojekt und doku drin ist) und meiner lokalen die dann doch "tools" nutzen kann. Wobei das halt more or less nur ein Experiment ist, da meine Lokale AI mein privatvergnügen ist.
 
Ich hab jetzt Infernix mit Qwen3.8-Flash-Next zum Laufen bekommen:
https://www.reddit.com/r/LocalLLM/c..._infernix_much_faster_than_strata_on_a/?tl=de
https://huggingface.co/wallawalla47...DIA-NVFP4-Dense8-Infernix/blob/main/README.md

Damit habe ich jetzt ein 180B Modell am Laufen 😲
KI
Das Modell Qwen3.8-Flash-Next-NVIDIA-NVFP4-Dense 8-Infernix (basierend auf der Qwen3.8-Flash-Next-Architektur) besitzt insgesamt rund 180 Milliarden Parameter im Speicher (resident).
https://github.com/albond/SingleSpark-Qwen3.8-Flash-Next

Dafür habe ich extra nochmal teure 64GB RAM DDR5 6000 MHz für 1117 € geordert, damit ich genügend RAM habe, dazu noch eine Samsung 9100 Pro 1TB, und hab auf dem Spielerechner mit einer RTX 5090 ein frisches Windows separat nur für KI Test. Linux hatte ich heute keine Lust. Ram einstellen, bis es endlich mit 4 Riegeln stabil lief von gestern 17 Uhr bis heute Nachmittag. Ab ca. 14 Uhr habe ich (mit Unterbrechungen Essen, Einkaufen etc.) dann Visual Studio Community Edition, Python, Git, vcpkg (für ffmpeg und Co.) alles installiert, konfiguriert, gebaut, und dann Infernix kompliert usw. usf. Mit einigen Umwegen und Änderungen und Hilfe von Gemini (Pro Abo) habe ich jetzt einen Prompt laufen. Dabei habe ich es zum erstem Mal geschafft, mit Argon meine Tokens bis zum Limit zu verbraten, so daß ich jetzt auf Gemini Flash zurückgestuft wurde. Aber mein Prompt läuft. Knapp 90 GB sind jetzt in Verwendung, und ich hab so 102-115 tok/s, die Anworten kommen in ca. 5-10 Sekunden, beim Bildanalysieren muß ich so 30 Sekunden waren, bis dann schiefe und verdrehte Bilder mit handschriftlicher Aufzeichnung erkannt werden.

Ich bin erst mal begeistert. Hat zwar eine Weile gebraucht, aber ich hab jetzt hier schneller was zusammenbekommen als gedacht. Jetzt muß ich mal schauen, was ich damit noch alles weiter anstellen kann. Man muß aber sagen, ich komme aus dem DevOps Bereich, hab beruflich schon KI-Umgebungen aufbaut, und ich hatte Hilfe per Gemini, und es war hier alle gut dokumentiert, das Git-Repo von Infernix ist gut und strukturiert aufgebaut. Trotzdem hatte ich an manchen Stellen einige Fragezeichen, bis ich verstanden hatte, was ich machen mußte. Nach wie vor ist das alles noch nicht so ganz selbsterklärend, man muß schon verstehen, was man wie tut, und wie man gut promptet. Das ist nach wie vor nichts für jeden.

Aktuell arbeite ich mit einem nackten Prompt in der Powershell. Testweise habe ich es auch an Open WebUI angebunden, aber das nervt bei den Prompts, weil es immer Vorschläge für meine Prompts anzeigt, die so nicht passen.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: bart1983 und TeeKayEV
Hast du mal Benchmarks gemacht, ob sich der volle RAM-Speed performancetechnisch lohnt? Ich hab auch das Problem, dass ich bei Vollbestückung mit 6000er RAM auf Z890 keine 6000 MHz hinbekomme. Bei nur 2 Sticks gehen hingegen 8000 MHz (mit entsprechendem RAM). Also auf 4800 zurückgestellt und es läuft. Hab dann auch an 6400er CUDIMMs gedacht - aber bei Vollbestückung garantiert Intel dann trotzdem nur 4800 MHz. Und da ich selbst ja nicht testen kann, ob sich der höhere RAM-Takt überhaupt merklich auf die Performance auswirkt, scheue ich das Investment.
 
  • Gefällt mir
Reaktionen: nutrix
Guter Hinweis und Du hast mich auf eine Idee gebraucht.

Erst mal zum Thema Ram-Takt, ich habe hier auf einem X870E Board mit AM5 genau das gleiche Problem, 4xDDR 6000 MHz läuft nur mit 5600 MHz mit 1,35V Ramtakt, und 4x48GB DDR 5600 MHz liefen darauf auch nur mit 4800 MHz.
https://www.computerbase.de/forum/t...-s-9800x3d-x760e.2224334/page-2#post-30144727

Die Idee ist hier, doch nochmal das traumatische Erlebnis mit den 4x48GB Ram die KI-Tests zu machen, ob es einen Unterschied von 4800 zu 5600 gibt. Fürs Gaming habe ich mit nur 2x6000 MHz sehr wohl einen Unterschied zu 4x4800 MHz bemerkt, da sind immerhin 1200 Mhz mehr. Für KI wären das dann "nur" 800 Mhz Unterschied. Ich teste das mal.

Problem hier ist nur, daß mir ein direkter RAM-Benchmark nichts nützt, und ich das alles nur indirekt über Qwen3.8-Flash-Next-NVIDIA-NVFP4-Dense 8-Infernix Modell testen kann, wie viele Token ungefähr generiert werden. Ich muß also irgendwie eine Prompt Abfrage oder Workflow finden, wo ich ein explizites Schaufeln der 3 verschieden Teile vom RAM ins VRAM erzwingen kann.
Qwen3.8-Flash-Next-NVIDIA-NVFP4-Dense8-Infernix-00001-of-00003.infernix
32,000,000,000​
model, part 1 of 3 (also holds the table of contents)
Qwen3.8-Flash-Next-NVIDIA-NVFP4-Dense8-Infernix-00002-of-00003.infernix
32,000,000,000​
model, part 2 of 3
Qwen3.8-Flash-Next-NVIDIA-NVFP4-Dense8-Infernix-00003-of-00003.infernix
12,867,265,280​
model, part 3 of 3
Dazu habe ich aber aktuell gar keinen Plan, wie ich das zuverlässig und für beide Fälle (4x4800MHz zu 4x5600MHz) verifizierbar hinbekomme.:confused_alt:
 
Den Benchmark hab ich mit Claude für mich gebaut. Allerdings hab ich nach 30 Jahren erstmals kein Windowssystem mehr zum Testen. Claude denkt, dass das von Claude angepasste Programm auf Windows läuft.

Meine Empfehlung: Gib ausführbare Dateien, die du aus unbekannter Quelle aus dem Netz lädst, erstmal einem LLM deiner Wahl und frage, ob es Sicherheitsprobleme sieht: auch bei diesen Dateien.

Der Benchmark misst gleich etliche Sachen auf einmal:
1. Prefill
2. Decode
3. beides auch im Batchprozess, also mehreren Anfragen parallel
4. Korrektheit der Antworten (weil schnell und falsch auch nichts bringt)
5. Mit und ohne Reasoning
6. Eigenangabe Stromverbrauch der Karte(n)

Es ist also nicht nur ein Geschwindigkeitsbenchmark, sondern auch ein Fähigkeitenbenchmark. Ein schnelles Modell, das falsch antwortet, ist weniger brauchbar als ein langsames mit korrekten Antworten. SHA256 zur Prüfung des ZIP: 8859d6713fb35a2436e565cc0d064a3af203287bf45ce4a741b892f9863fed6d

Ich habe zwei Systeme getestet.

infernix: Version bbc2771c, Qwen3.8-Flash-Next NVFP4 Dense8, RTX 5090 400W an PCIe 4.0 x4, 62 GB DDR-8400 RAM, Experten 42 GiB im RAM, Kontext 131072, 2 Plätze.
Strata: v0.1.42, Qwen3.8-Flash-Next UD-Q4_K_XL, 2× RTX 3090 Ti (300 W je Karte), 128 GB RAM, Kontext 262144, 2 Plätze.

Je Stufe 16 Anfragen (gleiches Anfragenpaket und gleicher Fahrplan), Stufen 1 bis 3 nicht gemessen (Stufen 1 bis 3 schicken nur 1 bis 4 Anfragen pro Minute und sind für sehr langsame Systeme gedacht. Da sind die meisten Anfragen fertig, bevor die nächste kommt. Die Stufen 1 bis 3 messen deshalb fast dasselbe wie die Einzelmessung, dauern aber am längsten: allein Stufe 1 braucht 16 Minuten, weil nur eine Anfrage pro Minute kommt. GEMESSEN bei infernix: Schon in Stufe 4 war im Mittel nur etwa eine Anfrage gleichzeitig offen (0,98, kurz bis zu 4).). "Richtig" prüft nur die Endantwort (Zahl, kurzer Text, JSON). Unterschiedliche Hardware und Quantisierung: Das ist ein Vergleich ganzer Systeme, nicht der Server-Programme allein.

Noch nicht implementiert sind richtig große Prompts, denen auch lange Outputs folgen.

Mein Testfazit: Eine über PCIe4 4x angebundene RTX 5090 mit Infernix und 64 GB sehr schnellem RAM ist doppelt so effizient wie 2x3090 Ti und 128 GB fast halb so langsamen RAM mit Strata und kann deutlich mehr parallele Anfragen abarbeiten, obwohl sie 25% weniger VRAM und nur halb soviel RAM hat. Das könnte darauf hindeuten, dass die RAM-Geschwindigkeit relevanter ist als die RAM-Größe.

Qwen3.8-Flash-Next: infernix (1× RTX 5090) gegen Strata (2× RTX 3090 Ti)

1. Prefill: Einlesen des Prompts (eine Anfrage allein)

Prompt-LängeinfernixStrata
kurz (~150 Tokens)0,8 s1,4 s
mittel (~8.200 Tokens)7,8 s (1.060 Tokens/s)5,9 s (1.400 Tokens/s)
lang (~66.000 Tokens)29,5 s (2.230 Tokens/s)27,2 s (2.410 Tokens/s)

2. Decode: Schreiben der Antwort (Tokens/s, Denken aus / an)
infernixStrata
eine Anfrage allein61 / 5863 / 73
je Anfrage bei 16 Anfragen/min41 / 4037* / 47*
alle Anfragen zusammen bei 16 Anfragen/min25 / 3725* / 26*

3. Korrektheit und Belastbarkeit (Denken aus / an)
infernixStrata
richtig, eine Anfrage allein100 % / 100 %100 % / 100 %
richtig bei 16 Anfragen/min100 % / 100 %69 %* / 56 %*
richtige Antworten pro Minute (höchster Wert)11,5 / 8,98,8 / 7,7
Kapazität (höchste gut geschaffte Last)≥ 64 / ≥ 32 Anfragen/min≥ 8 / unter 8 Anfragen/min

4. Stromverbrauch (alle Grafikkarten zusammen)
infernixStrata
Leistung bei einer Anfrage (Mittel)175 W390 W
Leistung, höchster Wert293 W594 W
Energie je 100 richtige Antworten, eine Anfrage allein (aus / an)36 / 41 Wh73 / 84 Wh
Energie je 100 richtige Antworten, 16 Anfragen/min (aus / an)27 / 34 Wh96* / 134* Wh

* = überlastet: ein Teil der Anfragen blieb ohne Antwort.

___________________________________________________

@Jan Das wär dann auch der Benchmark, den ich dir vor einigen Wochen anbot. Man kriegt da noch deutlich detailliertere Daten heraus, die ich jedoch noch nicht auf Wiederholbarkeit validiert habe. z.B.
Qwen3.8-Flash-Next, Denken aus
Stufeinfernix: richtiginfernix: Tokens/s gesamtinfernix: Tokens/s je AnfrageStrata: richtigStrata: Tokens/s gesamtStrata: Tokens/s je Anfrage
Einzelmessung100 %2061100 %2763
4 (8 Anfragen/min)100 %1342100 %1652
5 (16 Anfragen/min)100 %254169 % (überlastet)2537
6 (32 Anfragen/min)100 %2543–––
7 (64 Anfragen/min)100 %2749–––
Kapazität: infernix mindestens Stufe 7, Strata mindestens Stufe 4.

Qwen3.8-Flash-Next, Denken an
Stufeinfernix: richtiginfernix: Tokens/s gesamtinfernix: Tokens/s je AnfrageStrata: richtigStrata: Tokens/s gesamtStrata: Tokens/s je Anfrage
Einzelmessung100 %3158100 %3473
4 (8 Anfragen/min)100 %254588 %2454
5 (16 Anfragen/min)100 %374056 % (überlastet)2647
6 (32 Anfragen/min)100 %3640–––
7 (64 Anfragen/min)100 %3742–––
Kapazität: infernix mindestens Stufe 6, Strata unter Stufe 4.

___________________________________________________________________________

@Jan Das wär dann auch der Benchmark, den ich dir vor einigen Wochen anbot.

infernix (1× RTX 5090), Qwen3.8-Flash-Next, Denken aus
EinzelmessungStufe 4Stufe 5Stufe 6Stufe 7
Anfragen/mineinzeln8163264
Anfragen1616161616
Richtig100 %100 %100 %100 %100 %
Nicht richtig (Grund)–––––
Richtige/min8,05,511,011,511,1
Tokens/s gesamt20,413,425,225,027,2
Tokens/s je Anfrage61,441,841,442,949,3
Erstes Token s (Median / 95 %)0,8 / 32,21,0 / 26,713,8 / 29,43,5 / 42,424,4 / 77,1
Erste Antwort s (Median / 95 %)0,8 / 32,21,0 / 26,713,8 / 29,43,5 / 42,424,4 / 77,1
Dauer s (Median / 95 %)6,6 / 32,66,0 / 32,120,3 / 44,78,2 / 44,926,7 / 77,5
Gleichzeitig offen (Spitze / Mittel)1 / 1,04 / 1,08 / 3,45 / 2,514 / 5,7
Prompt-Tokens (Median)158157156156156
Leistung W (Mittel / Spitze)172 / 224125 / 293181 / 254186 / 291188 / 239
Energie Wh5,76,04,44,34,5
Energie Wh je 100 Richtige35,537,227,427,027,9
GPU-Auslastung % (Mittel)9248879595
VRAM MiB (Spitze)3165931551315513155131533
Überlastetneinneinneinneinnein
Kapazität: mindestens Stufe 7 (64 Anfragen/min). Kennzeichen: unter_empfehlung, profil_widerspruch.

infernix (1× RTX 5090), Qwen3.8-Flash-Next, Denken an
EinzelmessungStufe 4Stufe 5Stufe 6Stufe 7
Anfragen/mineinzeln8163264
Anfragen1616161616
Richtig100 %100 %100 %100 %100 %
Nicht richtig (Grund)–––––
Richtige/min7,35,48,98,78,5
Tokens/s gesamt30,724,737,035,937,4
Tokens/s je Anfrage57,545,439,939,542,0
Erstes Token s (Median / 95 %)0,8 / 29,54,2 / 29,624,0 / 35,011,9 / 68,038,6 / 99,8
Erste Antwort s (Median / 95 %)4,1 / 31,38,2 / 34,629,6 / 40,316,6 / 69,541,8 / 101,7
Dauer s (Median / 95 %)6,3 / 31,611,8 / 38,132,0 / 41,221,0 / 69,743,3 / 103,8
Gleichzeitig offen (Spitze / Mittel)1 / 1,04 / 1,49 / 4,68 / 3,714 / 6,7
Prompt-Tokens (Median)156155154154154
Leistung W (Mittel / Spitze)178 / 276142 / 260185 / 261183 / 250186 / 253
Energie Wh6,57,05,55,65,7
Energie Wh je 100 Richtige40,843,834,235,135,9
GPU-Auslastung % (Mittel)9463959595
VRAM MiB (Spitze)3153331551315513155131551
Überlastetneinneinneinneinnein
Kapazität: mindestens Stufe 6 (32 Anfragen/min). Kennzeichen: unter_empfehlung, profil_widerspruch.

Strata (2× RTX 3090 Ti), Qwen3.8-Flash-Next, Denken aus
EinzelmessungStufe 4Stufe 5
Anfragen/mineinzeln816
Anfragen161616
Richtig100 %100 %69 %
Nicht richtig (Grund)––5× ohne_inhalt
Richtige/min8,85,67,1
Tokens/s gesamt26,616,125,0
Tokens/s je Anfrage63,252,137,3
Erstes Token s (Median / 95 %)1,5 / 27,22,6 / 28,42,4 / 28,5
Erste Antwort s (Median / 95 %)1,5 / 27,22,6 / 28,42,4 / 28,5
Dauer s (Median / 95 %)5,7 / 27,58,4 / 31,710,8 / 40,9
Gleichzeitig offen (Spitze / Mittel)1 / 1,04 / 1,17 / 2,5
Prompt-Tokens (Median)158157156
Leistung W (Mittel / Spitze)387 / 590306 / 594413 / 593
Energie Wh11,614,510,6
Energie Wh je 100 Richtige72,890,996,2
GPU-Auslastung % (Mittel)613965
VRAM MiB (Spitze)481104811248112
Überlastetneinneinja
Kapazität: mindestens Stufe 4 (8 Anfragen/min). Kennzeichen: unter_empfehlung, ueberlastet, profil_widerspruch.

Strata (2× RTX 3090 Ti), Qwen3.8-Flash-Next, Denken an
EinzelmessungStufe 4Stufe 5
Anfragen/mineinzeln816
Anfragen161616
Richtig100 %88 %56 %
Nicht richtig (Grund)–2× ohne_inhalt7× ohne_inhalt
Richtige/min7,74,85,7
Tokens/s gesamt33,924,325,7
Tokens/s je Anfrage72,654,046,6
Erstes Token s (Median / 95 %)1,4 / 27,24,2 / 30,614,3 / 28,8
Erste Antwort s (Median / 95 %)4,5 / 28,910,3 / 35,120,3 / 49,2
Dauer s (Median / 95 %)5,9 / 29,310,9 / 37,117,3 / 49,6
Gleichzeitig offen (Spitze / Mittel)1 / 1,04 / 1,38 / 3,7
Prompt-Tokens (Median)156161165
Leistung W (Mittel / Spitze)389 / 576332 / 589455 / 592
Energie Wh13,416,112,0
Energie Wh je 100 Richtige83,7114,6133,8
GPU-Auslastung % (Mittel)614578
VRAM MiB (Spitze)481124811448114
Überlastetneinneinja
Kapazität: unter Stufe 4 (8 Anfragen/min). Kennzeichen: unter_empfehlung, ueberlastet, profil_widerspruch.
 

Anhänge

  • Gefällt mir
Reaktionen: bart1983, Bliird und nutrix
Azghul0815 schrieb:
Danke
Da ich allerdigns nur eine ChatGPT Plus abo habe und sonst kein Geld ausgeben will, muss Lokal reichen ;)
Klar, mach ich auch so. Dabei nutze Grad mal free ChatGPT. Mach aber weniger mit vibecoding Sachen.
Zb lasse ich mir komplexe Prompts für Bilderserien oder Videos generieren die ich mit lokaler LLM einfach nicht in der Geschwindigkeit und qualität bekomme. Die Bild oder Videogenerierung dann lokal mit ComfyUI.
Ich denke auch beim vibecoding könnte man mit einer Kombination aus spezialisierten lokalen Modellen und online Modellen gute resultate erlangen.🤔
Aber da steck ich nicht so im Thema drin ..
 
@TeeKayEV
Respekt vor dem Post, die meisten hier ahnen nicht, wieviel Arbeit und Mühe darin steckt. 👍👌
TeeKayEV schrieb:
Mein Testfazit: Eine über PCIe4 4x angebundene RTX 5090 mit Infernix und 64 GB sehr schnellem RAM ist doppelt so effizient wie 2x3090 Ti und 128 GB fast halb so langsamen RAM mit Strata und kann deutlich mehr parallele Anfragen abarbeiten, obwohl sie 25% weniger VRAM und nur halb soviel RAM hat. Das könnte darauf hindeuten, dass die RAM-Geschwindigkeit relevanter ist als die RAM-Größe.
Dann kann ich mir den Test eigentlich sparen, Du hast es ja schon gut evaluiert.

Laut KI sollte der Unterschied bei mir 10-15% ausmachen. Das ist doch schon eine Größe, die bei vielen Workloads einen Unterschied machen kann.
 
Zuletzt bearbeitet:
nutrix schrieb:
Dann kann ich mir den Test eigentlich sparen, Du hast es ja schon gut evaluiert.
Nicht wirklich. Ich hab ja nicht nur völlig unterschiedliche Hardware getestet, sondern auch unterschiedliche Ausführungssysteme (Strata und Infernix) und die Modelle lagen dann auch noch in unterschiedlichen Datenformaten vor. Nur den Einfluss der RAM-Geschwindigkeit auf einem System mit einer Software kann ich derzeit nicht testen, weil ich keine 128 GB habe, die mit mehr als 4800 MHz laufen. 128 GB 6400er CUDIMMs kosten mehr als 2.000 Euro, zu viel für einen Just-for-fun-Test.
 
Ich hab wie gesagt kein Windows - Claude hat das ZIP oben aus den Linux-Dateien gebaut mit der Maßgabe, dass alles unter Windows laufen soll. Meine Mac-Version zeigt diesen Startbildschirm an, in dem ich Denken unter Modus an- und ausschalten kann. Und so sollte das unter Windows auch aussehen.

Wenn das bei dir nicht so ist, sag es bitte. Dann muss ich nochmal mein Windows-System reaktivieren und mir das anschauen.

Bildschirmfoto 2026-10-18 um 16.47.23.png
 
Zuletzt bearbeitet:
TeeKayEV schrieb:
Ich habe zwei Systeme getestet.

infernix: Version bbc2771c, Qwen3.8-Flash-Next NVFP4 Dense8, RTX 5090 400W an PCIe 4.0 x4, 62 GB DDR-8400 RAM, Experten 42 GiB im RAM, Kontext 131072, 2 Plätze.

Danke für den Test. Ich frage mich jedoch, wie dieses System jetzt vom schnellen RAM profitieren soll, wenn die Daten ja stets via PCIe 4.0 x4 mit maximal 8 GB/s in den VRAM geschoben werden. Selbst bei PCIe 5.0 x16 wären es lediglich 64 GB/s, also die Hälfte der Bandbreite des 8400er-RAMs. Oder habe ich einen Denkfehler?
 
@Goldilox Ehrlich gesagt weiß ich nicht genau, wie Infernix funktioniert, da es auf NInfer basiert und dessen Doku teils auf chinesisch verfasst ist. Ich vermute, dass der grundsätzliche Aufbau mit Strata vergleichbar ist. Und Strata hat eine umfangreiche Doku auf englisch veröffentlicht. Hab ich mir ehrlich gesagt dann auch erstmal mit LLM-Hilfe erklären lassen müssen. :)

Strata ist ein auf minimale Arbeit und Speicherbewegungen optimiertes System. Bei Strata schaut die GPU bei jedem Token, welche Experten benötigt werden und wählt 10 aus und schreibt in einen bestimmten RAM-Bereich, welche das sind. Die CPU beobachtet diesen RAM-Bereich und schaut, ob von den 10 gewählten Experten manche nicht im VRAM liegen. Entweder die Experten wurden schon oft angefragt, dann werden sie in den VRAM geladen => PCIe ist das Bottleneck. Oder bei selten angefragten Experten berechnet die CPU das Token selbst => Speicher ist das Bottleneck.

Die Verarbeitung selten genutzter Experten auf der CPU ist der Grund, warum Strata so schnell ist. Würde es sich um simples Offloading von nicht in den VRAM passenden Experten in den RAM handeln, die dann bei jeder Benutzung erst in den VRAM geladen werden müssten, wäre Strata niemals so schnell, wie es ist.

Das heißt auch, dass die im RAM liegenden Experten vergleichsweise selten benötigt werden. Was auch wiederum heißt, dass schnellerer RAM möglicherweise gar keine große Rolle spielt, weil eh selten auf die Daten zugegriffen wird. Denkbar ist auch, dass die Berechnung auf der CPU das Bottleneck ist und nicht die Speichergeschwindigkeit.

Ich seh grad, dass die 64 GB CUDIMMs in den vergangenen Tagen nochmal 25% teurer wurden... Damit scheidet ein Selbsttest schnelleren RAMs definitiv aus.
 
@TeeKayEV Merci. Ja, da kommen wohl insgesamt einige Faktoren zusammen...

TeeKayEV schrieb:
Ich seh grad, dass die 64 GB CUDIMMs in den vergangenen Tagen nochmal 25% teurer wurden... Damit scheidet ein Selbsttest schnelleren RAMs definitiv aus.

... oder das gleiche System mit reduziertem RAM-Takt messen.
 
  • Gefällt mir
Reaktionen: TeeKayEV
Zurück
Oben