Konkurrieren ? Seh ich nicht wirklich. Die Modellgröße ist grotesk im Verhältnis zum Ergebnis.
Wir haben hier leider ein Model das upper-midrange ist aber easily Betriebskosten wie ein Frontier Modell hat.
DeepSeek V4.1 Flash ist für ML4 brutal. Hier gibt es keine Ausrede: 39 vs 38 Intelligence, $0,27 vs $1,13/Task, 227 vs 116 tok/s, 1,12 vs 1,46s TTFT, 12,16 vs 23s E2E, 1M vs 524k Context. Dazu ist DeepSeek 552B/16B active, ML4 1T/49B active.
Tough playing field. DeepSeek ist etwas intelligenter, 4,2x billiger, fast 2x schneller, etwa 2x schneller end-to-end, hat ein doppelt so großes Context Window und braucht dabei nur ungefähr ein Drittel der aktiven Parameter. Das ist vernichtend IMO.
Auch Preis/Intelligence sieht mies aus. $1,13 pro AA-Task ist nicht wahnsinnig teuer absolut gesehen. Das Problem ist, was drumherum steht. GLM-5.3 Flash: 42 für $0,25. Step 5: 44 für $0,72. MiMo-Pro: 46 für $0,13. Sonnet 5.5 medium: 41 für $0,59. Selbst Ling liefert 41 für $0,99 und ist dabei fast doppelt so schnell. ML4 verlangt also nicht Premiumgeld für Premiumintelligenz - sondern teilweise mehr Geld für weniger Intelligence.
Und damit ist auch "open weights" weniger attraktiv, als es zunächst klingt. Wenn sie kommen, reden wir über einen 1T-MoE. Selbst bei 4-Bit sind die nackten Gewichte fast 500GB. Für meine zwei Sparks ist das damit komplett außerhalb des vernünftigen Bereichs. Selbst absurde ~2-Bit-Quantisierung würde vor Runtime-Overhead bereits ungefähr ~244 GB verschlingen. Damit verliert Mistral einen Teil des klassischen Open-Weight-Charmes: technisch offen, praktisch jedoch ganz klar Datacenter-Klasse.
Mir fehlt schlicht die Kategorie, in der ML4 gewinnt abseits von "is halt EU-Ware".
Will ich maximale Intelligence -> Opus/Sonnet/Astra/Sol und andere Frontier-Modelle.
Will ich Open-Weight Intelligence -> MiMo, Step, GLM, DeepSeek usw.
Will ich Preis/Performance -> DeepSeek/GLM/MiMo.
Will ich Speed -> DeepSeek/Ling und diverse kleinere Modelle.
Will ich 1M Context -> gefühlt das halbe aktuelle Feld.
Will ich lokal hosten -> definitiv kein 1T-Modell.
Will ich Multimodalität -> ebenfalls reichlich Auswahl.
Purer strategischer Horror für Mistral, aber dort verlässt man sich auch ausschliesslich auf Europeanness. Kein Erfolgsrezept wenns halt nur das ist. Besonders unangenehm ist die Kombination aus 1T Scale und nur 38 AA. Große Modelle dürfen ineffizient sein, wenn am anderen Ende etwas herauskommt, das kleine Modelle nicht können. Ein hypothetisches 1,5-2,5T Modell mit AA 55-60 ? Klar, dann bezahlt man für Frontier Capability. Ein 1T Modell mit AA 38 wird dagegen mit Modellen verglichen, die dieselbe oder höhere Qualität mit massiv geringerem Footprint erreichen. ML4 bekommt somit die Nachteile eines riesigen Modells, ohne den Frontier-Bonus eines riesigen Modells.
Momentan fällt mir außerhalb von European sovereignty / spezifischen Enterprise-Anforderungen keine besonders überzeugende Antwort ein warum mans nutzen sollte. Chinesische und andere Open Weights kann man ja auch selbst hosten oder sich wo einmieten. Das ist jetzt kein Unique Selling Point. Naja...again: tough sell.