News Mistral Large 4: Das größte LLM aus der EU soll zur Konkurrenz aufschließen

Ayo34 schrieb:
Stimmt, aber du kannst auch ein chinesisches einfach selbst hosten. Grundsätzlich aber gut das Mistral dran bleibt
Yep. Wobei sich da gerade in Europa und auch in Deutschland mehr tut. Dauert noch ein paar monate.

phanter schrieb:
Das heißt das Modell hat kein Alignment?
Kein alignment und kein bias ist technisch nicht möglich.
Musk / Trump und Leute aus der bubble schwafeln das gern mal, ist jedoch Schwachsinn.
Die ältesten paper in denen das Problem diskutiert wird die ich mal gelesen habe sind aus den 80ern und es ist bis heute der Kern beim Erstellen von jedem datenset. Egal ob es um unet um hundewelpen zu generieren oder LLMs geht.

—

Beim Namen muss ich hier dran denken.. Sie sollten die Skala übernehmen
1000050398.jpg
 
  • Gefällt mir
Reaktionen: MiyamotoMusashi, Daniel-San92, Kitsune-Senpai und eine weitere Person
interesTED schrieb:
Die Geschwindigkeit des Modells ist zu großen Teilen eine Hardwarefrage. Das was aktuell veröffentlicht wurde, ist ein Preview. Ob das geschickt ist, sei dahingestellt. Aber eine pauschale Aussage, es sei lahm, ist unsinnig, weil man die Randbedingungen nicht kennt.

Grundsätzlich ist Mistral eigentlich auch nicht langsam. Aber gerade bei neuen Modellen gibt es am Anfang auch große Last und die Infrastruktur wird noch angepasst. Dazu kommt die Frage, ob über Browser oder direkt per API. Auch die Tageszeit spielt eine Rolle.

Soweit sieht das aber erst mal gut aus... Rang 5 und Rang 1 hier...

Output Speed (7 Oct '26).png


End-to-End Response Time (7 Oct '26).png
 
  • Gefällt mir
Reaktionen: MelbarKasom, FlashBFE, Discombobulator und 5 andere
Wenn die Amerikaner aufwachen wird Claude auch jeden Tag merklich langsamer. Da greifen sicherlich grade viele Interessierte auf eine noch nicht fertige Infrastruktur zu.
 
  • Gefällt mir
Reaktionen: MelbarKasom, stefan92x, Kitsune-Senpai und 2 andere
Ich hatte irgendwo auf reddit einen Link zu artificialanalysis.ai gesehen, dass Large 4 Preview ungefähr auf Sonnet 5 max, GPT 5.6 Sol medium und Opus 4.8 high level wäre. Das wäre eine beeindruckende Leistung für so ein kleines Unternehmen! Und vermutlich auch für einen Großteil aller User mehr als ausreichend!

Ansonsten, ich denke reinforcement learning und supervised finetuning werden noch ordentlich was rausholen, war bei GLM und Anthropic ja auch so. Wenn du einmal ein ordentliches Base Modell hast kannst du noch viel rauskitzeln :D
 
  • Gefällt mir
Reaktionen: Monarch2
Lupin9 schrieb:
und damit wirds dann doch wieder nicht genutzt weil halt zu eingeschrankt und zu schlecht gguber china und usa.
Als Firma oder Privat Person ist das ja ohne weiteres auch machbar. Als Behörde eher nicht. Von daher kann es da sehr viele Nutzer geben und das Europa weit. Ein Ki Model muss nicht für jeden Anwender oder Berufsgruppe passen.
 
  • Gefällt mir
Reaktionen: Gaestle
DERHansWurst schrieb:
Mistral haben wir unter anderem auf der Arbeit, aber es taugt im Vergleich einfach nicht.
Im Name steckt ja auch "Mist" :D
Sie sagen einem indirekt immer die Wahrheit 🤣
 
  • Gefällt mir
Reaktionen: SweetOhm
Wäre interessant zu wissen, was der Betrieb von dem Ding kostet.
Ich vermute zu viel, aber das wird man wohl sehen, sobald die Gewichte für die Inference-Provider verfügbar sind.

Deepseek V4.1 Flash ist wohl auf dem selben Leistungsniveau, aber mit weniger aktiven Parametern (und auch Parametern insgesamt) und stark auf Effizienz ausgelegter Attention.
Daher wird dieses Modell wohl zu teuer im Betrieb sein gegen Deepseek und zu schwach gegen OpenAI/Anthropic.

Grundsätzlich sind sie aber nicht unendlich weit zurück. Die Frage ist nur: Wie verdient man Geld, wenn man auch nur 6 Monate hinterher hängt und somit nicht konkurrenzfähig ist?
 
  • Gefällt mir
Reaktionen: Kitsune-Senpai
Lar337 schrieb:
Grundsätzlich sind sie aber nicht unendlich weit zurück. Die Frage ist nur: Wie verdient man Geld, wenn man auch nur 6 Monate hinterher hängt und somit nicht konkurrenzfähig ist?

Angepasste Lösungen für Firmen und sicherlich auch stark für Behörden in Europa. Abhängig von China oder Amerika zu sein, ist ja nicht gerade die optimale Lösung. Oder, anders gesagt, wenn man keine Firmengeheimnisse teilen möchte.
 
  • Gefällt mir
Reaktionen: MiyamotoMusashi, AlphaKaninchen, Gaestle und 2 andere
Besser als gedacht, ich habe mit Deepseek V3.2 Performance gerechnet, im besten Fall. Werde es später testen, kann mir aber nicht vorstellen, dass es bei coding mit DS V4.1 Flash mithalten kann. Muss es aber vielleicht auch gar nicht, die Stärken können wo ganz anders liegen. Bin eher gespannt, wie es mit Kimi K2.7 Code und K2.6 (K3 ist doch arg groß und teuer) mithalten kann, die nutze ich nämlich stellenweise immer mal wieder.
 
Postman schrieb:
Über Beamte bleibt es nur übliche Stammtisch Gewäsch - was bei Beamten die Dienstvorschriften sind wäre bei Konzernen die Prozessanweisungen wie ich aus eigener Erfahrung leidvoll weiß. Nicht alles muss im Leben eine "Hey Joe" Startup Mentalität haben, die Menschheit ist mit den vielen Veränderungen derzeit schon überfordert.

Ja, und wenn unser Staatsapparat Mist baut, kriegen wir es alles mit, während private Firmen ihren Dreck unter den Teppich kehren. Das führt natürlich zu Wahrnehmungsverzerrungen bei Menschen, denen dieser entscheidende unterschied nicht bewusst ist.
 
  • Gefällt mir
Reaktionen: MelbarKasom, dpauso, DNS81 und 4 andere
Konkurrieren ? Seh ich nicht wirklich. Die Modellgröße ist grotesk im Verhältnis zum Ergebnis.

Wir haben hier leider ein Model das upper-midrange ist aber easily Betriebskosten wie ein Frontier Modell hat.

DeepSeek V4.1 Flash ist für ML4 brutal. Hier gibt es keine Ausrede: 39 vs 38 Intelligence, $0,27 vs $1,13/Task, 227 vs 116 tok/s, 1,12 vs 1,46s TTFT, 12,16 vs 23s E2E, 1M vs 524k Context. Dazu ist DeepSeek 552B/16B active, ML4 1T/49B active.

Tough playing field. DeepSeek ist etwas intelligenter, 4,2x billiger, fast 2x schneller, etwa 2x schneller end-to-end, hat ein doppelt so großes Context Window und braucht dabei nur ungefähr ein Drittel der aktiven Parameter. Das ist vernichtend IMO.

Auch Preis/Intelligence sieht mies aus. $1,13 pro AA-Task ist nicht wahnsinnig teuer absolut gesehen. Das Problem ist, was drumherum steht. GLM-5.3 Flash: 42 für $0,25. Step 5: 44 für $0,72. MiMo-Pro: 46 für $0,13. Sonnet 5.5 medium: 41 für $0,59. Selbst Ling liefert 41 für $0,99 und ist dabei fast doppelt so schnell. ML4 verlangt also nicht Premiumgeld für Premiumintelligenz - sondern teilweise mehr Geld für weniger Intelligence.

Und damit ist auch "open weights" weniger attraktiv, als es zunächst klingt. Wenn sie kommen, reden wir über einen 1T-MoE. Selbst bei 4-Bit sind die nackten Gewichte fast 500GB. Für meine zwei Sparks ist das damit komplett außerhalb des vernünftigen Bereichs. Selbst absurde ~2-Bit-Quantisierung würde vor Runtime-Overhead bereits ungefähr ~244 GB verschlingen. Damit verliert Mistral einen Teil des klassischen Open-Weight-Charmes: technisch offen, praktisch jedoch ganz klar Datacenter-Klasse.

Mir fehlt schlicht die Kategorie, in der ML4 gewinnt abseits von "is halt EU-Ware".
Will ich maximale Intelligence -> Opus/Sonnet/Astra/Sol und andere Frontier-Modelle.
Will ich Open-Weight Intelligence -> MiMo, Step, GLM, DeepSeek usw.
Will ich Preis/Performance -> DeepSeek/GLM/MiMo.
Will ich Speed -> DeepSeek/Ling und diverse kleinere Modelle.
Will ich 1M Context -> gefühlt das halbe aktuelle Feld.
Will ich lokal hosten -> definitiv kein 1T-Modell.
Will ich Multimodalität -> ebenfalls reichlich Auswahl.

Purer strategischer Horror für Mistral, aber dort verlässt man sich auch ausschliesslich auf Europeanness. Kein Erfolgsrezept wenns halt nur das ist. Besonders unangenehm ist die Kombination aus 1T Scale und nur 38 AA. Große Modelle dürfen ineffizient sein, wenn am anderen Ende etwas herauskommt, das kleine Modelle nicht können. Ein hypothetisches 1,5-2,5T Modell mit AA 55-60 ? Klar, dann bezahlt man für Frontier Capability. Ein 1T Modell mit AA 38 wird dagegen mit Modellen verglichen, die dieselbe oder höhere Qualität mit massiv geringerem Footprint erreichen. ML4 bekommt somit die Nachteile eines riesigen Modells, ohne den Frontier-Bonus eines riesigen Modells.

Momentan fällt mir außerhalb von European sovereignty / spezifischen Enterprise-Anforderungen keine besonders überzeugende Antwort ein warum mans nutzen sollte. Chinesische und andere Open Weights kann man ja auch selbst hosten oder sich wo einmieten. Das ist jetzt kein Unique Selling Point. Naja...again: tough sell.
 
Wenn Mistral Large 4 jetzt Europas große KI Antwort sein soll, bleibt der Sekt bei mir erstmal noch im Kühlschrank ^^ Meine Erfahrungen mit Mistral waren bisher eher durchwachsen. Bei lokalen LLMs merkt man schnell, wie wenig einzelne Benchmarks sagen, sobald Modell, Kontext, Quantisierung oder Runtime wechseln. Ich habe Strix Halo und DGX Spark selbst im Einsatz und gerade bei Qwen und Gemma genug Unterschiede erlebt, um bei Large 4 erstmal abzuwarten, was im echten Betrieb wirklich hängenbleibt. Die Preview Geschwindigkeit würde ich deshalb noch nicht groß bewerten. Eine Billion Parameter klingt natürlich mächtig, aktiv ist davon pro Token nur ein Bruchteil.

Was ich eigentlich spannender finde, ist dieses Wort „Souveränität“. Mistral wirbt selbst mit „Forged in Europe. Built for AI sovereignty“. Trainiert wurde Large 4 in Mistrals eigenen europäischen Rechenzentren auf 3800 NVIDIA Grace Blackwell GPUs. Eigene Infrastruktur, offene Gewichte und Self Hosting sind echte Pluspunkte. Nur ist „europäisch betrieben“ eben noch nicht dasselbe wie technologisch unabhängig ^^

Auch bei der öffentlichen Entwicklung sieht man das ganz nett. Mistral liegt auf Microsofts GitHub. Mit Codeberg gibt es ausgerechnet in Berlin eine gemeinnützige Forge, die sich bewusst als unabhängige Alternative zu kommerziellen Plattformen versteht. Mistral muss die natürlich nicht benutzen und GitHub funktioniert hervorragend. Aber „Built for AI sovereignty“ auf GitHub hat schon seinen eigenen kleinen Humor

Dass das kein spezielles Mistral Problem ist, sieht man auch beim europäischen Hardware Unterbau. JUPITER hat mit Mistral Large 4 nichts zu tun, zeigt aber ziemlich gut, wie schwierig das Wort „Souveränität“ in der Praxis wird. Der große Booster läuft auf tausenden NVIDIA GH200, während der europäische Rhea1 in einen anderen Teil des Systems kommt.

Bei Halbleitern wird es fast ironisch. Europa baut durchaus Fabs und mit ASML sitzt hier sogar einer der wichtigsten Hersteller für modernste Lithografie. Bei High End KI Beschleunigern hängen wir trotzdem stark an außereuropäischen Anbietern und Fertigung. Wir liefern also einen entscheidenden Teil der Maschinen, mit denen anderswo die modernsten Chips entstehen und kaufen anschließend die fertigen Beschleuniger zurück.

Irgendwie auch Kreislaufwirtschaft

Und dann gibt es noch Kolibri aus Heidelberg. 78 Milliarden Parameter, rund 3 Milliarden davon aktiv, bis zu eine Million Token Kontext, Apache 2.0 und klarer Fokus auf Deutsch, Verwaltung und Industrie. Keine direkte 1 zu 1 Konkurrenz zu Large 4 und auch nicht automatisch besser. Trotzdem fliegt das Modell erstaunlich weit unter dem Radar. Selbst bei CB finde ich bisher keinen eigenen Artikel dazu und im aktuellen Mistral Thread werden weder Kolibri noch Aleph Alpha erwähnt.

Wobei auch dort der nächste Twist wartet. Aleph Alpha soll mit dem kanadischen Cohere zusammengehen, der Deal ist noch nicht abgeschlossen. Europa entwickelt also durchaus interessante Technik. Nur endet die Geschichte nicht automatisch an der europäischen Grenze ^^

Und bevor jemand den Finger hebt... ja, auch Kolibri wurde auf NVIDIA Hardware trainiert. Eben. Genau das ist mein Punkt. Ich erwarte keinen magischen europäischen KI Wunderkasten, bei dem Chip, Fertigung, Software, Forge und Modell aus derselben Garage in Heidelberg kommen.

Mistral hat echte Pluspunkte. Ein europäisches Open Weight Modell mit eigener Infrastruktur und Self Hosting ist etwas Gutes. Nur sollten wir „europäisch entwickelt“, „europäisch betrieben“, „europäisch kontrolliert“ und „technologisch unabhängig“ nicht in einen Topf werfen.

Wenn irgendwann wieder „Europa ist jetzt souverän“ auf der Marketingtapete steht, würde ich vorher vielleicht kurz git remote -v ausführen und den Serverdeckel hochheben. Nur so aus Neugier ^^

Sonst wird aus „Made in Europe“ irgendwann einfach „Europe Edition“. Internationaler Unterbau, europäische Kontrolle und ein neues Etikett obendrauf.

Kann sinnvoll sein. Ist nur etwas anderes als Unabhängigkeit

Sorry... musste ich echt mal loswerden 🫢
 
  • Gefällt mir
Reaktionen: Meliodas2077, ThirdLife, Ollee und 4 andere
ThirdLife schrieb:
$0,27 vs $1,13/Task, 227 vs 116 tok/s, 1,12 vs 1,46s TTFT, 12,16 vs 23s E2E, 1M vs 524k Context. Dazu ist DeepSeek 552B/16B active, ML4 1T/49B active.
Verstehe nur Bahnhof, hast du ein paar Quellen sich da einzulesen? Leider ist mein Infostudium schon zu lange her für sowas, da gab es nur ein paar einfache neuronale Netze für Aufgaben wie Handschrifterkennung..
 
Lora schrieb:
Und dann gibt es noch Kolibri aus Heidelberg. 78 Milliarden Parameter, rund 3 Milliarden davon aktiv, bis zu eine Million Token Kontext, Apache 2.0 und klarer Fokus auf Deutsch, Verwaltung und Industrie. Keine direkte 1 zu 1 Konkurrenz zu Large 4 und auch nicht automatisch besser. Trotzdem fliegt das Modell erstaunlich weit unter dem Radar. Selbst bei CB finde ich bisher keinen eigenen Artikel dazu und im aktuellen Mistral Thread werden weder Kolibri noch Aleph Alpha erwähnt.
Guter Punkt, hatte ich auch schon als News vorgeschlagen...

Konnte Kolibri noch nicht testen, bin sehr gespannt. Blöd ist nur leider - hat kein Vision und wenn man so kleine Modelle nutzt, dann wahrscheinlich weil der VRAM begrenzt ist und man sich entscheiden muss. Das Problem sehe ich auch bei Mistral - zu groß auf den "kleineren" GPUs um dann noch genügend Platz für Kontext und irgendwas anderes zu haben. Ich erschlage aktuell alles mit Gemma 4 31B FP8 mit Speculative Decoding, ordentlich t/s und habe immer noch genügend Platz für den Kontext und ein Embedding Modell. Natürlich kann Mistral besser Deutsch, aber das Paket von Gemma 4 muss man erstmal schlagen (kann aber auch nur meine bubble sein). Auch sowas wie Ministral 3 ist im Vergleich zu Gemma einfach nicht stark genug. Wenn ich KI Made in Europe unterstützen will, dann würde ich mich auf Modelle fokussieren, die auf 15-20 k Maschine laufen, weil sich das ein kleineres Unternehmen noch leisten kann. Diese ganzen großen Modelle, die schon RZ-Hardware brauchen, sind da nicht hilfreich.
 
  • Gefällt mir
Reaktionen: Lora
Wir haben immer die Wahl zwischen mistral und chatgpt. Also ich weiß nicht ob mein Arbeitgeber was verkackt hat aber mistral hat bisher immer nur Müll abgeliefert. Stand von ChatGPT von vor 2/3 Jahren. Also ein bisschen wie das KI Spaghetti Video mit Will Smith, so fühlt es sich jedenfalls an..
 
Ayo34 schrieb:
Vor 6 Monaten wäre es ein Top-Modell gewesen.
Ich glaub das ist etwas was viele schnell vergessen. Nach nem Jahr wurden die Top Player wieder eingeholt. Der Markt ist extrem hart umkämpft. Einen wirklichen dauerhaften Vorsprung kann sich da keiner rausholen.

Deswegen sehe ich das ganze weniger kritisch. Es mag sein, dass Europa den Chinesen oder Amerikanern 1 Jahr hinterher ist. Aber wenn wir es schaffen hier strategisch Autark bleiben zu können, ist das Ziel vollkommen erreicht.

Die irren Deals welche da in der USA ablaufen um das ganze anzufeuern sind alles andere als Stabil, da müssen wir nicht zwangsweise mit dem gleichen Geld um uns schmeißen
 
  • Gefällt mir
Reaktionen: Gaestle, Ayo34, Hornblower und eine weitere Person
Das Modell hat sicherlich noch einige Schwächen gegenüber den neusten und besten Modellen der mächtigsten Konkurrenten, aber die Entwicklung scheint mir im gesamten Markt aktuell derart schnell voranzugehen, dass sich das Blatt auch innerhalb von wenigen Monaten wieder wenden könnte.

Wenn sie die Schwächen in der Architektur ausfindig machen und beseitigen können, werden alle Karten neu gemischt - was natürlich auch für die gesamte Konkurrenz gilt.

So oder so ist es gut, ein europäisches Modell zu haben, um sich etwas unabhängiger von China und Amerika zu machen und sich gegen Wirtschaftsspionage abzusichern. Für Behörden und die meisten Menschen wird ein Modell wie dieses wohl absolut ausreichen. Sollten sie gegenüber den Marktführern nicht aufschließen können, wäre es also immer noch möglich, sich auf den europäischen Markt zu konzentrieren und die Modelle so anzupassen, dass sie auf europäische Bedürfnisse zugeschnitten sind und insbesondere mit Blick auf Datenschutz und Privatsphäre punkten können.
 
Nutze nur Duck.ai und die Ergebnisse sind ok bis bescheiden. Vor allem wenn ich die KI vor 6 Monaten nach PCs fragte empfahl diese immer AMD 5800 oder i5/i7 12400-12900. Wenn man neu kaufte war das doch alles sehr veraltet. Der Bildgenerator war ok als ich mal aus Spaß Windows Desktop Hintergründe erstellen ließ. Ansonsten nichts dafür ich ernsthaft Geld zahlen würde.
Ergänzung ()

conspectumortis schrieb:
Edit: Omg es ist immer noch nicht fertig. Ich lösche gleich wieder meinen Mistral Account.
Würde mir dafür nie ein Konto anlegen ich nutze nur duck.ai was das nicht liefert würde ich nicht nutzen.
 
Zurück
Oben