News OpenAIs erster eigener Chip: Jalapeño soll KI-Abfragen effizienter beschleunigen

[PhiE]

OpenAI und Broadcom haben mit Jalapeño den ersten von OpenAI entworfenen KI-Beschleuniger vorgestellt. Der Chip ist nicht für das Training neuer Modelle gedacht, sondern für die Inferenz: Er soll also Anfragen an große Sprachmodelle wie ChatGPT, Codex oder API-Dienste effizienter verarbeiten. Konkrete Leistungsdaten fehlen noch.

Zur News: OpenAIs erster eigener Chip: Jalapeño soll KI-Abfragen effizienter beschleunigen

 

[Chismon]

Und diesen Sprachmodell-Chip braucht welcher Verbraucher aktuell und wozu (welchen echten Mehrwert soll dieser denn bieten ... etwas mehr Effizienz und dann was, bekomme ich die KI-Chatbot Antworten dann etwas schneller, was ja dann auf Basis des eingesetzten Kapitals wirklich ein ganz "nachhaltiger und großer Wurf" wäre) ?

Des Weiteren, für diesen Unsinn wurden wie viele Milliarden von OpenAI/Altman verbrannt (na gut, Broadcom dürfte davon auch profitiert haben als Teil der ponzi-schema-artigen KI-Kreislaufwirtschaft)?

Überfällig, daß die KI-Blase platzt und OpenAI auf Ihren Chips/Service sitzen bleiben.

 

[Rickmer]

Was ich mich bei solchen Eigenentwicklungen frage ist, ob die Architektur vom Beschleuniger mit der nächsten signifikanten Änderung in AI-Architektur überleben wird/kann, oder ob die Beschleuniger dann plötzlich inkompatibel sind...

Desweiteren - ist der Beschleunigung ausschließlich für LLM Aspekte, oder kann das Teil die moderneren Agent Workloads beschleunigen?
Bzw., wie viel CPU braucht es zusätzlich zu dem Jalapeno Chip?

für diesen Unsinn wurden wie viele Milliarden von OpenAI/Altman verbrannt

Da OpenAI schon 2024 ~2 Milliarden auf Inferenz ausgegeben hat (Tendenz stark steigend) ist eine Investition in einen effizienterer Chip nicht komplett deplatziert...

 

[FrAGgi]

Und diesen Sprachmodell-Chip braucht welcher Verbraucher aktuell

Das ist doch gar nicht für Endverbraucher.

Jalapeño dürfte vorerst vor allem OpenAIs eigene Infrastruktur ergänzen. Der Chip ist auf Inferenz zugeschnitten und damit nicht automatisch ein Ersatz für GPUs, die weiterhin beim Training großer Modelle und für flexible Rechenlasten wichtig bleiben. Für OpenAI kann ein eigener ASIC dennoch strategisch wichtig sein: Je besser Hardware, Software, Modelle und Dienste aufeinander abgestimmt sind, desto stärker lassen sich Kosten, Energiebedarf und Verfügbarkeit beeinflussen.

Die Dinger stehen bei OpenAI und sollen dort für die Verbesserungen sorgen.

 

[Chismon]

ist eine Investition in einen effizienterer Chip nicht komplett deplatziert...

Solange OpenAI das finanziell überlebt vielleicht nicht (was aber nicht automatisch heisst, dass es dem Gemeinwohl förderlich wäre), aber bei den Geschäftszahlen (Ausgaben und mangelnder Profitabilität) sieht es nicht danach aus.

Inwieweit das mehr Akzeptanz von Verbrauchern für KI (wobei das mittlerweile ja fast schon exklusiv auf LLMs und KI Agenten bezieht und andere wirklich innovative KI Bereiche wie z.B. Machine Learning in der öffentlichen Wahrnehmung nicht oder kaum vorkommen und bei Investitionen die hinteren Sitze einzunehmen scheinen) schafft, sehe ich jedenfalls noch nicht, sondern nur horrende Ausgaben, andere (künstlich dadurch) in Mitleidenschaft gezogene Industriebereiche, gestörte Liefer- und Produktketten und gesteigerte Inflation, nur damit eine Handvoll IT-CEOs/Oligarchen auf Kosten anderer sich austoben können und weil diese davon träumen damit künftig die Welt zu beherrschen.

 

[supertramp]

Das dürfte sehr scharf werden, hoffentlich verbrennt sich niemand daran.

 

[Chismon]

doch gar nicht für Endverbraucher.

Die dürfen den Kram doch insgesamt bezahlen (angedacht ist, dass das direkt als Investoren, indirekt über Steuern oder vorzugsweise durch deren Daten und den Kauf von Produkten oder Dienstleistungen, die diese Sprachmodell-Chips nutzen, geschieht), denn anders lässt sich das (diese KI Blase) nicht dauerhaft finanzieren.

Ergänzung (25. Juni 2026)

Die Dinger stehen bei OpenAI

Nur von Luft und Liebe lässt sich OpenAI eben nicht dauerhaft am Leben halten, geschweige denn profitabel werden.

 

[FrAGgi]

Du magst KI nicht. Verstanden.
Dennoch war deine Aussage komisch, denn ich verstehe nicht worauf deine Kritik abzielt.

Sie entwickeln etwas um effizienter sein zu können. Passiert jeden Tag in jedem Unternehm in unterschiedlichem Umfang. Warum sollte das bei einem KI Unternehmen anders sein?

 

[Cabranium]

Kann mir jemand erklären was mit Inferenz gemeint ist? Ich verstehe das diese Chips mehr effizienz im laufenden Betrieb bieten. Also sie sind für fertige Modelle optimiert.

 

[Tenferenzu]

Und diesen Sprachmodell-Chip braucht welcher Verbraucher aktuell und wozu

Das ist etwas zu kurz gedacht. Wenn der Chip z.B. 100x schneller ist wie eine GPU, dann sinkt auf einmal der Bedarf an großen GPUs und GPU Speicher für den Anwendungsfall. GPU Mining bei diversen Kryptowährungen wurde ja auch durch die ASICs obsolet.

 

[Chismon]

Wenn der Chip z.B. 100x schneller ist wie eine GPU, dann sinkt auf einmal der Bedarf an großen GPUs und GPU Speicher für den Anwendungsfall.

Ich bestreite ja auch nicht, daß es der neue Chip es jetzt nicht schneller/effizienter schafft, aber im Hinblick auf die Anwendungen/Mehrwert für die Gesellschaft scheint es nichts neues zu bringen, sondern eben vordergründig LLM-bezogen/-limitiert und da fragt sich dann, wie weit man das zu welchen Kosten eigentlich noch treiben möchte (wenn es nicht ohnehin mangels Mehrwert komplett ausgeartet ist).

 

[Slowz]

@Chismon Das Potenzial von LLMs ist halt noch lange nicht ausgeschöpft. Das Problem ist, dass viele Leute (evtl. inkl. dir?) meinen, Chatbots seien der einzige Anwendungsfall von LLMs. Die Anwendungen sind so viel diverser (Medizin, Softwareentwicklung, 3D-Modellierung, ...). Wir reden hier von Foundation Models, die im Grunde in jeder Modalität Aufgaben übernehmen können.

 

[DeusExMachina]

Was ich mich bei solchen Eigenentwicklungen frage ist, ob die Architektur vom Beschleuniger mit der nächsten signifikanten Änderung in AI-Architektur überleben wird/kann, oder ob die Beschleuniger dann plötzlich inkompatibel sind...

Nein das sollen sie auch auch gar nicht.

Das sind Spezialisierte Lösungen die das ganze Allrounder Fett wegschneiden und dadruch effizienter sind.
Das sie bei einer gravierenden Änderung nutzlos werden ist eingepreist

 

[Pyroplan]

Und diesen Sprachmodell-Chip braucht welcher Verbraucher aktuell und wozu (welchen echten Mehrwert soll dieser denn bieten ... etwas mehr Effizienz und dann was, bekomme ich die KI-Chatbot Antworten dann etwas schneller, was ja dann auf Basis des eingesetzten Kapitals wirklich ein ganz "nachhaltiger und großer Wurf" wäre) ?

Des Weiteren, für diesen Unsinn wurden wie viele Milliarden von OpenAI/Altman verbrannt (na gut, Broadcom dürfte davon auch profitiert haben als Teil der ponzi-schema-artigen KI-Kreislaufwirtschaft)?

Überfällig, daß die KI-Blase platzt und OpenAI auf Ihren Chips/Service sitzen bleiben.

chill mal
Mehr Effizienz kann für uns alle nur gut sein. Genauso dedizierte Chips, damit ggf mal wieder ein paar GPUs für uns abfallen.

Dazu: Ein "platzen" der KI Blase, wird kein verschwinden von AI bedeuten.
AI ist schon heute nicht mehr wegzudenken - sowohl im privaten als auch im professionellen Umfeld.
Wenn du das anders siehst, dann nutzt du AI ggf. falsch.
Ein Platzen der Blase wird nur dafür sorgen, dass die mini-startups verschwinden, aber die großen Player werden bleiben - genauso wie der Bedarf nach AI.

 

[theGucky]

Von ersten Wafer bis zum Massen-Deployment dauert es eine ganze Zeit lang.
Bis dahin haben Nvidia und AMD längst wieder bessere Chips...

Ergänzung (25. Juni 2026)

Das ist etwas zu kurz gedacht. Wenn der Chip z.B. 100x schneller ist wie eine GPU, dann sinkt auf einmal der Bedarf an großen GPUs und GPU Speicher für den Anwendungsfall.

Und dann gibt es trotzdem keine Chips mehr, weil z.b. TSMC nur noch Bestellungen für den KI-Chip hat und kein Platz mehr für GPUs...
Und Speicher braucht man immer in einer Form oder einer anderen.

 

[Rickmer]

Wenn der Chip z.B. 100x schneller ist wie eine GPU, dann sinkt auf einmal der Bedarf an großen GPUs und GPU Speicher für den Anwendungsfall.

Ich werde vom Stuhl fallen wenn die auch nur 10x erreichen... tatsächlich glauben tue ich an noch deutlich weniger.
Allein schon weil LLMs extrem von der Speicherbandbreite abhängig ist und da gibt's auch bei ASICs deutliche Limits, was man tun kann.

Von on-die Cache sind LLMs komplett unbeeindruckt, das sieht man schon daran, dass die RTX 3090 kaum langsamer ist als die 4090 in LLM Benchmarks.

 

[[F]L4SH]

Das ist etwas zu kurz gedacht. Wenn der Chip z.B. 100x schneller ist wie eine GPU, dann sinkt auf einmal der Bedarf an großen GPUs und GPU Speicher für den Anwendungsfall.

Das ist ja eine niedliche Sichtweise 😅
Wenn der Chip 100x effizienter ist, werden einfach nochmal 99 mehr dazu gestellt um mit dem gleichen Powerbudget mehr "KI" zu kriegen.
Da wird nichts effizienter oder weniger sondern nur immer mehr und mehr.

 

[SKu]

Kann mir jemand erklären was mit Inferenz gemeint ist?

Modellausführung. KI-Inference ist nichts anderes als der reine Ausführungsprozess nach dem Training, bei dem das Modell auf den Input bezogen einen Output auf Basis des erlernten "Wissens" generiert. Es geht hier also um Effizienzsteigerung nach dem Training, quasi das Beschleunigen von Aufgaben/Prozessen in der Inference-Pipeline (Tools, Skills, etc.).

 

[aLanaMiau]

Yay, noch weniger Fertigungskapazitäten. 🎉

 

[Chismon]

Das Problem ist, dass viele Leute (evtl. inkl. dir?) meinen, Chatbots seien der einzige Anwendungsfall von LLMs.

Hm, ich bin also Teil des Problems, weil ich zu kritisch bin und nicht die KI Konzerne in Ihrem aktuellen Größenwahn auf Basis einer ponzi-schamhaften Kreislaufwirtschaft, die nichts als blendet und wenig nachhaltig ist bzw. andere Wirtschaftsbranchen massiv belastet und das Leben rigoros verteuert und Existenzen zunehmend ruinieren verteuert, feiere.

Diejenigen, die unsinnig und massiv Geld mit LLMs seit Jahren verschleudern (schon jetzt so horrend verschuldet sind, daß diese das höchstwahrscheinlich auch mit ioptimistischen Szenarios niemals amortisisieren werden können) und davon profitieren wollen (also die IT-CEOs/Oligarchen zuvorderst) sind leider zunehmend das Problem und ich hoffe, das sich das bald nach Platzen der Blase für einen Großteil dieser daran beteiligten Unternehmen erledigt haben wird.

Welchen größeren Sinn bzw. Daseinberechtigung haben denn Kryptowährungen für die Allgemeinheit gehabt, außer das von diesen massiv das organisierte Verbrechen bzw. Korruption gefördert wird.
Der ganze KI Hype um LLMs, die eben nur Sprachmodelle sind und wo sich irgendwann weitere Optimierung kaum noch lohnt, da diese überproportional Ressourcen fressen und schon seit längerem das Modell nicht mehr nachhaltig finanzierbar ist, geht in die gleiche Richtung unsinnige Richtung und wird oft als pseudo-wissenschaftlicher Fortschritt (der auf Kosten anderer das superreiche Pack der o.g. IT-Oligarchen noch reicher und mächtiger machen soll) vermarktet.

Mit Sprachmodellen - die zum Großteil noch rechtlich sehr frawgwürdig die Datenquellen anderer anzapfen/missbrauchen und darauf basieren - alleine wirst Du insgesamt nicht viel reißen, denn dazu brauchst Du schon Machine Learning und Neuralnetzwerke, um die Prozesse zu optimieren und Prozesstechnik anzulernen, wohingegen LLMs sich eher auf ungefilterte Datenverwaltung und Geisteswissenschaften beschränken, aber womit eben nicht von echten und verlässlichen/wissenschaftlichen Sensorendaten, o.ä. KI angelernt wird (in ingenieurstechnischen und naturwissenschaftlichen Anwendungsbereichen, die im Gegensatz zum LLM/Sprachmodell-Hyped einen echten und nachhaltigen Mehrwert für die Gesellschaft bringen könnten).

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

KI an sich ist sicherlich nicht unnütz, aber so pervers, einseitig und wenig nachhaltig, wie die sprichwörtliche "(LLM) KI Sau" aktuell durch das Dorf getrieben wird, ist das leider so und darunter leidet leider auch die sinnvolle, seriöse KI Forschung (im Bereich Machine Learning und Neural Networks) auch wenn diese - mit dieser korrupten Ponzi-Schema-Kreislaufwirtschaft getrieben von OpenAI und Anthropic - wenig zu tun hat.