News AMD × Cerebras: Helios trifft Wafer-Scale Engine für ultraschnelles Inferencing

[Volker]

Es ist eine Ankündigung, die keiner auf der Bingo-Karte hatte: AMD kooperiert mit Cerebras für eine Ultra-Low-Latency-Inference-Datacenter-Struktur. Dafür wird das neue AMD-Helios-Rack mit Cerebras Wafer-Scale Engine gepaart, was zu einer fünf Mal höheren Anzahl an Tokens pro Sekunde pro Watt führen soll. Noch 2026 geht es los.

Zur News: AMD × Cerebras: Helios trifft Wafer-Scale Engine für ultraschnelles Inferencing

 

[ascer]

Und das ist genau, warum das ganze "Blase Blase ..." Quatsch ist. UseCases gibt es Unmengen und die Rentabilität hängt letztlich einzig und allein an "Token pro Dollar".

Jede GPU-Generation, jedes neue Produkt wie dieses hier, steigert die Effizienz und drückt die Kosten.
2-3 Generationen Hardware maximal noch und man ist selbst bei konservativen Effizienzsteigerungen allein durch den Hardwarefortschritt im profitablen Geschäft angekommen. (was auch ein so überschaubarer Zeitraum ist, dass Investoren bis dahin sicherlich nicht aufgeben und ihr Geld einfach abschreiben werden)

 

[CDLABSRadonP...]

Es ist eine Ankündigung, die keiner auf der Bingo-Karte hatte:

Würde mich wirklich wundern, wenn man auf der Erde eine Person finden würde, die das prognostiziert hätte...

 

[JP-M]

Jede GPU-Generation, jedes neue Produkt wie dieses hier, steigert die Effizienz und drückt die Kosten.

Korrekt. Aber die neuen Produkte müssen angeschafft und bestehende Hardware ergänzt oder getauscht werden. Sprich es muss erst noch mehr Geld in das System gepumpt werden, während die vorherigen Investitionen größtenteils noch immer nicht "wieder reingeholt" worden sind.
Das ist eben die Blase die dort wächst. Muss sie platzen? Nein. Wird sie platzen? Vielleicht.

 

[FrozenPie]

Und das ist genau, warum das ganze "Blase Blase ..." Quatsch ist.

Immer noch einer, der nicht verstanden hat, was hier als Blase bezeichnet wird. Hinweis: Es ist nicht die Techologie.

Außerdem gibt es bei den beteiligten Unternehmen auch noch die versteckten Schulden.

Spoiler

Bei Oracle stiegen die versteckten Schulden innerhalb von vier Jahren um das 30-Fache auf 273,3 Milliarden US-Dollar an. Ein wesentlicher Teil stammt vom Rechenzentrumsprojekt Stargate, das in Zusammenarbeit mit OpenAI entsteht.

Die Bank für Internationalen Zahlungsausgleich (BIZ) bezeichnet diese Form der Bilanzierung als Shadow Borrowing, die es möglichen Investoren erschwert, die tatsächlichen finanziellen Risiken abzuschätzen. Sobald die geplanten Rechenzentren ihren Betrieb aufnehmen, entsteht eine plötzliche Bilanzwirksamkeit, wodurch die damit verbundenen Schulden real werden.

Die betroffenen Unternehmen verweisen auf ihre zukünftigen Erträge, mit denen diese Schulden gedeckt werden sollen. So sollen etwa Microsoft, Alphabet und Amazon über Auftragsbestände für Clouddienste in Höhe von 1,45 Billionen US-Dollar verfügen. Bleibt die Nachfrage, etwa nach KI-Produkten, aber hinter den Erwartungen zurück, drohen den Konzernen große Wertminderungen und Verluste.

Genau das ist eine Blase.

Interessant ist auch noch der Cashflow in der Branche bzw. bei den großen Player: https://isaiprofitable.com/

 

[Chris007]

Würde mich wirklich wundern, wenn man auf der Erde eine Person finden würde, die das prognostiziert hätte...

cerebras macht das gleiche doch schon mit amazon chips.. da haben die die gleiche kombi von beiden systemen.. auch mit den gleichen 5x mehr token pro watt..
also ist jetzt nicht die mega überraschung

amd und cerebras sind übrigens beide partner von openai (openai hat in beide investiert). und openais größtes model sollte auch diesen monat auf cerebras kommen.. das heißt antworten kommen dann mehr als 10x so schnell

und da amd auch noch partner von anthropic is ist cerebras jetzt sehr gut aufgetellt.. deswegen ging deren aktie heute auch hoch und amd runter

 

[RAMSoße]

Ich staune immer wieder was AMD da so raus haut. Seit Jahren geht es bergauf. Klasse.

Sollte man Aktien con cerebras kaufen?...vielleicht

 

[ETI1120]

und da amd auch noch partner von anthropic is ist cerebras jetzt sehr gut aufgetellt.. deswegen ging deren aktie heute auch hoch und amd runter

Das Kernteam von Cerebras ist das SeaMicro team das AMD 2012 aufgekauft hatte.
Also da treffen sich alte Kollegen.

Würde mich wirklich wundern, wenn man auf der Erde eine Person finden würde, die das prognostiziert hätte...

Nach dem Börsengang nicht mehr. Aber Cerebras und Tenstorent fallen unter alte Bekannte ...

 

[lugge]

Bin nur ich verwundert, warum eine Wafer Scale Engine Hardware ist und keine Software? Ich mein klar, engine heißt auch Motor, aber sonst wird in dem Bereich doch mit engine eher eine Software bezeichnet?

 

[madmax2010]

Das Kernteam von Cerebras ist das SeaMicro team das AMD 2012 aufgekauft hatte.

TIL
SeaMicro fand ich verdammt spannend.
Und Cerebras Hardware macht einfach Spaß. 1000 Token/s sind schon heftig

Tenstorent fallen unter alte Bekannte ...

Gibt es eine US Halbleiterfirma, bei der Jim Keller keine bekannten / nicht gearbeitet hat?

 

[ETI1120]

Gibt es eine US Halbleiterfirma, bei der Jim Keller keine bekannten / nicht gearbeitet hat?

Es geht nicht um Jim Keller. Der Gründer von Tenstorent ist ein ehemaliger AMD Mitarbeiter den Jim Keller aus der Zeit bei AMD kennt. Jim Keller war der erste Investor bei Tenstorent und ging nach seinem Stint bei Intel so zu sagen heim.

nicht gearbeitet: Was Jim Keller angeht, die Liste ehemaliger Arbeitger ist kurz. Apple, AMD, Tesla, Intel. Die anderen gibt es nicht mehr.

Bekannte: So häufig wie manche Leute wechseln, ... Es sind alles Bekannte.

 

[TorenAltair]

Und das ist genau, warum das ganze "Blase Blase ..." Quatsch ist. UseCases gibt es Unmengen und die Rentabilität hängt letztlich einzig und allein an "Token pro Dollar".

Jede GPU-Generation, jedes neue Produkt wie dieses hier, steigert die Effizienz und drückt die Kosten.

Firmen bezahlen die Zeche nicht. Am Ende muss ein Verbraucher zahlen. Und das läuft mMn kolossal gegen eine Wand. Die Kosten steigen immer weiter, gleichzeitig aus Effizienzgründen (an sich eher Aktienkursgründen) werden Arbeitsplätze in großem Maße abgebaut aber genau die Leute sollen dann für irgendwelche Produkte und Dienstleistungen abseits der grundlegen Sachen wie Nahrung, Kleidung etc zahlen.
Wie soll das funktionieren?
Natürlich kann man nun sagen, ja dann muss man in Aktien o.ä. investieren. Zum einen wird das für viele nicht (mehr) möglich sein, zum anderen sind das alles nur rein gedachte Werte. In dem Moment wo dann ein paar Leute mehr das Geld brauchen zum Überleben und ihre Aktien abstoßen, gerät eine Lawine ins Rollen und die so tollen Werte, die man am Vortag noch hatte, sind plötzlich einfach weg, weil sie durch rein gar nichts gedeckt waren.

 

[ascer]

Korrekt. Aber die neuen Produkte müssen angeschafft und bestehende Hardware ergänzt oder getauscht werden. Sprich es muss erst noch mehr Geld in das System gepumpt werden, während die vorherigen Investitionen größtenteils noch immer nicht "wieder reingeholt" worden sind.
Das ist eben die Blase die dort wächst. Muss sie platzen? Nein. Wird sie platzen? Vielleicht.

Dem würde ich aus folgendem Grund widersprechen: eine (insbesondere gefährliche) Blase wäre es dann, wenn wie bei der Immobilienkrise niemand mehr die Häuser haben will und eine massive Abwertung stattfindet. Das wird hier aber gerade nicht passieren. Klar muss nochmal neue Hardware her, aber (1) ist die alte Hardware dann über Zeit ja auch abbezahlt sowie steuerlich abgeschrieben und (2) wird es halt mehr als genug Investoren geben. Und gerade sobald die Profitabilität gegebenen ist, werden die ein riesiges Interesse haben, so viel vom Markt zu übernehmen wie möglich. Das einzige, was also eventuell passieren wird, ist das z.B. einem Player wie OpenAI die Gelder ausgehen und restlichen Investoren dann die IP für wenige Groschen in Insolvenzverhandlungen kassieren. Die Entwicklung wird aber weiter so gehen und sicherlich auch noch mal schneller als z.B. das Internet bei der Dotcom "Blase".

 

[Backfisch]

@Volker

"Ultraschnelle Inferenz" klingt meines Erachtens deutlich besser und vermeidet einen überflüssigen Anglizismus. Die progressive Variante (inferencing) wäre auch in einem englischen Titel etwas holprig.

 

[Novasun]

Dem würde ich aus folgendem Grund widersprechen: eine (insbesondere gefährliche) Blase wäre es dann, wenn wie bei der Immobilienkrise niemand mehr die Häuser haben will und eine massive Abwertung stattfindet.

Warum sollte das hier nicht passieren? Wie oben jemand beschrieb, wenn die Nachfrage nach Ki einbricht weiol sich die Sache unterm Strich nicht rechnet haben die alle Hardware + Bauten die keiner will. Da hättest du also deine Abwertung - der scheiß kostet dann sogar noch richtig Kohle um es grundlegend funktionsfähig zu halten.
Und eine Blase platzt auch dann, wenn nicht 100% vom markt verschwinden. Bei den Summen, von denen wir inzwischen reden, wären schon 50% Überkapazität ein großes Platzen...

 

[Backfisch]

wenn die Nachfrage nach Ki einbricht weiol sich die Sache unterm Strich nicht rechnet

"Internet of Bugs" hat in seinem jüngsten Video die aktuellen Entwicklungen im Bereich der Sprachmodelle (vulgo KI) mit der Dotcom-Blase verglichen und einen wesentlichen Unterschied betont: Im Gegensatz zu damals gibt es kein Problem mit der Verbreitung des im Mittelpunkt stehenden Produkts. LLMs und ihre agentischen Sprösslinge werden von den Firmen massiv genutzt und hinsichtlich ihrer Wirtschaftlichkeit evaluiert. Es gibt sicherlich kein Problem mit der Nachfrage.

Was allerdings passieren könnte: Dass die hoch gegriffenen Versprechungen sich als falsch erweisen und ein Agent vielleicht doch nicht drölftausend deiner Arbeiter ersetzt - bzw. nur, wenn drölftausend andere Arbeiter zur Verfügung stehen, um das Chaos wieder zu ordnen.

Alphabet, Anthropic, OpenAI und all den anderen Firmen ist völlig klar, dass LLMs keine Superintelligenz darstellen und sich auch nicht zu einer solchen entwickeln lassen. Es sind Systeme, die äußert effizient Muster in den Trainingsdaten zur Erzeugung neuer Daten nutzen können. Sie sind in der Lage zwischen den Häppchen zu interpolieren und in vielen Fällen genügt das bereits für faszinierende Anwendungen, etwa beim Coding. Wie alle anderen neuronalen Netze können sie jedoch nicht sinnvoll über die Trainingsdomäne hinaus extrapolieren.

Die großen Firmen nutzen den aktuellen Investitionswahnsinn jedoch geschickt aus, um ihre Infrastruktur auszubauen und sich auf die nächste Sau vorzubereiten, die durch das Dorf gejagt wird.

 

[ascer]

Warum sollte das hier nicht passieren? Wie oben jemand beschrieb, wenn die Nachfrage nach Ki einbricht weiol sich die Sache unterm Strich nicht rechnet haben die alle Hardware + Bauten die keiner will.

Das ist doch genau der Punkt: Profitabilität, also ab wann sich das ganze rechnet. Optimisten gehen i.d.R. von 2-3x niedrigeren Kosten pro Token aus, im Durchschnitt hört man häufig irgendwas Richtung 5-10x niedrigeren Kosten...und selbst als Pessimist muss man anerkennen, dass spätestens irgendwo >20x niedrigere Kosten das ganze so günstig wird pro Token, dass die Technologie überall einzug halten wird. Und genug UseCases gibt es ja auch.

Und wir sehen anhand dieser News (und weiteren aus der Branche), dass wir 10x niedrigere Kosten definitiv bekommen werden und wir da nur von 1-2 max 3 Generationen neuer Hardware sprechen, die allesamt im Zeitraum bis etwa 2028 schon geplant sind. Also selbst sehr pessimistisch und mit Verzögerungen wird man im Zeitraum >=2030 das haben.

Sobald das gewährleistet ist, wird also massig Kasse gemacht. Und wir sehen doch, wie viele Milliarden von Investoren ausgegeben werden, nur um jetzt schon im KI-Markt einen Fuß in der Tür zu haben, wo noch kein Gewinn übrig bleibt aufgrund der Kosten. Was meinst du also, wie riesig das Interesse sein wird, sobald die Profitabilität gegeben ist?

Deshalb sage ich: das einzige, was passieren kann, ist das einigen Investoren / Unternehmen vor erreichen der Profitabilität das Geld ausgeht. Dann gibt es Insolvenzverhandlungen und die übrigen Player am Markt werden die aufkaufen, weil das geschenkte Marktanteile sind.

 

[TorenAltair]

wie viele Milliarden von Investoren ausgegeben werden

Nein, das tun sie nicht. Die "bezahlen" mit rein gedachten Werten, die aufgrund von einer Zahl für Anteilsscheine zu existieren scheinen. Das funktioniert aber nur so lange wie es auch Personen gibt, die diese Anteilsscheine auch zu dem gedachten Wert abnehmen und am Ende der Kette jemand ist, der für so einen Anteilsschein reales Geld hinlegt, das auch z.B. der Bäcker als Bezahlung akzeptiert.

Bricht diese Kette irgendwo sind die gedachten Werte viel weniger oder gar nichts mehr wert. Das ist genau das gleiche wie wenn es z.B. heißt Jeff Bezos hat 400 oder was auch Milliarden Dollar. Nein, hat er nicht. Würde er versuchen seine diversen Anteilsscheine zu diesem Geld zu machen, würde er a) wesentlich weniger bekommen als der imaginäre Wert es vor dem Verkauf suggeriert und b) eine Panik erzeugen, die gleich alle anderen mitreisst und den Wert nicht nur dieser Anteilsscheine verdampfen lässt sondern auch alle anderen Branchen, wo im Beispiel Bezos nicht einmal etwas verkaufen wollen würde.

 

[ascer]

Nein, das tun sie nicht. Die "bezahlen" mit rein gedachten Werten, die aufgrund von einer Zahl für Anteilsscheine zu existieren scheinen. Das funktioniert aber nur so lange wie es auch Personen gibt, die diese Anteilsscheine auch zu dem gedachten Wert abnehmen und am Ende der Kette jemand ist, der für so einen Anteilsschein reales Geld hinlegt, das auch z.B. der Bäcker als Bezahlung akzeptiert.

Nein, das tun sie nicht. OpenAI, Anthropic usw. bekommen Datacenter, GPUs, ... ja nicht gegen shares, die bezahlen mehrheitlich dafür.

MS hat z.B. über 13 Milliarden Dollar direkt an OpenAI bezahlt. Aus dem SEC Report von Amazon z.B. geht auch hervor, dass sie mehr als 8 Milliarden Dollar direkt an Anthropic bezahlt haben. Cash payments (also wire, nicht bar im Sinne von Scheinen natürlich).

Auch das ganze VC Money an OpenAI & Co. waren größtenteils cash payments.

Es gab zusätzlich auch Investments z.B. in Form von AWS/Azure Kapazitäten, aber es gab durchaus von vielen Investoren direkte Investitionen in Dollar.

Bricht diese Kette irgendwo sind die gedachten Werte viel weniger oder gar nichts mehr wert. Das ist genau das gleiche wie wenn es z.B. heißt Jeff Bezos hat 400 oder was auch Milliarden Dollar. Nein, hat er nicht. Würde er versuchen seine diversen Anteilsscheine zu diesem Geld zu machen, würde er a) wesentlich weniger bekommen als der imaginäre Wert es vor dem Verkauf suggeriert und b) eine Panik erzeugen, die gleich alle anderen mitreisst und den Wert nicht nur dieser Anteilsscheine verdampfen lässt sondern auch alle anderen Branchen, wo im Beispiel Bezos nicht einmal etwas verkaufen wollen würde.

Ja, aber (A) hat der Aktienmarkt schon immer so funktioniert und (B) hat das nichts mit dem Thema zu tun.

 

[Backfisch]

Kosten...und selbst als Pessimist muss man anerkennen, dass spätestens irgendwo >20x niedrigere Kosten das ganze so günstig wird pro Token, dass die Technologie überall einzug halten wird. Und genug UseCases gibt es ja auch.

Rechnet sich das Geschäft dann auch noch für die Anbieter der Sprachmodelle?