News AMD Instinct MI350: Mit bis zu 1.400 Watt und neuem Package gegen Goliath Nvidia

[Popey900]

Respekt, wie AMD sich in den letzten 7 Jahren entwickelt hat.

 

[Chismon]

Man darf auch nicht vergessen dass die Hyperscaler eigene Chips haben.

Ja, das stimmt, aber die sind i.d.R. nur sehr speziell einsetzbar bzw. eher darauf getrimmt spezifische (hauseigene) K.I. Szenarien abzudecken (der Meta-Ansatz einmal ausgenommen).

Wie erwähnt, der Markt für K.I. Beschleuniger ist noch in Bewegung und da ist massig mehr Platz als für nVidia und AMD, die bisher nicht wirklich beeindruckend effizient arbeiten, was für Tenstorrent und andere sicherlich ein Ansatz sein könnte.

Ich würde mir einen RISC-V Durchbruch dort wünschen und keine dauerhafte Marktdominanz durch nVidia (ebenso wie effizientere/profitablere ASICs damals auch dGPUs schnell beim Kryptomining abgelöst bzw. eher überflüssig gemacht haben).

Klar, auf der Finanzierungsseite haben Großkonzerne wie nVidia und AMD natürlich ganz andere Möglichkeiten als Newcomer wie Tenstorrent und andere, was aber (spätestens seit DeepSeek) nicht unbedingt heisst, dass die aktuell dominanten/stark marktkapitalisierten Unternehmen bessere Ideen, Lösungen und Produkte haben.

 

[BAR86]

Ich frage mich, ob es in der Familie von Jensen Huang und Lisa Su noch jemanden gibt, der Intel wieder auf Kurs bringen kann.

Wenn Intel nicht so geschlafen hätte... tjo.
Aber wenn sie dran bleiben reicht vielleicht auch ein kleineres Stück von diesem enorm umsatzstarken Markt

 

[Ayo34]

Ob das wirklich gut ist sieht man, wenn die Firmen auch endlich mal bei AMD groß für AI einkaufen und nicht nur bei Nvidia... am Ende können eigene Balken viel zeigen, aber der entscheidende Faktor ist ja immer die Leistung in Bezug auf den Verbrauch.

 

[BAR86]

@Ayo34 der Markt ist im Moment noch so im Wachstum, dass fast nur die größeren Firmen investieren und die kaufen im Moment das Beste was es gibt. Vielleicht weil in 2 Jahren eh wieder alles ersetzt wird. Der Markt wird sich aber irgendwann stabiliseren und dann ist der Kostenfaktor, Effizienzfaktor usw eben auch wichtig.

 

[PERKELE]

Mal schauen, ob hier Leute ankommen mit Fragen wie

Du hast die essentiellste Frage ueberhaupt vergessen:
But can it run Crysis?

 

[BAR86]

@PERKELE Hat die Frage auf der GPU Seite nicht eigentlich schon seit 2009 einen Bart?
Ich meine ist Crysis 1 nicht hauptsächlich wegen seines damals schon rückständigen CPU Codes limitiert?

 

[PERKELE]

@BAR86 Klar traegt er jetzt einen Bart. Er ist ja nun auch aelter.
Aber mal im Ernst, das war sarkastisch gemeint.

 

[Ezeqiel]

@PERKELE Hat die Frage auf der GPU Seite nicht eigentlich schon seit 2009 einen Bart?
Ich meine ist Crysis 1 nicht hauptsächlich wegen seines damals schon rückständigen CPU Codes limitiert?

Ist ja nicht so, als wenn nicht auch heute noch vereinzelt Menschen fragen würden, ob Doom nicht auch auf diesem Fieberthermometer da drüben zum Laufen gebracht werden könnte.....

 

[BAR86]

Ist ja nicht so, als wenn nicht auch heute noch vereinzelt Menschen fragen, ob Doom nicht auch auf diesem Fieberthermometer da drüben zum Laufen gebracht werden könnte.....

ja, aber das ist ja was anderes.
Doom auf was ungeeignetem zum Laufen bringen ist ein Kunst (bzw. gibt s eine ganze Szene, schließlich gibts ja auch Bücher die sich mit dem Source Code auseinandersetzen usw.), bei der man zeigt wie genial die Engine ist und wie gut die Programmierkenntnisse desjenigen sind, der es dann umsetzt. Bei Crysis ist es das eben nicht. Man isntalliert es - aha läuft - und fertig.

 

[Ezeqiel]

ja, aber das ist ja was anderes.

Ja, das ist schon wahr. Wenn man andererseits so will, spielte bei Entwicklungen wie denen, um die es hier geht, die Optimierung auf Crysis oder ähnlichem so gar keine Rolle, null, nada. Insofern könnte man da gleichfalls "ungeeignet" sagen, wenngleich hier im Sinne von "totally oversized", was weniger mit der hardwaremäßigen Leistung zu tun hat (irgendwer würde sich z.B. finden, der da 'nen Treiber programmiert.....).

 

[icemanspirit]

Klar, auf der Finanzierungsseite haben Großkonzerne wie nVidia und AMD natürlich ganz andere Möglichkeiten als Newcomer wie Tenstorrent und andere, was aber (spätestens seit DeepSeek) nicht unbedingt heisst, dass die aktuell dominanten/stark marktkapitalisierten Unternehmen bessere Ideen, Lösungen und Produkte haben.

Wüsste nicht was hier DeepSeek mit zu tun hat? DeepSeek wurde doch auf Nvidia H20 oder so trainiert. China hat auch seine ganz eigenen Beschleuniger. Zum Beispiel die Rack-Systeme von Huawei.

Bin hier insgesamt doch eher skeptisch. Der AI-Markt ist groß, aber am Ende muss die Software stimmen, und niemand wird seine optimierten Kernel mit viel Aufwand alle paar Jahre umschreiben. Da existiert schon ein gewisser Lock-in Effekt.

 

[Chismon]

Der AI-Markt ist groß, aber am Ende muss die Software stimmen, und niemand wird seine optimierten Kernel mit viel Aufwand alle paar Jahre umschreiben. Da existiert schon ein gewisser Lock-in Effekt.

Das ist sicherlich richtig, dass nVidia versuchen wird den Großteil der Nutzer per proprietärem System (und Ausschluss der Plattformen der Konkurrenten) so auf sich fest zu legen, dass - ähnlich wie bei CUDA - nur wenige Alternativen bleiben und ein Umstieg mit der Zeit auf diese erschwert werden dürfte.

Aus dem Grund ist ein offenerer Ansatz (wie Tenstorrent diesen bspw. bietet) eigentlich auch aus Sicht der Nutzer vorteilhaft, nur ist dann eben die Frage wie sehr nVidia die Marktmacht bei den (potentiellen) Kunden im K.I. Bereich wird ausspielen können und ob sich jetzt schon Kunden darauf (permanent) festlegen wollen.

Ich setze/hoffe aber darauf, dass die meisten Kunden keine Abhängigkeit und wieder quasi-monopolistische Verhältnisse zugunsten nVidias erschaffen wollen, weswegen Microsoft, Google, Amazon und Meta bspw. auch eigene Entwicklungen verfolgen.

 

[stefan92x]

Wüsste nicht was hier DeepSeek mit zu tun hat? DeepSeek wurde doch auf Nvidia H20 oder so trainiert.

Aber auf vergleichsweise wenigen, nicht in einer "AI Gigafactory" oder wie die Amis den Bullshit nennen

 

[bensen]

Die beiden IODs haben bei Instinct MI350 eine viel breitere Verbindung untereinander, bis zu 5,5 TByte pro Sekunden können hier ausgetauscht werden.

Naja sind ja auch doppelt so viele Dies pro IOD. So viel breiter ist das in Summe dann nicht mehr.

Wisst ihr wie schnell die Anbindung der XCD auf einem IO Die ist?

 

[xxlrider]

1400 Watt Grafikkarte ????

 

[Ayo34]

@xxlrider Naja... ob eine GPU 1400 Watt verbraucht und 100% Leistung schafft oder 10 GPUs mit jeweils 140 Watt laufen um auf 100% Leistung zu kommen, ist ja erstmal relativ egal.

Interessant ist die Effizienz und nicht der Verbrauch.

 

[icemanspirit]

Das ist sicherlich richtig, dass nVidia versuchen wird den Großteil der Nutzer per proprietärem System (und Ausschluss der Plattformen der Konkurrenten) so auf sich fest zu legen, dass - ähnlich wie bei CUDA - nur wenige Alternativen bleiben und ein Umstieg mit der Zeit auf diese erschwert werden dürfte.

Aus dem Grund ist ein offenerer Ansatz (wie Tenstorrent diesen bspw. bietet) eigentlich auch aus Sicht der Nutzer vorteilhaft, nur ist dann eben die Frage wie sehr nVidia die Marktmacht bei den (potentiellen) Kunden im K.I. Bereich wird ausspielen können und ob sich jetzt schon Kunden darauf (permanent) festlegen wollen.

Gute AI-Labs nutzen nicht CUDA direkt sondern setzen eher auf DSLs welche sie oft selbst beherrschen. Beliebt hierbei ist eher Triton. Um es Mal von der Compiler-Seite her auszudrücken, Tensortorrent bietet nichts was es nicht bereits gibt. Tensortorrent nutzt einen offenen MLIR Compiler, den gleichen Ansatz welchen Triton (OpenAI, Meta unter Anderem), IREE (AMD), XLA (Google) zum Beispiel verfolgen.

Was danach übrig bleibt ist die Hardware, bei wessen Rechenpower TensorTorrent bisher kein Land sieht.

Aber auf vergleichsweise wenigen, nicht in einer "AI Gigafactory" oder wie die Amis den Bullshit nennen

Das ist eher eine Mirage. Ja, der eine Run welcher DeepSeek-R1 hervorbrachte ist nicht sonderlich "groß", aber ist DeepSeek ein Ausdruck davon dass man aufhört die Rechenpower auf der Pretraining-Seite zu skalieren, sondern mehr und mehr in das Mid-Training (Reinforcement Learning), oder Post-Training (Fine-Tuning) verschiebt. DeepSeek ist zudem sehr schwer in der Inferenz zu beherrschen weil man bei den vielen Experten davon diese in GPUs "heiß" halten muss und somit gewaltige Routingprobleme als auch Auslastungsprobleme kriegt.

An sich brauchen alle Reasoning-Modelle mehr Compute während der Inferenz weswegen große Labs immer mehr auch die alten GPUs in ihren Flotten halten für solche Zwecke.

 

[Popey900]

1400 Watt Grafikkarte ????

Kinder, ein Airbus A380 verbraucht auch etwas mehr wie ein Smart.

 

[heroesgaming]

Oh, das die beiden verwandt sind, wußte ich gar nicht. 🫣

Interessante Info, danke dafür. 😎

Ihre Familie ist für die Chip-Industrie insgeheim das, was die Rothschilds für die Hochfinanz sind ... sie DOMINIEREN uns ALLE!

Spaß beiseite, ich wusste das schon länger, lustig ist es dennoch - und der Gedanke, einen weitere Cousin für Intel abzuzweigen, vermutlich konsequent