News AI-Beschleuniger Gaudi3: Der nächste Herausforderer für Nvidia H100/H200 und B200

[Kadett_Pirx]

Naja, mal sehen, was von den mal wieder vollmundigen Angaben von Folienweltmeister Intel in der Praxis übrig bleibt.
Was ist eigentlich die Technik hinter Gaudix?

 

[Rockstar85]

Uh intel will auch endlich mal bei AI mitmachen ? Mal gucken ob sie über ihre Folien hinaus auch in der Wirklichkeit Punkten können. Bisher war da ja immer eine ..ehm..klitzekleine Diskrepanz

Hey, dafür kann Intel endlich mal wieder Seitenhiebe, so als Marktführer austeilen

Ach Intel wäre ohne TSMC aufgeschmissen? Details xD ich nehme die Produkte ernst, wenn sie verfügbar sind. Vorher ist Intel derzeit nur gut im Buzzword Bingo.

 

[Weyoun]

Was für eine Gaudi...

Sorry, ich konnte nicht widerstehen.

 

[St3ppenWoLF]

Ich komme mit dieser Bezeichnung als Münchner einfach nicht klar.

Das wird noch weit schlimmer, je weiter man ins ländliche (grob Richtung Salzburg) kommt ^^
Ich bin z.B. in Gelächter ausgebrochen und hab' meine Frau aufgeweckt 😅

 

[DaBo87]

Als Oberösterreicher muss ich auch jedes Mal schmunzeln, müsste man mal die Israelis fragen wie die auf den Namen gekommen sind

@Topic
Das sieht alles recht gut aus und wenn man bedenkt, dass Gaudi2 neben Nvidia die einzigen auf Mlperf sind könnte das für Intel's AI Strategie gute Früchte tragen.

Antonio Gaudi ist hier wohl der Namensgeber

 

[iNFECTED_pHILZ]

Hey, dafür kann Intel endlich mal wieder Seitenhiebe, so als Marktführer austeilen

Marktführer in was ? CPUs ja. AI ist ja quasi nicht vorhanden.

Ach Intel wäre ohne TSMC aufgeschmissen? Details xD ich nehme die Produkte ernst, wenn sie verfügbar sind. Vorher ist Intel derzeit nur gut im Buzzword Bingo.

Und da sind sie top drin. Volker geht da ja voll mit und suggeriert mit solchen Artikeln wie hier, dass Intel kurz vorm Durchbruch im AI steht.
Die Vergangenheit hat aber gezeigt was von Folien aus dem Hause Intel zu halten ist. Insbesondere bei Benchmarks sind sie schon immer sehr kreativ gewesen.

 

[lynx007]

Mit so ein Gaudi oder H200 Chip kannste theoretisch die nächsten 10 Jahre Games auf Ultra in 4K zocken.
Ich will meinen, vielleicht wird HBM bezahlbar und wir habe eine 500€ CPU die eine richtig fette Grafikkarte verbaut hat.

Nein vermutlich nicht... das sind doch keine GPUs mehr. Das sind AI Chips. Intel wirbt sogar damit, dizzt NV, das ihre Gaudi Chios neuentwicklungen ohne GPU-"altlasten" sein soll und daher noch viel besser, bla bla....

Klar, ich kann auch auf einen CPU und sicher auch auf nem AI Chip nen Spiel rendern.... aber 4k... und so das es nicht wie Pacman aussieht?!

 

[Rockstar85]

Marktführer in was ? CPUs ja. AI ist ja quasi nicht vorhanden.

Marktführer im Buzzword Bingo natürlich xD

Meine Intel Kritik ist hier ja allseits bekannt

 

[DonDonat]

Mir war bis zum lesen hier ehrlich gesagt auch nicht bewusst, dass Intel nen Software-Stack für KI hat.
Aber interessant zu wissen, dass er existiert. So gibt es dann immerhin etwas Konkurrenz für Nvidia, sofern Intel liefern kann, was eventuell dafür sorgt, dass sie ihre aktuell Markt-Strategie Mittelfristig doch mal überdenken müssen.

 

[SweetOhm]

"Intel stellt Gaudi3 in den eigenen Benchmarks gegen im Markt verfügbare Modelle, vor allem Nvidia H100 aber auch H200"

Dabei hätte man sich mit dem MI 300X ebenso vergleichen können. INTEL halt mal wieder ...

https://www-semianalysis-com.transl...l=de&_x_tr_hl=de&_x_tr_pto=sc&_x_tr_hist=true

 

[Chismon]

Der hier ja gern als Guru angesehene Jim Keller ...

Danke für die Info (auch bzgl. Intel Gaudi 3 natürlich), ich bin sehr gespannt, was das kanadische Tenstorrent (Jim Keller) in Zusammenarbeit mit der Rapidus Corporation in Zukunft als RISC-V-Chiplet-Alternative im K.I. Bereich wird schaffen können als mögliches "Dark Horse" abseits von nVidia, AMD und Intel.

Je vielfältiger und weniger monopolistisch sich der K.I. Markt aufstellt (und vielleicht sind Lieferengpässe einiger da auch ein positiver Faktor, so komisch das anmuten mag) desto besser mehr Preisdruck/Konkurrenz (welches dann auch bei den Endverbrauchern/Konsumenten landen dürften).

 

[Tulol]

Wieso stellen denn dann AMD und Intel die zwei Top-Supercomputer, inkl. GPU-Beschleuniger, und nicht NV? Wenn sie doch keine Software haben? https://en.m.wikipedia.org/wiki/TOP500

Weil die Top Computer nicht allein auf GPU Clustern oder ARM CPUs laufen. NVidia hat, soweit ich weiß, keine x86er Lizenz.

 

[Yosup]

Nunja, Ethernet hat schon einige Vorteile, vor allem eben für die Einfachheit, Marktdurchdringung und mehr, wie Piktogramm schon gesagt hat.


Der hier ja gern als Guru angesehene Jim Keller hat es als Kommentar letzte Nacht auch gesagt:

Die genannten Gründe, die bspw. dazu geführt haben dass andere Netzwerktechnolgien verdrängt wurden haben allerdings recht wenig mit dem Einsatz als Interconnect zwischen den Rechenmodulen zu tun. Die mit Hopper oder Gaudi realisierten Installationen in Rechenzentren sind per se hochgradig proprietär, "geschlossen" und statisch. Da sagt kein Entscheider "Setzen wir lieber auf Gaudi, die haben Ethernet, das ist flexibler!". Die Module werden ihre gesamte Lebenszeit im selben Rack angeschlossen am selben Switch in der gleichen Topologie verbringen.

Auch das Argument, dass Ethernet das Mittel der Wahl in den Cloud-Rechenzentren sei finde ich recht dünn. Cloud-Rechner sind im Vergleich recht lose gekoppelt, nicht selten findet da gar kein Austausch zwischen den einzelnen Knoten statt, weil sie von unterschiedlichen Kunden gemietet wurden, die schlicht nichts miteinander zu tun haben. Ein Modul-Interconnect ist ein ganz anderes Szenario.

Kann ja sein, dass ich den Vorteil von NVLink überschätze, aber in den genannten Gründe sehe ich das nicht.

 

[Volker]

"Intel stellt Gaudi3 in den eigenen Benchmarks gegen im Markt verfügbare Modelle, vor allem Nvidia H100 aber auch H200"

Dabei hätte man sich mit dem MI 300X ebenso vergleichen können. INTEL halt mal wieder ...

https://www-semianalysis-com.transl...l=de&_x_tr_hl=de&_x_tr_pto=sc&_x_tr_hist=true

Intel nimmt frei verfügbare Ergebniss von Nvidia, unabhängiger Natur von MLCommons zum Beispiel. Und da bietet AMD bisher genau 0 an, haben sie im Pressecall erklärt und stimmt halt auch. Deshalb wird zuletzt ja auch wieder verstärkt auf AMD rumgehackt überall, weil sie es nicht gebacken bekommen, so wie Heise neulich ja auch nochmal: "AMD baut prima Grafikchips, aber katastrophale Software" https://www.heise.de/news/Bit-Rausc...hips-fuer-KI-zum-Fliegen-bringen-9673595.html

AMDs neuste Lösungen sind bisher deshalb genau so Papiertiger leider. Und am Ende stellt man sich eben gegen den Marktführer, AMD hat Gaudi2 ja auch nichtmal mitm Arsch angesehen sondern auch nur Nvidia genommen^^

 

[stefan92x]

Wieso stellen denn dann AMD und Intel die zwei Top-Supercomputer, inkl. GPU-Beschleuniger, und nicht NV? Wenn sie doch keine Software haben? https://en.m.wikipedia.org/wiki/TOP500

Weil die TOP500 nicht KI-Leistung erfasst, sondern HPC-Leistung. Da spielen andere Software-Stacks eine Rolle und weniger die KI-spezifischen.

Außerdem spielt da die unterschiedliche Hardware im Angebot eine Rolle. KI braucht viel weniger Präzision als HPC. Da sind wir zum Teil runter auf 4 bit große Zahlen, während für die Top500 die Rechenleistung mit 64bit Gleitkommazahlen als Kriterium verwendet wird. Und da gibt es massive Unterschiede. Nvidia hat sehr hohe Rechenleistung bei niedriger Präzision, aber viel weniger bei hoher Präzision und spielt daher aktuell keine große Rolle in dem Bereich. AMD und Intel haben hingegen Beschleuniger mit Fokus auf HPC-Leistung gebaut, die "auch KI können" aber in dem Bereich halt weniger beeindruckend sind als Nvidia.

Wenn es eine Top500 für KI-Systeme gäbe, würde diese komplett von Nvidia dominiert werden. Das sind mittlerweile einfach sehr unterschiedliche Märkte geworden, die nur begrenzt von der gleichen Hardware bedient werden können/sollten (und Intel sind da ja die ersten der großen, die wirklich getrennte Hardware bauen mit Gaudi und ihrem Xe-basierten Zeugs).

Weil die Top Computer nicht allein auf GPU Clustern oder ARM CPUs laufen. NVidia hat, soweit ich weiß, keine x86er Lizenz.

Aber es ging ja auch um Beschleuniger, und auch da ist Nvidia aus genannten Gründen nicht oben vertreten. Selbst wenn es um Gesamtsysteme geht: Nvidia hat keine x86, aber eine ARM-Lizenz und hat mit Grace ja mittlerweile auch eine entsprechende Server-CPU für die eigenen Systeme mit im Angebot. Nvidia kann also genau wie AMD und Intel komplette Cluster mit CPU und Beschleuniger bestücken.

 

[GrumpyCat]

@stefan92x Es ging um die Aussage, dass nur NV brauchbare Software/Treiber für ihre Hardware hätte, was wenigstens im Supercomputer-Bereich offensichtlich Unsinn ist (ich gehe mal nicht davon aus, dass die Top2 von inkompetenten Leuten gebaut wurden ).

Das mit der Präzision stimmt. Wobei ich bei Consumer Hardware sagen würde, dass Leistung bei AMD als auch Intel durchaus vorhanden ist, wenn auch nicht am oberen Anschlag, dafür P/L je nach Anwendung DEUTLICH besser als bei NV sein kann, jedenfalls war das vor einem Jahr so, als ich das letzte Mal intensiver nachgeschaut habe. Kommt halt sehr auf die Software an, man muss halt schon auf z.B. AMD-Systemen auch für AMD optimierte Software nehmen, und dort ist die Auswahl natürlich geringer.

Weil die Top Computer nicht allein auf GPU Clustern oder ARM CPUs laufen. NVidia hat, soweit ich weiß, keine x86er Lizenz.

Es ging hier darum, dass bei den Top2 auch die GPUs von AMD bzw. Intel sind und eben nicht von NV.

 

[stefan92x]

@GrumpyCat ja aber Supercomputer sind eben ein anderer Markt als KI, und es wurde ja explizit der KI-Markt angesprochen. In dem ist das schon richtig, dass Nvidia in Sachen Software weit voraus ist, es ist nur nicht relevant für HPC.

 

[roaddog1337]

Gaudimax

 

[Rollkragen]

Und schon geht die Intel Aktie hoch und Nvidia fällt. Alphabet stellt ebenfalls KI-Chip "Axion" vor. Jedeer möchte was vom großen Kuchen abhaben und an den Börsen den fetten Gewinn machen.