Bericht Nvidia Hopper: So schnell ist die neue Architektur für Supercomputer

[BAR86]

Toller Beitrag @Colindo !

Prof. Gunter Dueck hatte bereits um 2009 (!) angekündigt, dass das Thema "AI" auf die nächsten 20+ Jahre der größte Treiber der Chip- und Prozessor-Weiterentwicklung/Innovationen wird, branchenübergreifend.

Auch da hat er - wieder einmal - recht gehabt.:
13 Jahre später ist das, was Nvidia hier fertigt, ein Testament dessen und beeindruckt mit dem Momentum für die Rechenpower von AI workloads.

Wahnsinn, was die Forschung und Fertigung mittlerweile leistet.

btw, lesenswert:
https://www.zdnet.com/article/nvidi...se-in-data-centers-the-cloud-and-at-the-edge/

naja. Auch 2009 war KI, Deep/Machine Learning nichts Neues mehr.
Das wusste eigentlich jeder der sich auch nur annähernd mit Themen wie die obigen oder Big Data auseinander gesetzt hat.
Man braucht also hier nicht einen einzelnen Prof zitieren, das war jedem klar, dass diverse kommerzielle Anwendungsfelder von KI vom Wachstum her explodieren würden

Ergänzung (3. Mai 2022)

Über Sinn und Unsinn, sowie die Frage, ob eine Meinung/Beitrag zur Diskussion beiträgt oder nicht, lässt sich trefflich streiten. Da gehen die Geschmäcker Gott sei Dank verschieden Wege. Eine Rechtfertigung zu einer Verwarnung ist das allerdings nicht. Gerade von einem Mod sollte man ein bisschen Fingerspitzengefühl erwarten dürfen.

naja das Problem bei dem Spruch ist, dass er schon so häufig gesagt wzrde, dass er in die Kategorie SPAM fällt.
Zumal Crysis CPU Limitiert ist und die GPU doch längst nicht mehr das Problrm ist, ist die Frage halt für viele weder relevant, noch lustig

 

[Laphonso]

naja. Auch 2009 war KI, Deep/Machine Learning nichts Neues mehr.

Seine Thesen zum Umfang der Disruption schon. Damals belächelte man das. Heute nicht mehr. Er lag richtig.

Seine Vorträge aus 2012 und 2013 zum Thema Feinde der Innovation sind heute noch faszinierend.

Wer sich berieseln lassen will, sein 2018er Vortrag auf der Vision 20XX ist klasse, nicht zuletzt aufgrund der zahlreichen Anekdoten.
Er ist btw ehemaliger IBM CTO, also kein fachfremder Philosoph oder dergleichen, und hat schon vor Jahrzehnten Cloud Betriebsmodelle forciert, da gab es das Wort noch nicht mal.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Dass mein Unternehmen im public sector nun ein Geschäftsfeld AI jüngst entwickelt, hätte man 2009 auch als Schenkelklopfer maximal nutzen können.

Was Nvidia da - exemplarisch - nun an Technik und Lösungen abliefert, skaliert höchstens noch stärker als wir das von 10-15 Jahren hätten ahnen können.

 

[C4rp3di3m]

HBM3 will haben in GPU für Zuhause :/

mfg

 

[Vitec]

Ein x4 bei der Tensor-Core Leistung ist auch erstaunlich, zumal von pro Core die Rede ist. Davon kommt sicherlich auch etwas beim GA an.

Profitiert den GA von den Tensor Cores , abseits von DLSS ?
Im Desktopberreich wird man hier wohl eher nur maximal so viel verbauen wie man für DLSS benötigt und eher den Platzverbrauch und die effizienz der neuen Tensor Kerne mitnehmen.

 

[S.Kara]

Profitiert den GA von den Tensor Cores , abseits von DLSS ?

Soweit ich weiß braucht man die als Spieler tatsächlich nur für RT.
Ich hoffe mal und gehe aber auch davon aus dass sowohl AMD als auch Nvidia die Leistung in dem Bereich deutlich ausbauen.

Ich weiß das ist hier nicht bei allen so, aber ich persönlich fahre voll auf RT ab.

 

[Colindo]

Profitiert den AD von den Tensor Cores, abseits von DLSS ?

Nur, wenn du eine professionelle Anwendung hast, die die nutzt. Ansonsten ausschließlich DLSS. Gibt ja keine Spiele mit KI-Algorithmen.
RT-Cores sind etwas Anderes.

 

[BAR86]

Seine Thesen zum Umfang der Disruption schon. Damals belächelte man das. Heute nicht mehr. Er lag richtig.

Seine Vorträge aus 2012 und 2013 zum Thema Feinde der Innovation sind heute noch faszinierend.

Wer sich berieseln lassen will, sein 2018er Vortrag auf der Vision 20XX ist klasse, nicht zuletzt aufgrund der zahlreichen Anekdoten.
Er ist btw ehemaliger IBM CTO, also kein fachfremder Philosoph oder dergleichen, und hat schon vor Jahrzehnten Cloud Betriebsmodelle forciert, da gab es das Wort noch nicht mal.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Dass mein Unternehmen im public sector nun ein Geschäftsfeld AI jüngst entwickelt, hätte man 2009 auch als Schenkelklopfer maximal nutzen können.

Was Nvidia da - exemplarisch - nun an Technik und Lösungen abliefert, skaliert höchstens noch stärker als wir das von 10-15 Jahren hätten ahnen können.

es freut mich ja für dich, dass du da ein Thema und eine Person gefunden hast, von dem du Fan bist.
Auf mich wirkt das halt grad so, als würdest du hier zeigen wollen, dass er was herausragendes gesagt/gemacht hat. Das ist auch gut so. Ich war in den frühen 2000er Jahren noch im amerikanischen Raum tätig und schon damals war das ganze ein halbwegs ausgelutschter Hut. Das wurde aufgrund dessen, dass jeder es behauptete, die Entwicklung aber doch erst langsam anfuhr, eher belächelt. So wie jedes Jahr als "Jahr des Linux Desktop" belächelt wurde.

 

[pipip]

Profitiert den GA von den Tensor Cores , abseits von DLSS ?

Profitieren kann man vermutlich bereits dadurch, dass man im Vergleich zum Vorgänger weniger Tensor Cores integriert und somit mehr Fläche für Shader oder Cache frei gibt.

 

[Bigeagle]

Nvidia behält es sich dabei vor sowohl einen ganzen GPC als auch lediglich einzelne TPCs oder SMs abzuschalten – je nachdem, wo die Defekte im Chip liegen.

Ist das nicht unpraktisch wenn man in einem Cluster dann heterogene Chips hat? Oder wird dann vor Ort noch mal selektiert?

Ich bin ja gleichzeitig fasziniert und abgeschreckt wie viel Energie man bei diesen Chips darin investiert geringere Genauigkeiten auch mit performancegewinn umzusetzen. Bei e5m2 ist das doch mehr grob geschätzt als berechnet. Wenn man bei den KI Anwendungen überwiegend nur die Größenordnung eines Wertes haben will, ok.
Ich persönlich fand es schon bei fp32 gruselig dass man sich gedanken darüber machen muss dass der Wert ungenau und unerwartet gerundet werden könnte.

So auf den ersten Blick könnte man glatt sagen man nehme AMD wenn man rechnen will und Nvidia zum schnell schätzen. ^^
Wobei ich vermute dass viele aus Vereinfachungsgründen nur einen Hersteller im System haben wollen. Gleiches Ökosystem und so.

 

[Colindo]

Artikel-Update: ServeTheHome hat Bilder der Hopper-Grafikkarte H100 SXM5 veröffentlicht, der für Server gedachten Varianten der GH100-GPU. Bis dato lag lediglich das von Nvidia bereitgestellte Rendering der Oberseite vor.

[Bilder: Zum Betrachten bitte den Artikel aufrufen.]​

Bei der auf PCI Express 5.0 basierenden Schnittstelle auf der Unterseite wollte sich Nvidia offensichtlich noch nicht in die Karten schauen lassen: Sie war mit Klebeband verdeckt. Auch die bis zu 700 Watt werden über diese Schnittstellen zugeführt.

[Bilder: Zum Betrachten bitte den Artikel aufrufen.]​

 

[Rickmer]

Wo geht denn Power rein? Ist das auch teil von dem mit Klebeband abgedeckten?

 

[Colindo]

Ja, Power ist teil der abgedeckten Schnittstelle.

 

[theGucky]

80GB HBM bei 6 Stacks? Kommt mir krumm vor... 16GB x5 und ein Filler?

 

[Jan]

Beim H100 SXM5 für das SXM5-Modul bleiben alle 8 GPCs aktiv, aber es werden über den Chip verteilt 12 von 144 oder 8 Prozent Streaming Multiprocessors deaktiviert. Anlog fällt die Anzahl der Cuda- und Tensor-Kerne. Der H100 SXM5 ist also näher dran am GH100 als es der A100 am GA100 war.

Wie bei Ampere nutzt Nvidia darüber hinaus nur fünf Sechstel der Speichercontroller, denn mit nur fünf von sechs aktiven HBM3-Stacks bleiben zwei der zwölf 512-Bit-Controller inaktiv.

Korrekt! Das hatte @nlr schon erwähnt:

https://www.computerbase.de/2022-03/nvidia-hopper-h100-ki-supercomputer/

 

[PS828]

frag mich wieso, AMD aktiviert ja sogar bei 8 Stacks auf den Instinct Karten alle 128GB

yield wirds ja eher nicht sein, schon garnicht bei einem produkt wo der preis egal ist

 

[lynx007]

Sehr schöner Beitrag. Gerne mehr davon. <3 <3 <3