News Nvidia H100 NVL: Doppel-GPU mit 188 GB HBM3 für Large Language Models

[nlr]

Nvidia hat zur GTC 2023 zwei neue Beschleuniger auf Basis der Hopper- und Ada-Lovelace-Architektur vorgestellt, die für den Einsatz von Large Language Models (LLM) wie GPT-3 und GPT-4 etwa bei ChatGPT oder für Generative AI bei Video und Bildern entwickelt wurden. Die H100 NVL kommt mit ihren zwei GPUs auf 188 GB HBM3.

Zur News: Nvidia H100 NVL: Doppel-GPU mit 188 GB HBM3 für Large Language Models

 

[Fighter1993]

7,8 TB/s Speicherbandbreite geht schon ab 😁

 

[Xul]

7,8 TB/s – Holy fuck

 

[Weyoun]

DRAM ist derzeitig spottbillig (die Lager sind alle voll), da dürfte Nvidia für die 188 GB nicht all zu viel löhnen.
Wie viele Schichten übereinander verwendet HBM3?

 

[C4rp3di3m]

Schade das es zur Zeit keine HBM Consumer Karten gibt, bei den Preisen und wenn man bedenkt es gab schon HBM Consumer Karten für sehr viel weniger Geld als was die jetzt genommen wird für GDDR ist der Preis auch kein Argument.

mfg

 

[bad_sign]

Ach Marketing^^

Bei AI Video komme die L4 laut Nvidia auf eine 120-fache Leistung und 99 Prozent bessere Effizienz als ein reines CPU-System. Der Hersteller hat dabei acht L4 mit zwei Intel Xeon Platinum 8380 verglichen.

 

[aid0nex]

[...] die für den Einsatz von Large Language Models (LLM) wie GPT-3 und GPT-4 etwa bei ChatGPT oder für Generative AI bei Video und Bildern entwickelt wurden.

Sind die Chips tatsächlich spezifisch für diese genannten Algorithmen oder doch eher ganz allgemein auf maschinelles Lernen optimiert worden? Ich kann gerade schlecht einschätzen ob das Bauernfängerei durch Buzzword Bingo ist oder tatsächlich eine technische Eigenschaft. Nvidia Marketing hat mich erfolgreich verwirrt.

 

[amorosa]

Holy….Was für ne Batchsize könnte ich mit diesem Monster bloß fahren ?

OMG Batchsize 126 anstatt jetzt gerade 6

Haha wie irre diese Rechenpower ist.

Ich muss Nvidia anrufen ! Ich will das Teil testen…Am besten gestern 🤣

 

[aid0nex]

Bei AI Video komme die L4 laut Nvidia auf eine 120-fache Leistung und 99 Prozent bessere Effizienz als ein reines CPU-System. Der Hersteller hat dabei acht L4 mit zwei Intel Xeon Platinum 8380 verglichen.

...und mit dem Auto bin ich bis zu 10 mal schneller als mit dem Fahrrad. Trotzdem hat beides seine Daseinsberechtigung. Wer hätte es gedacht, dass Chips die für komplett unterschiedliche Anwendungen entwickelt worden sind in einem solchen Anwendungsszenario unterschiedlich performen.

 

[Oldtimer]

zum Spielen sicher nicht geeignet, schade....
Gibet schon Preise der Karten?

 

[icemanspirit]

Sind die Chips tatsächlich spezifisch für diese genannten Algorithmen oder doch eher ganz allgemein auf maschinelles Lernen optimiert worden? Ich kann gerade schlecht einschätzen ob das Bauernfängerei durch Buzzword Bingo ist oder tatsächlich eine technische Eigenschaft. Nvidia Marketing hat mich erfolgreich verwirrt.

Teils teils, vor allem bei Large Language Models muss man sehr viel Speicher vorhalten um die Gewichte des trainierten Modells laden zu koennen. Wenn man diese z.B. in den Ram laden wuerde, waere hierbei die Latenz fuer die Inferenz viel zu hoch.

Auf der anderen Seite gibt es auch eine ganze Reihe an Tools welche mit allen möglichen Tricks arbeiten um solche Modellen in Subteile zu unterteilen, und dann auch auf normale Server laden zu koennen (e.g. DeepSpeed, Alpa-Serve).

Trainieren kann man zwar im Prinzip, aber diese Modelle trainiert man nicht auf so kleinen Ressourcen weil dies viel zu lange dauern wuerde. Was man jedoch erwarten kann ist dass man solche große Modelle runterladen, und dann fuer eigene Zwecke auf dem eigenen Server fine-tunen kann auf diesen beiden Karten.

 

[ruthi91]

Müssten das in der Tabelle nicht überall "2 x Wert" Angaben für die H100 NVL sein?
Ist die Angabe 188GB HBM3 pro "Karte bzw. Die" oder stehen 188GB den beiden GPUs zur Verfügung?

 

[madmax2010]

Gibet schon Preise der Karten?

die 80GB Versionkostet Liste 30k, nach Verhandlung wenn man 8+ nimmt, kommt man oft unter 15k

 

[DerMond]

Mehr GB als meine erste SSD. 🤓

 

[AahhFreshMeat]

Diablo 4 reizt die Speichermenge sicherlich aus

 

[Alex2005]

Gibt es da eigentlich auch Konkurrenz auf dem Markt? Von AMD oder anderen Karten?

 

[Mimir]

Krass wie Nvidia All-in auf AI geht und wenn man sieht, was die letzten Jahre daraus geworden ist, war es die absolut richtige Entscheidung. Jetzt kommt Nvidia kaum hinterher die Hardware für Microsoft und GPT-4 bereitzustellen.

Scheint so als würde sich Nvidia hier das nächste quasi Monopol sichern. Aktuell scheinen sie ja alternativlos am Markt zu sein.

Spannend. Vor allem wenn man bedenkt, was das für den technischen Fortschritt im allgemeinen bedeutet. AI/Machine Learning hat in den letzten paar Jahren eindrucksvoll bewiesen, dass es tatsächlich funktioniert und mittlerweile auch in der Praxis massive Vorteile gegenüber klassischen Algorithmen hat.

Vor 5 Jahren war "AI" noch typisches Marketing Bullshit Bingo. Zumindest wenn es um consumer Anwendungen ging. Jetzt scheint sich das immer schneller zu ändern. Mal sehen, was die nächsten 10-20 Jahre in dem Bereich bringen. Ich stelle mir hier nen mindestens so großen Impact auf unser Leben vor, wie das Internet oder Smartphones.

 

[St3ppenWoLF]

Was für ne Batchsize könnte ich mit diesem Monster bloß fahren ?

Ja

 

[Hate01]

Scheint so als würde sich Nvidia hier das nächste quasi Monopol sichern. Aktuell scheinen sie ja alternativlos am Markt zu sein.

Führend sind sie ja, Monopol haben sie keines. Es gibt noch AMD das sich auch noch durch den Kauf von Xilinx in dem Bereich verstärkt hat.

Und das ist auch der Hauptgrund warum Intel wieder in den GPU Markt eingestiegen ist.

 

[BDR529]

die 80GB Versionkostet Liste 30k, nach Verhandlung wenn man 8+ nimmt, kommt man in jedem Fall unter 15k

Die H100 bekommt man definitiv nicht für 15.000 Euro, auch nicht wenn du 100 Stück kaufst ----- LOL!

Solche unqualifizierten Beiträge stören echt so langsam. Selbst mit EDU Rabatt kommt man nach aktuellem Kurs vielleicht mit 20.000 Euro davon, wenn man Glück hat. Es sind eher mehr.

99% der User hier hatten eine solche Karte unter Garantie noch nie in der Hand, geschweige denn mal real mit ihnen zu tun, und trotzdem reden alle darüber als hätten sie die Karte persönlich im Rechner stecken.