News Nvidia DGX GH200: 256 Grace Hopper Superchips liefern 1 ExaFLOPS FP8 für KI

[nlr]

Nvidias Grace Hopper Superchip mit Arm-CPU und Hopper-GPU geht in die vollständige Produktion und ist damit bereit für die Auslieferung an erste Abnehmer. Passend dazu lässt sich mit dem DGX GH200 ein KI-Supercomputer bauen, der 256 Grace Hopper Superchips für 1 ExaFLOPS FP8-Rechenleistung speziell für KI miteinander kombiniert.

Zur News: Nvidia DGX GH200: 256 Grace Hopper Superchips liefern 1 ExaFLOPS FP8 für KI

 

[Calid]

The more you buy, the more you safe! 😆

 

[Pandora]

Größe und Kosten von so einem DGX GH200 würden mich trotzdem interessierten.

 

[StefanArbe]

freut mich als aktionär.

 

[[wege]mini]

Größe und Kosten von so einem DGX GH200 würden mich trotzdem interessierten.

Da hat Jensen die 2 Varianten in der Hand.

https://cdn.wccftech.com/wp-content/uploads/2023/05/IMG_20230529_115404-scaled.jpg

Nicht klein, aber auch nicht groß.

Beim Preis, sind die einzelnen Karten eher das "kleinste" Problem, obwohl sie wohl so viel wie eine Leber kosten werden.

Man braucht 29.000 von diesen Dingern, um auf 1 Exaflop in FP64 zu kommen. Die Teile können dann zwischen 400 Watt bis 1000 Watt pro Ding verbrauchen.

Baut man also etwas "verrücktes" braucht man schon einmal 29.000 KW/h, um sie zum Laufen zu bringen. Da sind die Investitionskosten für die Karten, nur noch eine weitere Zahl.

mfg

 

[tarkin77]

1 Minute Geforce, restliche 2h Datacenter und etc. 😂 Man sieht klar, wo die Prioritäten liegen und die große Kohle winkt - freut mich auch als Shareholder 😆

 

[dualcore_nooby]

NVIDIA ist eine beeindruckende Firma, die Entwicklung am Aktienkurs sieht dennoch nach Übertreibung aus. Vergesst also nicht ein paar Teilgewinne mitzunehmen solange die Sonne scheint.

 

[Freiheraus]

Für einen Eintrag in der Top500 wird jedoch FP64 angesetzt, das bei lediglich 34 TFLOPS pro Grace Hopper Superchip liegt. Ein DGX H200 käme demnach auf 8,704 PetaFLOPS, sodass man hochgerechnet 115 DGX H200 oder 29.440 Grace Hopper Superchips für 1 ExaFLOPS bei FP64 benötigen würde. Unter Verwendung von „FP64 Tensor Core“ mit DMMA-Instruktionen ließen sich diese Angaben jedoch verdoppeln (Leistung) respektive halbieren (Nodes). Zum Vergleich: Der schnellste Supercomputer Frontier nutzt 9.472 AMD Epyc 7453 und 37.888 Radeon Instinct MI250X und erreicht 1,194 ExaFLOPS.

Zu einem anständigen FP64 Vergleich gehört aber die Information, dass auch die MI250X unter FP64 Matrix ihre Leistung verdoppelt und dadurch ebenfalls nur noch halb so viele GPUs für 1,2 ExaFLOPS nötig wären.

Oder besser und übersichtlicher:

	AMD MI250X	Nvidia H100 SXM5
Architektur	CDNA 2	Grace Hopper
max. Board Power	500 (passiv) oder 560 Watt (Wakü)	700 Watt
Leistung*
FP64 Vektor	47,9 TFLOPS	34 TFLOPS
FP64 Matrix	95,7 TFLOPS	67 TFLOPS

 

[Eller]

Mit DLSS + FG hat NVIDIA dann fünftrillionen Exaflops 🤣

 

[7H0M45]

Baut man also etwas "verrücktes" braucht man schon einmal 29.000 KW/h, um sie zum Laufen zu bringen.

Es gibt keine kW/h. Das was man aktuell an Leistung zieht sind einfach kW. Wenn du 29.000 kW für eine Stunde lang ziehst, dann hast du 29.000kWh an Energie verbraucht. Wenn du für 30min 20.000 kW ziehst und für 30min 10.000 kW ziehst, dann hast du nach dieser Stunde 15.000 kW gezogen.

kW/h gibt es also nicht, sondern entweder kW oder kWh.

Wenn du von "zum Laufen zu bringen" sprichst meinst du vermutlich kW

 

[Chesterfield]

Die nächsten zehn Jahre wird die KI sicher hauptthema der IT. Wenn nicht sogar länger … wäre fahrlässig von NVidia den Schwerpunkt nicht darauf zu legen.
Ihr Portfolio ist gerade für Profi Segment in den letzten Jahren stark gewachsen , und g force now zeigt wohin die Reise auch für Gamer gehen wird bei Nvidia

 

[[wege]mini]

kW/h gibt es also nicht, sondern entweder kW oder kWh.

Stimmt. Die Einheiten werden immer benutzt wie Unterhosen.

Ich hätte sagen sollen, es kostet XY KW pro Stunde.

Sieht man ja gerne bei den kmh. Das wird auch sehr häufig geschrieben, obwohl km/h richtig ist.

mfg

Und ob nun kleines oder großes K, ist mir Bockwurst.

p.s.

Ach ja, damit man damit rechnen kann, muss die Zeit unter den Teiler, damit man dann, wenn man den tatsächlichen Verbrauch berechnen kann, ihn mit der tatsächlichen Zeit multipliziert, sich die Einheiten weg kürzen und man dann berechnen kann, wie viel man pro Sekunde, Tag oder Jahr verbraucht oder aber in welcher Zeit man welche Länge in Metern zurück gelegt hat.

Wer schnell ist, rechnet in m/s. Wer längere Pläne hat, rechnet in Ertrag pro Jahr.

 

[StefanArbe]

NVIDIA ist eine beeindruckende Firma, die Entwicklung am Aktienkurs sieht dennoch nach Übertreibung aus. Vergesst also nicht ein paar Teilgewinne mitzunehmen solange die Sonne scheint.

vor 20 jahren waren sie noch bei 1€

 

[Ayo34]

Man braucht 29.000 von diesen Dingern, um auf 1 Exaflop in FP64 zu kommen. Die Teile können dann zwischen 400 Watt bis 1000 Watt pro Ding verbrauchen.

Baut man also etwas "verrücktes" braucht man schon einmal 29.000 KW/h, um sie zum Laufen zu bringen. Da sind die Investitionskosten für die Karten, nur noch eine weitere Zahl.

Warum sollte das verrückt sein? Diese Supercomputer gibt es schon immer und erfüllen wichtige Aufgaben. Um die Leistung bisher zu bekommen braucht es deutlich mehr Strom als mit den vorgestellten Nvidida Karten. Also ist das ein Fortschritt und es wird deutlich effizienter!

 

[cha0shacker]

Vor 20 Jahren hatten war gerade die GeForce FX Serie aktuell. Da wundert mich der € nicht.

 

[StefanArbe]

bei den Nvidia supercomputern geht es darum, dass sie die AI rechenmodelle effizient abbarbeiten können.
es geht nicht darum einen FP64 zu erreichen. Nvidia versucht über die AI zu raten wie sich ein pixel entwickeln wird. für einen pixel generieren sie 7 pixel per AI. Nvidia ist einfach auch meister in der software.

 

[McLovin14]

Ich hätte sagen sollen, es kostet XY KW pro Stunde.

Watt ist bereits Energie pro Zeiteinheit, daher gibt es kW/h nicht, auch wenn du es in Worten ausschreibst.

Und ob nun kleines oder großes K, ist mir Bockwurst.

Macht aber einen gewaltigen Unterschied.

@Topic:
Nvidia fährt schon große Geschütze auf im professionellen Bereich, da er immer bedeutender wird. Mal schauen wie sich das für uns Spieler entwickelt.

 

[[wege]mini]

Also ist das ein Fortschritt und es wird deutlich effizienter!

Daher sagte ich "verrücktes".

Die aktuellen Systeme verbrauchen schon nur durch den Konsum der Menschen so viel, dass sie sogar den immer viel beschrieenen CO² Fußabdruck aller Flugreisen der Welt in den Schatten stellen.

Wenn man dann die Effizienz durch höheren Konsum verpuffen lässt, da im Absoluten immer noch mehr verbraucht wird, als man sich vor 30 Jahren vorstellen konnte, ist das zwar effizienter, aber immer noch nicht Ökologisch.

Aber jetzt erkläre mal den Fridays for Future Kids oder den Klimaklebern, sie sollen 2 Tage in der Woche auf ihr Smartphone verzichten.

auch wenn du es in Worten ausschreibst.

Watt ist zwar Joule je Sekunde, es wäre aber echt doof, wenn deine Hardware 500 Watt pro Sekunde aus der Leitung ziehen würde und du dann pro Stunde abgerechnet wirst.

Daher rechnet man in KW pro Stunde. Hast du ein 300 Watt System eine halbe Stunde am laufen, kostet das 150 Watt.

mfg

 

[drago-museweni]

Schon beeindruckend was Jensen Huang mit Nvidia gemacht hat und welche Produkte da dahinter stehen, er weiß wie eine Firma profitabel läuft, jeder Ferengi wär da neidisch.

Und gerade Ki wird das Thema die nächsten Jahre und dadurch wird wieder viel anderer neuer geiler Stuff auftauchen.

 

[Hancock]

Daher rechnet man in KW pro Stunde. Hast du ein 300 Watt System eine halbe Stunde am laufen, kostet das 150 Watt.

Ähh, nein, man rechnet höchstens ins kWh/h, was sich zu kW kürzt.

300 W * 0,5 h = 150 Wh = 0,15 kWh

Und das SI-Präfix ist k, K ist Kelvin.