News Nvidia & AWS: Der schnellste Cloud-AI-Supercomputer nutzt 16.384 GH200

[Volker]

Nvidia rückt näher an Amazon Web Service (AWS) heran, GPUs gibt es in vielen neuen Instanzen. Auch ein AI-Supercomputer kommt für die Cloud, hierfür stellt Nvidia 16.384 GH200 alias Grace Hopper Superchip bereit, der schnellste seiner Art soll so entstehen. Basis dafür ist die neue „GH200 NVL32 Multi-Node-Plattform“.

Zur News: Nvidia & AWS: Der schnellste Cloud-AI-Supercomputer nutzt 16.384 GH200

 

[Xilence19]

Nvidia sahnt beim AI Hype gerade ab wie kein anderer.

 

[olligo]

Wahnsinn, bin mal gespannt, ob wir in 2 oder 3 Jahren bereits wirklich von AGI reden werden und wo uns diese Reise noch so hinführt.
Nächstes Jahr werden wir schon wieder einige krasse Upgrades und Features bei den bekannten LLMs sehen, doch AGI in 2024 kann ich mir persönlich noch nicht vorstellen in dem kommenden Jahr.
Wenn es nächstes Jahr doch passieren sollte, wäre das mehr als unglaublich für die Menschheit.

 

[Matt at RC]

Ein etwas besserer yield beim AD102 beschert und wohl die L40S und verknappt die 4090.
Wenn man bedenkt, dass schon die RTX 6000 darauf setzt und an die 8000 kostet ist klar, dass Nvidia einfach null Interesse an der 4090 hat.

 

[Papabär]

Diese Menschen haben es nicht verdient ... Skynet kommt

 

[nebukadnezar.ll]

But can it run Crysis ?

Genau das, was mir auch durch dennKopf geschossen ist! Bravo!

 

[StefanArbe]

würde mich freuen, wenn man das mal am aktienkurs sehen könnte

 

[fox40phil]

But can it run Crysis ?

Generiert es dir neu und spielt es eigenständig durch.

 

[SSD960]

Da sind die Ressourcen für die 4090 und mehr...

 

[LamaMitHut]

Man muss sich mal auf der Zunge zergehen lassen, dass wir da Hardware-technisch noch in den ersten Babyschuhen stecken, bei der Software sieht es nicht anders aus.

 

[edenjung]

Generiert es dir neu und spielt es eigenständig durch.

Endlich eine sinnvolle Anwendung dafür.

 

[LamaMitHut]

@edenjung
Warum sind Anwendungen wie die Erstellung von Chip-Design oder Chipmasken deiner Meinung nach nicht sinnvoll? Vielleicht hast du bis jetzt nur von ChatGPT gehört, aber da gibt's noch ne ganze Menge mehr.

 

[SweetOhm]

"hierfür stellt Nvidia 16.384 GH200 alias Grace Hopper Superchip bereit"

Und hat somit vermutlich in etwa den selben Preis, wie das Bruttoinlandsprodukt von Kiribati und den Marshallinseln zusammen.

 

[Zhan]

Ich will ja nicht unbescheiden sein, mir würden so 3-4 GH200 reichen eigentlich ....

Aber im Ernst: Ich spiel jetzt seit knapp 2 Jahren intensiv mit ML Krempel rum. Die Entwicklung ist so unfassbar schnell in allen Themen, die ich mir in der Zeit angeguckt habe. Dass NVIDIA nun die eigene Technik nutzt um die eigene Technologie ggf. genauso schnell weiter zu entwickeln - nur logisch. Mal schauen wo das hinführt. Der Technik-Nerd in mir hüpft vor Begeisterung, der alte Sack in mir ist froh, nicht mehr so ewig lange auf einen funktionierenden Arbeitsmarkt angewiesen zu sein.

 

[Dr-Rossi-46]

Ganz egal ob AMD, Nvidia, Intel oder AMD....sowas ist einfach nur Techporno

 

[eastcoast_pete]

But can it run Crysis ?

It can definitely cause one😁

Ergänzung (29. November 2023)

Was mich noch interessieren würde: ob und wie AWS die Nvidia GH200 kombiniert mit ihren eigenen KI Beschleunigern? Oder werden die vollkommen separat gehalten? Bin zwar selbst nicht in KI unterwegs, aber stelle mir vor, daß sich gerade Trainium (und Inferentia) für bestimmte Aufgaben besser eignen, und die GH200 besser für andere. Weiß das hier jemand? AWS hat ja auch einiges an Resourcen in die eigene Hardware investiert. Oder sind die Aufgaben so unterschiedlich, daß die vollständig separat laufen müssen?

 

[Mr. Vega]

Nvidia muss halt im hohen Maß Lieferfähig sein und bleiben um den Bedarf permanent decken zu können und die AI Nachfrage muss auf einem anhaltend hohen Niveau bleiben.

Gerade bei schlechter Liefersituation/Zeiten kann es durchaus sein das Firmen zu Alternativen greifen, selbst wenn diese nicht ganz so Leistungsfähig sind aber der Preis stimmt.

 

[Zarlak]

Nvidia hat ja schon bekannt gegeben das sie den Bedarf in nächster Zeit gar nicht decken können. Aber das ist auch kein Problem, denn Alternativen gibts es keine.

 

[hans_meiser]

Ein etwas besserer yield beim AD102 beschert und wohl die L40S und verknappt die 4090.
Wenn man bedenkt, dass schon die RTX 6000 darauf setzt und an die 8000 kostet ist klar, dass Nvidia einfach null Interesse an der 4090 hat.

Vom earnings call: Data Center $15 bn, Gaming $9 bn.

Klar ist eines größer als das andere, aber gaming ist sicherlich nicht "null Interesse".

 

[eastcoast_pete]

Nvidia hat ja schon bekannt gegeben das sie den Bedarf in nächster Zeit gar nicht decken können. Aber das ist auch kein Problem, denn Alternativen gibts es keine.

Nvidias KI Beschleuniger sind wohl nach wie vor von dem Packaging Engpass bei TSMC betroffen. Chips haben oder hätten sie wohl genug, aber TSMC kommt schon länger nicht mit dem Packaging hinterher. TSMC baut wohl auch mit Volldampf an neuen Anlagen dafür, aber die sind fast genauso komplex und teuer wie die fabs selbst, und wird wohl noch ein Jahr oder so dauern. Das haben übrigens die Börsianer auch schon gerafft, weswegen der Kurs von Nvidia nicht mehr so steil in den Himmel zeigt. Die US Ausfuhrverbote nach China haben allerdings auch nicht geholfen. Aber vielleicht gibt's dann mehr GPUs fürs Spielen, und Nvidia tut mir erst mal nicht so leid.