News AI-Rechenleistung: Metas neue AI-Cluster nutzen jeweils 24.576 Nvidia H100

[Oberst08]

Hoffentlich lassen die da ein HPL und HPCG drüber laufen so das die dann in der top500.org Liste sind. Das ist bestimmt auch für PR gut.

In die Top500 mit H100 Karten? Die Top500 legt den Schwerpunkt auf FP64, da kannst die H100 vergessen. Da ist sogar die alte MI250X besser als alles, was NVidia hat. MI300X ist in FP64 grob doppelt so schnell.
FP64 ist für NVidia seit Jahren nicht mehr interessant, die fokussieren sich nur auf niedrige Genauigkeit für AI. Aber selbst da hat AMD gut aufholen können, im Vergleich zu H100 ist MI300X meist ähnlich gut. Mal schauen, wie sich das Thema weiter entwickelt, ob sich NVidia wieder absetzen kann.

 

[milliardo]

Bei der Größenordnung würde ich mal 30-50% Rabatt auf den Listenpreis ausgehen aber trotzdem unglaubliche Summen.

Die Nachfrage übersteigt das Angebot, aber nvidia gibt einfach mal hohe zweistellige Rabatte, so als müssten sie die Dinger unbedingt loswerden? Rofl.

 

[Slowz]

350.000 Stück zu jeweils 43.000$ - kann es sein, dass dein Komma um eins verrutscht ist? Aber spielt ja eh keine Rolle für den Zuckerberg 😄

Nein, ich habe das "nur" für die erwähnten Cluster berechnet Insgesamt ist das natürlich nochmal deutlich mehr Geld.

 

[GrooveXT]

Man stelle sich vor, in Titeln mit heutiger Grafik würde die gesamte Spielwelt von einer KI "beseelt" werden.

Ich würde sogar weiter gehen und sagen, dass die KI, ähnlich wie derzeit Bilder und Videos, dass ganze Spiel in Echtzeit erzeugen könnte. Kein Code mehr, kein Rendern. Einfach nur noch ein paar KByte Prompt in die KI kippen und ab gehts. Damit hätten Grafikkarten im klassischen Sinn ausgedient.

 

[Eternal]

Weil Ersteres leider Gottes längst nicht auf jeden Aktionär zutrifft. =D

Aber nicht zu ernst nehmen. War eigentlich nur ein kleiner Spaß.

Stimmt wohl, aber solche Leute braucht die Börse auch

Oke, habs dann wohl etwas falsch aufgenommen

 

[Schmusepupsi]

Klassische Regeln bei Aktien gelten nicht mehr richtig. Es wird derzeit so viel Geld gedruckt -> Das landet hauptsächlich bei reichen Menschen, Hedgefons, Großkonzernen und die wissen nicht wohin mit der Kohle. Das wird in Aktien, Immobilien und sonstigen Schmu gesteckt. Nur deswegen sind die Aktien, trotz Pandemie etc, so stark gestiegen. Solange sich die Geldmenge in den USA alle 2-3 Jahre verdoppelt, und die EU nicht weit dahinter liegt, werden Aktien weiterhin gigantisch steigen.

 

[LEDs]

@Oberst08 vergessen ist eine sehr starke Aussage. Die Rohleistung von den AMD Karten in FP64 ist zwar hoher aber CUDA und NVLink sind nur zwei der Gründe warum 3 der top 10 Rechner mit H100 bestückt sind.

 

[Mr.Seymour Buds]

Ist schon bekannt, wo die Rechenzentren gebaut werden?

 

[Oberst08]

@Oberst08 vergessen ist eine sehr starke Aussage. Die Rohleistung von den AMD Karten in FP64 ist zwar hoher aber CUDA und NVLink sind nur zwei der Gründe warum 3 der top 10 Rechner mit H100 bestückt sind.

Die über doppelte FP64 Leistung ist viel entscheidender, weil man bei so großen Rechenzentren Platz, Energieverbrauch und Kühlleistung limitieren muss. Halbe Rechenleistung bedeutet doppelten Platzverbrauch und deutlich mehr Verbrauch pro Rechenleistung. Damit wird mehr Kühlleistung benötigt, was den Verbrauch noch einmal erhöht. Das treibt die Kosten und die Betriebskosten.
Und einer der Gründe, warum 3 Rechner auf H100 setzen ist, weil einer davon NVidia gehört und die anderen beiden auch andere Ziele haben. Die sind nicht für FP64 gebaut, sondern auch auf KI fokussiert. FP64 ist ja nicht alles, einer der Gründe, warum NVidia da keinen Fokus mehr drauf hat.