News Bis zu 1.000 Watt Verbrauch: Dells Aussagen zu Nvidia B100/B200 und was dahinter steckt

[Krausetablette]

Und das alles mit Flatterstrom

 

[iNFECTED_pHILZ]

Und ? Ist ja nicht so als könnte man das nicht gescheit glätten. 😅

 

[Simanova]

1. Die GPU sitzt eh unter einer Wasserkühlung im Serverschrank / Serverzentrum

2. Nvidia weis wieviel GPUs durchschnittlich in einem Server laufen und möchte lediglich die Anzahl verringern, damit der Rest drum herum billiger wird (für den Kunden). Statt vielleicht 4 GPUs kann der Kunde dann Server mit 1 GPU bestellen und ist wesentlich besser dran (Platz, Kühlschläuche, Ausfallwahrscheinlichkeit)

3. Es wird auch kleinere Ausbaustufen geben

4. Nvidia kann nur begrenzte Stückzahlen liefern, deshalb lieber größere Ausbaustufen verkaufen

 

[stefan92x]

Solang das alles ohne Wakü geht, ist es von den Kosten und Aufwand sicherlich in Ordnung.

Wobei sich Wasserkühlung für HPC/AI derzeit ja schon durchsetzt in Rechenzentren. Ermöglicht einfach eine höhere Packungsdichte als Luftkühlung, und das kann durchaus für größere Cluster ein Faktor sein (mehr Server im Schrank bedeutet weniger Aufwand für großräumiges Netzwerk).

Ergänzung (4. März 2024)

1. Die GPU sitzt eh unter einer Wasserkühlung im Serverschrank / Serverzentrum

Der Punkt hier ist ja gerade, dass zumindest Dell behauptet, dass sie das auch mit Luft können und wollen.

 

[Weyoun]

1.000 Watt für ein einziges "Stück Silizium"? So etwas dürfte man nur in Kombination mit Fernwärmekraftwerken einsetzen, wo man auf die Wärme angewiesen ist.

 

[3faltigkeit]

1000 W??? :O
Wo ist denn die Effizienz hin...

Zur Effiziens lässt sich damit doch gar nichts sagen. Erst wenn die Leistung bekannt ist, kann man dazu eine Aussage treffen. Mal angenommen, das Teil performt bei den 1000W so gut wie zwei bei 750W. Dann ist die Effiziens trotzdem stark gestiegen. Weniger Rohstoffe, da kompakter kommt noch dazu.

 

[pitu]

Jensen? Ist das ein schwedischer Vorname?

 

[wern001]

Was mich wundert ist die Stromversorgung. Wenn das Ding auf 1V läuft wären das 1000A -> 1000 Ampere. Eine Küchenofen ist mit 3x 16A ausgestattet.
Ich finde schon aktuelle Stromversorung von Consumer CPU und GPU faszinierend.
Das es schief läuft sieht man ja an den 4xxx Nvidia GPU-Stromsteckern

 

[xexex]

Was mich wundert ist die Stromversorgung. Wenn das Ding auf 1V läuft wären das 1000A -> 1000 Ampere. Eine Küchenofen ist mit 3x 16A ausgestattet.

Wir reden hier aber von Serverracks, die haben grundsätzliche mehrere Stromkreise und entsprechend dicke Anbindungen. Die 1000W sind im Serverbereich weder neu noch ungewöhnlich und längst stehen dort auch 48V zur Verfügung.

 

[nixalsverdruss]

Am Freitag schnellte der Aktienkurs von Dell um über 30 Prozent in die Höhe, was nicht zuletzt auf den Ausblick auf Einnahmen mit lukrativen KI-Systemen zurückzuführen war. Die Tech-Enthusiasten-Welt in Aufruhr brachte hingegen Dells COO Jeff Clarke mit Aussagen zu Nvidia B100 und B200 und dessen Stromverbrauch.

Zur News: Bis zu 1.000 Watt Verbrauch: Dells Aussagen zu Nvidia B100/B200 und was dahinter steckt

Stimmt, über die Effizienz sagt das gar nichts aus. Dennoch steigt der absolute Vebrauch.

 

[mibbio]

Wobei sich Wasserkühlung für HPC/AI derzeit ja schon durchsetzt in Rechenzentren.

Dabei ist Wasser-/Flüssigkeitskühlung auch bei Rechenzentren gar nicht mal wirklich neu, es wird nur von mehr RZ-Betreibern wiederentdeckt.
Bei Supercomputern ist das eigentlich schon seit jahrzehnten üblich und schon die Cray 1 wurde schon mit Flüssigkeit gekühlt. Und auch der derzeit schnellste Supercomputer Frontier (Epyc CPUs + AMD Instinct Beschleunigerkarten) setzt auf eine Warmwasser-Kühlung.

Letztere ist übrigens auch ein schönes Beispiel, dass ein gestiegener Energieverbrauch nicht auf mangelnde Effizenz schließen lässt. Frontier hat mit 21 MW zwar einen um ~50% höheren Verbrauch als der Voränger Summit (13 MW), hat dabei aber eine knapp 7-fache Rechenleistung.

 

[fab.erg]

Aktiv daran geforscht, das ganze effizienter zu machen, wird auf jeden Fall: The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

"[...] In this work, we introduce a 1-bit LLM variant, namely BitNet b1.58, in which every single parameter (or weight) of the LLM is ternary {-1, 0, 1}. It matches the full-precision (i.e., FP16 or BF16) Transformer LLM with the same model size and training tokens in terms of both perplexity and end-task performance, while being significantly more cost-effective in terms of latency, memory, throughput, and energy consumption. [...]"

Ja habe den Artikel gesehen und daran habe ich auch gedacht. So wird es hoffentlich auch da noch eine riesige Entwicklung geben. Dann macht es auch Spass es daheim auf der eigenen Maschine zu nutzen. Finde schon cool was mit SD offline am Rechner geht

 

[wern001]

Wir reden hier aber von Serverracks, die haben grundsätzliche mehrere Stromkreise und entsprechend dicke Anbindungen. Die 1000W sind im Serverbereich weder neu noch ungewöhnlich und längst stehen dort auch 48V zur Verfügung.

Ich meine nicht den Stromanschluss der Kiste. Die Stromverbindung GPU zum PCB oder CPU zum Sockel.

 

[kalgani]

Ich warte auf die EU, die (ähnlich wie bei z.B. Staubsaugern) maximale Leistungsaufnahme reglementiert.
Hier wäre es eventuell sogar deutlich sinnvoller als bei Staubsaugern.
Die sollen lieber mal an der Effizienz arbeiten, dass eine Graka wieder mit 1x8 Pin an extra Strom klar kommt (225W Gesamtleistung) sollte eigentlich reichen.

Das die Grafikkarte nach der Heizung und Warmwasser der größte Energiefresser im Haus ist, ist langsam wirklich lächerlich!

 

[MrHeisenberg]

Ich warte auf die EU, die (ähnlich wie bei z.B. Staubsaugern) maximale Leistungsaufnahme reglementiert.
Hier wäre es eventuell sogar deutlich sinnvoller als bei Staubsaugern.
Die sollen lieber mal an der Effizienz arbeiten, dass eine Graka wieder mit 1x8 Pin an extra Strom klar kommt (225W Gesamtleistung) sollte eigentlich reichen.

Lest ihr alle nur headlines?! Es geht um Server und der absolute Verbrauch sagt gar nichts aus!
Ob ich jetzt zwanzig H200 oder fünfzehn B100, was juckt das die EU? Der Verbrauch liegt in beiden Fällen bei max. 15 kW.

 

[kalgani]

Ok auch die Industrie sollte mit Strom nicht so um sich werfen und was meinst Du was sich die Consumervarianten davon gönnen?

Die EU ist bemüht den Energiebedarf zu regelmentieren, damit die Stromnetze damit noch kalr kommen.
Irgendwann werden die auch auf GPU/CPUs aufmerksam werden. (hoffentlich bald!) Denn das was hier an Energie verballert wird ist einfach Exzess pur.

Und wofür? Ki Schwachsinn, Crypto Stumpfsinn und Börsenrechnerei.
Alles nichts was man (oder irgendwer) braucht, egal was der Hype meint.

 

[daknoll]

Gar nichts. Das sind zwei paar Schuhe. Die letzte Generation wurde sich von verrückt gemacht mit bis zu 700 W und passiert ist rein gar nichts.

Doch, 450W Bomber wurden salonfähig gemacht und werden nun als normal betrachtet.

 

[MrHeisenberg]

Ok auch die Industrie sollte mit Strom nicht so um sich werfen und was meinst Du was sich die Consumervarianten davon gönnen?

Was hat das mit dem Verbrauch der B200 zutun? Gar nichts. Lass das Teil doch 20 kW Verbrauchen, wenn dadurch in Summe was eingespart wird, ist es schon positiv, aber das kannst du hier gar nicht beurteilen.

Die EU ist bemüht den Energiebedarf zu regelmentieren, damit die Stromnetze damit noch kalr kommen.
Irgendwann werden die auch auf GPU/CPUs aufmerksam werden. (hoffentlich bald!) Denn das was hier an Energie verballert wird ist einfach Exzess pur.

Okay, dann greift die EU ein und verbietet die B100/200. Was passiert dann? Man baut die Serverfarmen weiter mit alten Karten aus, die 750W verbrauchen und weniger Leistung bringen, in Summe also ineffizienter sind und der Verbrauch somit höher. Ganz toll.

Und wofür? Ki Schwachsinn, Crypto Stumpfsinn und Börsenrechnerei.
Alles nichts was man (oder irgendwer) braucht, egal was der Hype meint.

KI braucht man nicht? KI ist mehr als nur ChatGPT und ein paar Fakebilder:
https://www.iks.fraunhofer.de/de/themen/kuenstliche-intelligenz/kuenstliche-intelligenz-medizin.html

 

[nciht]

Ok auch die Industrie sollte mit Strom nicht so um sich werfen und was meinst Du was sich die Consumervarianten davon gönnen?

Machen die auch nicht. Viele lassen sich nur nicht belehren, dass 1000 Watt einer einzelnen Karte durchaus Effizient sein können.

Und wofür? Ki Schwachsinn, Crypto Stumpfsinn und Börsenrechnerei.

Ich hoffe doch, dass du keinerlei Hobbies hast, nur Großeinkäufe erledigst, nie in den Urlaub verreist, keinen Wäschetrockner besitzt, Geschirr nur mit der Hand abspülst (aber bitte nicht unter laufendem Wasser) und ich könnte die Liste jetzt mit 100 weiteren Dingen ergänzen, aber mal kurz - Kaum jemand mag Weltverbesserer, die nichts machen als mit den Fingern auf andere zu zeigen und dabei die Welt um sie herum nicht im Ansatz verstehen.

KI ist eine Arbeitserleichterung für vieles und kann viele Aufgaben schneller und effizienter Erledigen, welche davor deutlich mehr Ressourcen gekostet haben. Damit kann am Ende also durchaus CO2 eingespart werden.

 

[bad_sign]

Jensen? Ist das ein schwedischer Vorname?

Ne der ist Lederjacke