News Herder-Supercomputer: Hunter-Nachfolger in Stuttgart setzt auf Zen 6 und MI430X

[Volker]

Der Hunter-Nachfolger Herder setzt am HLRS in Stuttgart ab 2027 erneut voll auf AMD. Dafür paart das System Venice-CPUs mit Instinct MI430X. Wie im Sommer beim ComputerBase-Besuch versprochen hat das Institut zusammen mit AMD und HPE, die die Blades dann zu einem Supercomputer zusammenbauen, noch 2025 Details bekannt gegeben.

Zur News: Herder-Supercomputer: Hunter-Nachfolger in Stuttgart setzt auf Zen 6 und MI430X

 

[danyundsahne]

Schön, dass mein Nachbar hier so einen fetten PC im Keller stehen hat.
Ich frag mal nach einer LAN im Winter. Beste Zeit dafür ✌️😁

 

[CDLABSRadonP...]

Die Abwärme von dort soll vollständig für den Universitätscampus in Stuttgart genutzt werden.

Der wichtigste Satz der gesamten News.
Wären endlich vernünftige Fernwärmekonzepte im Bereich der Server fertig, dann wären auch die gesamten AI-Rechenzentren energetisch kaum ein Problem, schließlich würden sie im entsprechenden Maße der gestiegenen Leistungsaufnahme auch Warmwasser einspeisen. Nie vergessen: Halbleiter rechnen quasi nebenbei, die Energie wird nahezu vollständig in Wärme umgesetzt.

 

[GrumpyCat]

Ich hätte jetzt gerne von den nvidia-"Ohne CUDA geht nichts"-Leuten erklärt, wie das hier sein kann.

Die bauen sowas mit AMD. Haben die gar keine Ahnung??!?

 

[FrozenPie]

28 dieser Blades passen laut HPE in ein Rack, 112 MI430X sind dann in einem Kasten verbaut.

Kasten... Ich nehme an ihr meint Schrank? Es gibt schon mehr als genug Begriffe für die verschiedenen Teile (Rack, Blade, Einschub, Cabinet, Schrank, Blech, usw.), da kommt man bereits durcheinander. Jetzt auch noch "Kasten" dazu zu nehmen macht die Verwirrung dann komplett

 

[mofa84]

Ich hätte jetzt gerne von den nvidia-"Ohne CUDA geht nichts"-Leuten erklärt, wie das hier sein kann.

Die bauen sowas mit AMD. Haben die gar keine Ahnung??!?

weil es schlichtweg von der Art der Berechnung abhängt, ob GPUs besser sind als CPUs.

Kasten... Ich nehme an ihr meint Schrank? Gibt schon mehr als genug Begriffe für die verschiedenen Teile (Rack, Blade, Einschub, Cabinet, Schrank, usw.), da kommt man bereits durcheinander. Jetzt auch noch "Kasten" dazu zu nehmen macht die Verwirrung dann komplett

ich war neulich auch dort und war irgendwie enttäuscht - es sind tatsächlich nur diese 10 Schränke - ich dachte eigentlich, dass es mehrere Gänge wären. Selbst die Tape-Library ist mittlerweile größer als der Hauptcluster.

 

[bensen]

Wären endlich vernünftige Fernwärmekonzepte im Bereich der Server fertig, dann wären auch die gesamten AI-Rechenzentren energetisch kaum ein Problem, schließlich würden sie im entsprechenden Maße der gestiegenen Leistungsaufnahme auch Warmwasser einspeisen.

So einfach ist das aber leider nicht. Was es benötigen würde, ist ein gesamtheitliches Fernwärmekonzept. Kommunal und regional. Wird unsere Politik aber nie hinbekommen. Aber solange das nicht passiert bleiben das Insellösungen an Orten wo es einfach zu implementieren ist.
Fernwärme ist im Mittel die teuerste Art zu heizen in Deutschland. Im Grunde völlig absurd.

 

[Convert]

Hunter wird direkt heruntergefahren, wenn Herder da ist und dennoch wird für Herder ein neues Gebäude gebaut. Was passiert den mit dem alten Gebäute/Raum, nach dem Hunter heruntergefahren wurde?

 

[CDLABSRadonP...]

So einfach ist das aber leider nicht. Was es benötigen würde, ist ein gesamtheitliches Fernwärmekonzept. Kommunal und regional. Wird unsere Politik aber nie hinbekommen. Aber solange das nicht passiert bleiben das Insellösungen an Orten wo es einfach zu implementieren ist.
Fernwärme ist im Mittel die teuerste Art zu heizen in Deutschland. Im Grunde völlig absurd.

Andere bekommen es allerdings auch nicht gebacken --- es ist insgesamt ein Trauerspiel. Aber zumindest wird die Wärme hier als lokale Fernwärme gut genutzt.

Hunter wird direkt heruntergefahren, wenn Herder da ist und dennoch wird für Herder ein neues Gebäude gebaut. Was passiert den mit dem alten Gebäute/Raum, nach dem Hunter heruntergefahren wurde?

In dem Artikel & dem CB-Funk-Podcast zu Hunter wurde recht gut deutlich, dass Hunter in einem alten Gebäude steht, das absolut nicht zu ihm passt, sondern bloß hergerichtet wurde. Die Hallen sind viel zu groß, das ganze ist noch nicht auf die heutigen, stark komprimierten (und dadurch auch schweren!) Systeme ausgerichtet.
Anders gesagt: Man könnte diverses reinpacken, das besser zu dem Raum passen würde, als Hunter.

 

[theGucky]

Wenn man irgendwann mal eine AGI erschaffen hat und sie fragt wie man das Klima am besten bekämpft, dann sagt sie: "Schaltet mich ab", weil sie Unmengen an Strom frisst und Wärme erzeugt.

 

[Convert]

Wird unsere Politik aber nie hinbekommen.

Unsere Politik? Welche Politik, wenn nicht unsere bekommt es den hin?

In den ganzen Supercomputern in den USA hört man gar nichts von Fernwärme. Da hört man was von Atomkraftwerken und Supercomputern auf dem Meeresgrund zwecks besserer Kühlung, aber nicht von Fernwärme. Das ist ja das schlimme...

 

[bensen]

Unsere Politik? Welche Politik, wenn nicht unsere bekommt es den hin?

Ich habe nicht suggeriert, dass es wer anderes problemlos hinbekommt. Wir werden es aber definitiv nicht hinbekommen. Wir haben über 30 Jahre für so etwas simples wie Stromleitungen benötigt. Es gibt auch nach Jahrzehnten von erneuerbarer Energie immer noch kein richtiges Konzept.

 

[Cowpower]

Die nehmen den RAM uns weg.

 

[simpsonsfan]

weil es schlichtweg von der Art der Berechnung abhängt, ob GPUs besser sind als CPUs.

Aber die verwendeten GPUs bzw. Beschleuniger sind auch AMD. Es kam auch dieses Jahr irgendwann schon ne Mail im HLRS-Verteiler, die darauf hingewiesen hat, dass für akademische Berechnungen auf Hunter GPU-Nutzung nicht optional, sonder Pflicht ist. Eben weil Hunter hauptsächlich auf GPUs setzt.
Wir sind aber aktuell meist einfach auf Vulcan unterwegs (da sind einige Nodes vom Hawk reingewandert.)

Und zum Glück gibt es mit Herder dann nicht nur Half-Precision (oder gar FP4.) Am HLRS wird viel CFD betrieben (sowohl akademisch als auch extern) und da nimmt man eher gerne double-precision.

 

[Xilence19]

Auf dem Campus der Hochschulen nebenan wird auch alles für einen großen Versorgungstunnel aufgerissen, welcher für das Rechenzentrum benötigt wird. Durch diesen könnte man auf jeden Fall gemütlich aufrecht gehen.

 

[SVΞN]

Danke @Volker für die interessanten Einblicke. Wirklich sehr spannend.

Liebe Grüße
Sven

 

[stefan92x]

Ich hätte jetzt gerne von den nvidia-"Ohne CUDA geht nichts"-Leuten erklärt, wie das hier sein kann.

Die bauen sowas mit AMD. Haben die gar keine Ahnung??!?

Die setzen halt auf den Marktführer für HPC-Computing. Da fällt Nvidia immer weiter zurück

Ergänzung (Gestern um 19:08)

Hunter wird direkt heruntergefahren, wenn Herder da ist und dennoch wird für Herder ein neues Gebäude gebaut. Was passiert den mit dem alten Gebäute/Raum, nach dem Hunter heruntergefahren wurde?

Das HLRS ist ein schönes Beispiel dafür, wie massiv sich die Auslegung von Rechenzentren in den vergangenen 10 Jahren verändert hat. Die alte Halle ist groß, kann aber nur noch einen (vom Platzbedarf her) Mini-Rechner wie Hunter statisch tragen und mit Strom versorgen. Pro Rack wird heutzutage die 10fache elektrische Leistung wie vor 10 Jahren umgesetzt, entsprechend viel muss da auch rein, Wasserkühlung muss ermöglicht werden etc. Alles Dinge, die das alte Gebäude so nicht bietet, HLRS III aber schon.

 

[TheInvisible]

Die setzen halt auf den Marktführer für HPC-Computing. Da fällt Nvidia immer weiter zurück

Könnte sich bald ändern, Cuda 13 brachte fp64 über Tensor und massiven Schub

Ergänzung (Gestern um 19:51)

Ich hätte jetzt gerne von den nvidia-"Ohne CUDA geht nichts"-Leuten erklärt, wie das hier sein kann.

Die bauen sowas mit AMD. Haben die gar keine Ahnung??!?

Mal abgesehen das dies hier für Nvidia Dimensionen ein Mini Cluster ist gibt es halt gewisse Anforderungen. Und wenn es vorher auf AMD only keine Probleme gab wird man nicht alles umstellen.

 

[eastcoast_pete]

Ich hätte jetzt gerne von den nvidia-"Ohne CUDA geht nichts"-Leuten erklärt, wie das hier sein kann.

Die bauen sowas mit AMD. Haben die gar keine Ahnung??!?

Ahnung haben die Leute in Stuttgart schon. Und ich weiss, dass Du die Frage nur rhetorisch gemeint hast. Supercomputer wie Herder werden eben auch fuer viele nicht-KI Aufgaben genutzt, and bei Berechnungen, die FP64 brauchen, sind die Instincts sehr stark. Bei Nutzung fuer KI, v.a. von den kommerziellen Nutzern kommt halt das schon fast erdrueckend grosse Oekosystem, dass Nvidia hier ueber die Jahre entwickelt hat, zum Tragen. ROCm hilft da natuerlich, aber AMD ist immer noch dabei, da aufzuholen.

 

[Gnageseil]

Fernwärme ist im Mittel die teuerste Art zu heizen in Deutschland. Im Grunde völlig absurd.

Das kommt auf die Größe des Gebäudes an und "absurd" ist Fernwärme nicht.