News HPE Apollo 9000: Hawk erreicht 26 PetaFLOPS mit AMD Epyc Rome 7742

[C4rp3di3m]

Ich gehe mal davon aus das auf so einem "Apparat" was Linuxartiges läuft und kein Windows.
Meine schon öfters gelesen zu haben das Linux af AMD Systemen mehr Power hat.

Wie auch immer schön zu Wissen das Deutschland zumindest beim Supercomputer mit China und den USA Mithalten kann. Der Preis für "das Gerät" ist doch ein Schnäppchen.

Viel Erfolg damit!

mfg

 

[konkretor]

Natürlich läuft da Linux/Unix in den Top500 ist nirgendwo mehr ein Windows Cluster zu finden.



Andreas Stiller hat noch einen Artikel verfasst und ein Interview geführt


https://www.heise.de/newsticker/mel...essoren-startet-am-HLR-Stuttgart-4663692.html

 

[Wattwanderer]

Jetzt muss AMD nur noch mit schöner Regelmäßigkeit die Zahl der Kerne verdoppeln. Dann werden aus 44 Schränke nur noch 22, 11, 6, 3, 2, 1...

In zehn Jahren nur noch ein Schrank, in 20 stellt man die Leistung unter den Schreibtisch, in 30 packt man sie in ein Handy.

Ach ja, was soll ich Grafikkarten mit den paar Kernen als Beschleuniger reinpacken? Da packe ich doch lieber CPUs rein. Die haben wenigsten ordentlich Kerne.
Schon lustig, dass man früher Crysis mit Grafikkarten gespielt hat statt mit CPUs.

 

[Falc410]

Ich verstehe nicht wieso die nicht auf eine Warmwasserkühlung wie beim SuperMUC zurückgreifen. Das ist doch viel ineffizienter wenn das Kühlwasser 25-35 Grad hat. Das haben doch genug Studien in den letzten 10 Jahren gezeigt.

Ist schon heftig, war erst am Dienstag wieder beim SuperMUC-NG und der Rechner wird mit jeder Generation kleiner (Stellfläche) dafür steigt die Stellfäche die für die Kühlung benötigt wird.

 

[icemanspirit]

Ich verstehe nicht wieso die nicht auf eine Warmwasserkühlung wie beim SuperMUC zurückgreifen. Das ist doch viel ineffizienter wenn das Kühlwasser 25-35 Grad hat. Das haben doch genug Studien in den letzten 10 Jahren gezeigt.

Ist schon heftig, war erst am Dienstag wieder beim SuperMUC-NG und der Rechner wird mit jeder Generation kleiner (Stellfläche) dafür steigt die Stellfäche die für die Kühlung benötigt wird.

Du hast Dir selbst die Antwort gegeben. Beim Bau von Hawk, als auch den anderen Deutschen Supercomputern, wurde direkt mit einer Ausbaustufe geplant für die der entsprechende Aufstellplatz vorhanden sein muss. Das motiviert dann die entsprechende Planung der Kühllösung.

 

[Falc410]

Du hast Dir selbst die Antwort gegeben. Beim Bau von Hawk, als auch den anderen Deutschen Supercomputern, wurde direkt mit einer Ausbaustufe geplant für die der entsprechende Aufstellplatz vorhanden sein muss. Das motiviert dann die entsprechende Planung der Kühllösung.

Mhm das kann natürlich sein. Sie hatten nicht genug Fläche und mussten deswegen auf kürzere "Wege" setzen und sich dann für das kostspieligere Kaltwasser entscheiden. SuperMUC 1 hatte ja schon über 50km Kupferleitungen - mit Absicht sehr lang damit das Wasser sich zum Teil von alleine abkühlen kann.

 

[Tommy_H]

Hmmm... hat der 'ne AMD oder Nvidia Grafikarte eingebaut?

 

[icemanspirit]

Mhm das kann natürlich sein. Sie hatten nicht genug Fläche und mussten deswegen auf kürzere "Wege" setzen und sich dann für das kostspieligere Kaltwasser entscheiden. SuperMUC 1 hatte ja schon über 50km Kupferleitungen - mit Absicht sehr lang damit das Wasser sich zum Teil von alleine abkühlen kann.

Das LRZ hat sich auch innerhalb des letzten Jahres mehr und mehr auf die Green-IT Schiene fokussiert und vermarket ihre Kuehlmethoden dementsprechend. Deine Frage muss vor dem Hintergrund dieses Narrativs eingeordnet werden.

Mit dem immer staerker beschleunigenden Beginn der (pre-) Exascale Aera wird das LRZ immer weiter abrutschen und bis Ende des Jahres auf Platz 20-30 in den Top 500 stehen. In die Top 10 werden sie vorraussichtlich vor 2025 nicht zurueckkehren koennen, wenn sie ueberhaupt in der Lage sind jemals dorthin zurueckzukehren.

 

[knoxxi]

setzen und sich dann für das kostspieligere Kaltwasser entscheiden.

So teuer sind entsprechende Kaltwassersätze von z.B. OPK nicht. Zumindest nicht im Verhältnis zur hiesigen Investition.

 

[PogoPogo]

kann man damit Fortnite zocken?

 

[Tommy_H]

kann man damit Fortnite zocken?

Joo... sollte von der Prozessorleistung her drinliegen aber halt ein bisschen unhandlich, ihn an die LAN Party mitzunehmen.

 

[Falc410]

Das LRZ hat sich auch innerhalb des letzten Jahres mehr und mehr auf die Green-IT Schiene fokussiert und vermarket ihre Kuehlmethoden dementsprechend. Deine Frage muss vor dem Hintergrund dieses Narrativs eingeordnet werden.

Mit dem immer staerker beschleunigenden Beginn der (pre-) Exascale Aera wird das LRZ immer weiter abrutschen und bis Ende des Jahres auf Platz 20-30 in den Top 500 stehen. In die Top 10 werden sie vorraussichtlich vor 2025 nicht zurueckkehren koennen, wenn sie ueberhaupt in der Lage sind jemals dorthin zurueckzukehren.

Nicht nur innerhalb des letzten Jahres, das war schon seit SuperMUC Phase 1 anno 2012 so. Zitat von hier: https://www.tum.de/nc/en/about-tum/news/press-releases/details/29943/

"SuperMUC’s warm water cooling raises the standards in energy efficiency to new levels."

Davon abgesehen laufen bereits die Planungen für den Nachfolger. Es gibt in Deutschland drei wissenschaftliche Supercomputer Standorte die regelmäßig die Hardware tauschen (im Schnitt ca. alle 6 Jahre). Aber Stuttgart, Jülich und Garching haben unterschiedliche Zielgruppen. Ich finde es sowieso ein Wunder, dass Deutschland so lange mithalten konnte in der Top 500. Wenn wir über Exascale reden, werden die USA und China uns sicher davon eilen, keine Frage. Die haben ein ganz anderes Budget. Aber wenn man sich dier derzeitige Top 500 anschaut, sind gerade die ersten 4 Plätze so weit vorne in der TFLOP/s Leistung, weil die halt auf Grafikkarten setzen. Damit kann man "andere" Probleme berechnen. Jetzt ist halt die Frage, wie die Deutschen darauf reagieren. Im Endeffekt kommt es auf die Bedürfnisse der Wissenschaftler an die ihre Modelle damit berechnen lassen wollen.

So teuer sind entsprechende Kaltwassersätze von z.B. OPK nicht. Zumindest nicht im Verhältnis zur hiesigen Investition.

Es geht nicht um die Investition sondern um die laufenden Kosten. Du möchtest bei einem Supercomputer den so effizient wie möglich betreiben da dich sonst die Infrastrukturkosten (Strom, Wasser, Kühlung, etc) in den Ruin treiben.

 

[icemanspirit]

(...)

Davon abgesehen laufen bereits die Planungen für den Nachfolger. Es gibt in Deutschland drei wissenschaftliche Supercomputer Standorte die regelmäßig die Hardware tauschen (im Schnitt ca. alle 6 Jahre). Aber Stuttgart, Jülich und Garching haben unterschiedliche Zielgruppen. Ich finde es sowieso ein Wunder, dass Deutschland so lange mithalten konnte in der Top 500. Wenn wir über Exascale reden, werden die USA und China uns sicher davon eilen, keine Frage. Die haben ein ganz anderes Budget. (...)

Jein.. Das LRZ ist am Abwarten wie Intel's OneAPI sich bei A21 (Aurora am Argonne National Lab) praesentiert. Bei der Planung fuer die ersten Exascale-Maschinen wird zudem Juelich im Rahmen von der EuroHPC Strategie die erste deutsche Exascale-Maschine kriegen.

Man muss abwarten wie sehr Hr. Soeder bereit ist zu investieren, doch ohne einen extremen Zuschuss vom Land gibt es fuer das LRZ, wie geschrieben, vor 2025 keine Exascale-Maschine. Zudem reicht die Stromversorgung vom LRZ fuer solche Maschinen hinten und vorne nicht aus.

P.S.: Zudem enthaelt die Top 500 Liste auf politischen Gruenden nicht die eigentliche 1/2, die wohl beide in China stehen und aus Ruecksicht auf das amerikanische Gemuet aus der Top 500 vor der ISC 2019 & SC19 jeweils zurueckgezogen wurden.

 

[Falc410]

Man muss abwarten wie sehr Hr. Soeder bereit ist zu investieren, doch ohne einen extremen Zuschuss vom Land gibt es fuer das LRZ, wie geschrieben, vor 2025 keine Exascale-Maschine. Zudem reicht die Stromversorgung vom LRZ fuer solche Maschinen hinten und vorne nicht aus.

Das stimmt, aber auch in der Richtung wird schon geplant. Aber ja, die 2x 10MW im Moment sind nicht ausreichend. Wobei man bis jetzt auch noch nicht weiß, wie viel Strom die nächste Generation denn wirklich brauchen wird. Das sind alles nur Schätzungen.

Danke für den Hinweis zu den Chinesischen Computern - das war mir gar nicht bewusst.

 

[davidzo]

Ich verstehe nicht wieso die nicht auf eine Warmwasserkühlung wie beim SuperMUC zurückgreifen. Das ist doch viel ineffizienter wenn das Kühlwasser 25-35 Grad hat. Das haben doch genug Studien in den letzten 10 Jahren gezeigt.

Ist schon heftig, war erst am Dienstag wieder beim SuperMUC-NG und der Rechner wird mit jeder Generation kleiner (Stellfläche) dafür steigt die Stellfäche die für die Kühlung benötigt wird.

35° finde ich jetzt nicht kalt. Außerdem werden Verdampfer statt chiller benutzt, die brauchen für ihre Kälte fast überhaupt keine Energie.
Das ganze Hot water thema ist doch sowieso marketingesülz, im Endeffekt kühlen sie alle nur mit Wasser und zwar in den letzten Jahren zunehmen nur noch direkt, also im server und ohne intercooler und Lukü im rack. Auf welche Temperatur man das herunterbringen kann indem man Räume damit aufheizt ist doch völlig vom Aufstellort und den dortigen Räumlichkeiten abhängig. Auch dass die Energie zurückgewohnen wird ist beinahe Euphemistisch. Hohe Heizkosten im Winter hat nur wer von Grund auf an schlecht gedämmt hat 🤣 . Welche Temperaturdifferenz man haben darf und welche Flowrate dafür erforderlich ist auch abhängig davon wie groß der Wasserspeicher sein darf, oder ob man zusätzlich verdampfen darf. alles abhängig von den Räumlichkeiten.

Der Fehler in der Berechnung ist dass man die durch Gebäudeheizung weggekühlte Leistung als "zurückgewonnen" betrachtet und vom Powerbudget abzieht. Dass das nicht der Fall ist sieht man wenn man auf den Stromzähler schaut und sich ausrechnet dass man das Gebäude auch mit guter Dämmung, Erdwärme/Kältepumpe oder Biogas hätte heizen können. Eine Kaltwasserkühlung ist mitnichten ineffizienter, wenn man diesen Selbstbetrug herausrechnet und bedenkt dass Verdampfer bzw. Tröpfchenkühlung im Gegensatz zu Lüftern und Chillern praktisch keine eigene Energie dazu kosten.

Auch würde ich zu bedenken geben dass Rome bzw. 7nm einen ganz anderen Temperatursweetspot hat als die ollen 14 und 22nm Prozessoren. Der 8auer hat dazu ein paar nette tests mit nem 3900x gemacht:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Bei 50° CPU-temp verliere ich gegenüber 40°C nicht nur 50mhz Takt, sondern die Leistungsaufnahme steigt auch von 160 auf 175Watt.

Möglicherweise ist es also bei Rome sogar effizienter im Sinne von "Weniger Primärenergieverbrauch bzw. Kilowattstunden auf der Uhr" eine niedrigere CPUtemperatur von 40-50° mittels 25-35Grad warmem Wasser zu halten, indem man nebender Gebäudeheizung das Wasser weiter herunterkühlt durch eine praktisch Kostenlose Verdampfer-kühlung.