News HPE Apollo 9000: Hawk erreicht 26 PetaFLOPS mit AMD Epyc Rome 7742

[mibbio]

Klar spielt da auch noch Preis, Verbrauch (leider fehlt der genau in diesem Fall auf top500.org) und alles mit rein, aber das erscheint mir doch ziemlich wenig.

Es gibt ja noch die "Green500" also alternative Liste, die nicht rein nach Leistung, sondern nach Energieeffizienz (ohne Verbrauch des Kühlsystem) gewichtet.

 

[Cool Master]

Na da schau ich mal um 15 Uhr den Livestream an

 

[textract]

für welchen anwendungsfall sollen denn 2gb pro kern nicht ausreichen?

Das ist kaum eine Frage der Notwendigkeit, als der Performance.
Wenn die Speicherbandbreite die ganze Zeit nur ausgelastet ist, weil Daten non-stop hin- und hergeschaufelt werden, wirkt sich das signifikant auf die Leistung aus.

Aktuell arbeite ich in einem kleinen Rechenzentrum, vielleicht insgesamt 150/200 Nodes, gemischt Power und x86_amd64, unsere Power 9 Maschinen kaufen wir zur Zeit alle mit 24 Cores und 512 GB RAM.

EDIT: Trotz einer Speicherbandbreite von 340 GB/s

EDIT2: Du kannst du das so sehen: Wenn dein Speicher damit ausgelastet ist, die CPU auf Zugriff warten zu lassen, dann hast du natürlich sehr schnelle CPUs, bringt dir aber nichts, weil die dann einfach nur sehr schnell warten.

 

[Excel]

Wird die Abwärme eigentlich zum Heizen der Gebäude bzw. Unterstützung der Heizung verwendet? Die Abwärme ist ja nicht gerade gering.

 

[SVΞN]

Wird die Abwärme eigentlich zum Heizen der Gebäude bzw. Unterstützung der Heizung verwendet?

Ja wird sie, habe ich auch bereits im Artikel durchblicken lassen.

(...) das gesamte Kühlsystem ist zudem in die Gebäudeheizung des Instituts integriert.

 

[Holindarn]

ich seh da noch Platz für 4 weitere Cabins

 

[Ned Flanders]

dass der fünft schnellste supercomputer der welt nur so wenig kostet und so klein ist ...

Da sieht man mal die Preisnachlässe die bei solchen Grossprojekten gewährt werden. Wenn man die 11.264 Epyc 7742 im retail kaufen würde, kämen diese alleine schon auf rund 90 Mio Euro wenn ich das richtig überschlagen habe.

Was ich an Hawk und der Entscheidung für Epyc bemerkenswert finde ist, dass es gegenüber dem Vorläufer keine Änderung des Einsatzgebietes gab, die verwendete Software also sicherlich in weiten Teilen weiter verwendet wird und das scheinbar keinen Einfluss auf die Entscheidung ob Xeon oder Epyc gehabt hat. Die Vorteile scheinen also überwogen zu haben und das obwohl das kein typisches GPGPU beschleunigtes system ist sondern die CPUs hier die Rechenleistung bringen.

 

[jemandanders]

Da sieht man Mal die Preisnachlässe die bei solchen Grossprojekten gewährt werden. Wenn man die 11.264 Epyc 7742 im retail kaufen würde, kämen diese alleine schon auf rund 90 Mio Euro wenn ich das richtig überschlagen habe

Jetzt mache ich mir schon wieder etwas Sorgen um AMD.
Bekommen die nur über den Preis einen Fuß in die Tür? Fände ich ein wenig schade.
Ich hoffe ja mal für die, das wenn nächstes Jahr die hälfte der Super-Computer Top 10 auf ZEN Basis läuft, sich das mal bessert.

 

[Conqi]

Es gibt ja noch die "Green500" also alternative Liste, die nicht rein nach Leistung, sondern nach Energieeffizienz (ohne Verbrauch des Kühlsystem) gewichtet.

Die Liste kenne ich auch. Es ging mir nur darum, dass der Frontera leider keine Daten zum Verbrauch hinterlegt hat in der Liste, was als Vergleich ganz interessant gewesen wäre, weil beides rein CPU-basierte Systeme mit ähnlicher Leistungsfähigkeit sind. Ich habe nur in anderen Quellen grobe Angaben von bis zu 6 MW gefunden. Das wäre schon mal bedeutend mehr als die 4,1 MW des Hawk und viel mehr als die 3,1 MW im regulären Betrieb falls mit den 6 MW nicht mal der absolute Höchstwert gemeint ist.

 

[Ned Flanders]

@Summerbreeze

Ich glaube das ist echt völlig normal. Der Vorgänger Hazel Hen hat 44 Millionen Euro gekostet und hatte ~15k Xeon CPUs vs jetzt ~11k Epycs für 38 Millionen. Und damals musste Intel sicher nicht über den Preis gehen.

Der Rest dürfte sich preislich ja entsprechen.

 

[R4ID]

Für was genau soll der Supercomputer haupstsächlich genutzt werden?

Bitcoins schürfen

 

[Excel]

Ja wird sie, habe ich auch bereits im Artikel durchblicken lassen.

Asche auf mein Haupt, hab ich überlesen

 

[Beteigeuze.]

Das ist kaum eine Frage der Notwendigkeit, als der Performance.
Wenn die Speicherbandbreite die ganze Zeit nur ausgelastet ist, weil Daten non-stop hin- und hergeschaufelt werden, wirkt sich das signifikant auf die Leistung aus.

Aktuell arbeite ich in einem kleinen Rechenzentrum, vielleicht insgesamt 150/200 Nodes, gemischt Power und x86_amd64, unsere Power 9 Maschinen kaufen wir zur Zeit alle mit 24 Cores und 512 GB RAM.

EDIT: Trotz einer Speicherbandbreite von 340 GB/s

EDIT2: Du kannst du das so sehen: Wenn dein Speicher damit ausgelastet ist, die CPU auf Zugriff warten zu lassen, dann hast du natürlich sehr schnelle CPUs, bringt dir aber nichts, weil die dann einfach nur sehr schnell warten.

ich verstehe das schon aber welche anwendungen sind denn das die so viel speicher brauchen?
die speicherbandbreite steigt ja nicht nur durch mehr speicher oder sind boards nicht voll bestückt?

 

[Ned Flanders]

Und weil ich Zahlenspielereien so liebe:

Hazel Hen hat mit 15.424 Intel Xeons 5.6 Peta Flops bei 3.2 MW elektrischer Leistung gebracht. Hawk bringt mit 11.264 AMD Epycs 24 Peta Flops bei 3.5 MW elektrischer Leistung. Das Ding ist also nicht nur grob 4.3x so schnell wie der Vorgänger sondern auch gleich noch 4x so effizient. Und 6 Millionen Euro billiger war er (nichtmal inflationsbereinigt) auch noch.

Ziemlich gutes Angebot :-)

 

[MIWA P3D]

@Ned Flanders
Eine Sache aber übersehen das alte System hat auch noch Beschleuniger das neu nicht, heißt also es sieht für die alten Xenos noch mal schlimmer aus

 

[AleksZ86]

Berechnung des Fertigstellungstermin des BER.

mit Wissenschaft kommt man da nicht weit, es braucht Magie

 

[textract]

ich verstehe das schon aber welche anwendungen sind denn das die so viel speicher brauchen?
die speicherbandbreite steigt ja nicht nur durch mehr speicher oder sind boards nicht voll bestückt?

Bei uns laufen ganz unterschiedliche Anwendungen.
Tlw. machine learning, Datenbanken, Applikationsserver, Eigenentwicklungen von uns, oder unseren Kunden, das ist nicht wirklcih spezifizierbar.
Du hast natürlich Recht, die Menge des Speichers ändert nur bedingt die Gesamtbandbreite, nehmen wir aber an, dass du Anwendungen hast, die während der Laufzeit viel Speicher aufräumen müssen, um neue Daten zwischenzuspeichern, ist die Maschine konstant dabei dem Speicher Metadaten durch die Gegen zu schicken, anstatt Nutzdaten.

 

[Cool Master]

Das Ding ist also nicht nur grob 4.3x so schnell wie der Vorgänger

Denke da geht sogar noch mehr wenn optimiert wird:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Sehr interessantes Video!

 

[Ned Flanders]

nehmen wir aber an, dass du Anwendungen hast, die während der Laufzeit viel Speicher aufräumen müssen, um neue Daten zwischenzuspeichern, ist die Maschine konstant dabei dem Speicher Metadaten durch die Gegen zu schicken, anstatt Nutzdaten.

Ich glaube das ist halt etwas untypisch für Anwendungen des HLRS. Die ganzen GAUSS Rechner sind afaik in Deutschland größtenteils Industrierechner für Simulation und Strömungsmechanik (vulgo: Airbus, Daimler, Enercon) worauf ja auch die Auslegung als rein CPU basierter HPC hinweist. Machine Learning macht ja keiner mehr ohne GPU. Und darauf ist die Kiste wohl ausgelegt und 2gb/Kern ist jetzt auch nicht unbedingt sehr wenig für solche Anwendungen, zumal die Epyc Machinen ja Cache satt haben.

 

[kamanu]

is ja ganz nett, aber... can it run crysis?

ernst beiseite: absolut beeindruckende zahlen. da werden mal eben fast eineinhalb millionen threads parallel abgearbeitet!

Du hast das zwar vllt scherzhaft gefragt. Aber die Chance, dass Crysis da (trotz fehlender Grakas) drauf läuft, ist durchaus hoch. Auf dem 3990X läuft das auch CPU-only. Wenn die Engine da keine Probleme mit den Interconnects hat könnte das durchaus noch flüssiger laufen 🤣