News SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

Jan

Chefredakteur
Teammitglied
Registriert
Apr. 2001
Beiträge
15.150
Schade wieder nur Intel. Komisch das Selbst jetzt AMD kaum genutzt wird.
 
Als Person, die im High Performance Computing arbeitet, kann ich nur sagen, dass u.a. die schlechte Vektorrechenleistung und die NUMA-Komplexität EPYC relativ uninteressant für HPC macht.
 
Nureinnickname! schrieb:
Schade wieder nur Intel. Komisch das Selbst jetzt AMD kaum genutzt wird.

Ja meine Güte, die Ausschreibung ist vermutlich - genau wie die Auswahl - schon eine ganze Weile her. Beim nächsten Mal, sofern es dann AMDs Epyc in so komprimierter Version gibt.
 
in 20-30 Jahren sieht so ein Standard Desktoprechner von Leistung her aus ^^
 
misu schrieb:
Als Person, die im High Performance Computing arbeitet, kann ich nur sagen, dass u.a. die schlechte Vektorrechenleistung und die NUMA-Komplexität EPYC relativ uninteressant für HPC macht.
Wie viele HPC Anwendungsgebiete nutzen die AVX mit 512bit Register tatsächlich?

In AI, DeepLearning usw. spielen Vektorberechnungen sicher eine Rolle, aber ist der reale Unterschied hier so entscheidend?

AMD Epyc hätte für den gleichen oder tieferen Preis sicher 32 Cores pro CPU geboten und ob die NUMA Komplexität mit diesen "Infinity Fabrics" wirklich problematisch sind?
Klar hat man theoretisch Latenzen die sich zwischen den DIEs ev. sogar messen lassen, aber ob da echt die Gefahr eines Flaschenhalses besteht? Ich bezweifle - das meiste Potential wird immer noch im Programmcode und den Algorithmen "verschenkt".

Die Architektur skaliert nämlich prima auf die Kerne und Multithreading. Auch AMDs SMT Implementation ist gut.

Eins ist aber sicher, Epyc kam hier zu spät auf den Markt und ist in der Reifephase
 
Zuletzt bearbeitet:
@Schnitz

Kleinere Unis? Mal angenommen dieses System hier wird erneuert, welche Uni stellt sich das ding in den Keller?
 
Lohnt sich das denn?

Oft genug steht der Stromverbrauch/Platzbedarf nach einigen Jahren Fortschritt in keinem Verhältnis zur Rechenleistung.

Wenn die Stromrechnung um mehrfaches höher ist als der Anschaffungspreis, scheint ein Entsorgen noch die sinnvollste Lösung zu sein.
 
Was für eine Überraschung, wieder mal Intel & Nvidia.
 
Wenn ich das richtig verstehe dann laufen da aktuell immer noch die Phase 1 und Phase 2 Systeme "mit".
Der SuperMUC ist quasi ein "skalar"-Aufgebauter supercomputer...bestehend aus mehreren "Schichten" von Nodes die wiederum als kleinste Baueinheit aus "inseln" bestehen.
https://www.lrz.de/services/compute/supermuc/systemdescription/
https://www.lrz.de/services/compute/supermuc/statistics/

Alle diese Phasen sind quasi eine Art Schalen die dann in Ihrer Summe das gesamte Rechenpaket darstellen. Ergo hat man da SandyBridges, IvyBridges, Haswells und nun auch Skylakes drin.
Das ist wohl auch ein Grund warum nicht die CPU-Architektur gewechselt hat - sondern eben lieber bei einem Core-Derivat geblieben ist.

EDIT: https://www.lrz.de/services/compute/supermuc/systemdescription/Flyer.pdf
SuperMUC Phase1 and Phase2 are loosely coupled through the common used GPFS/GSS and NAS File
systems. It is not possible to run a job across Phase1 and Phase2 and the scheduling and job classes of
Phase1 and Phase2 are different. However, Phase1 and Phase2 share the same programming environment.

Da kommt nun noch Phase3 "dazu". Es sind also eigentlich 3 Supercomputer die aber gemeinsam verwaltet werden und wo auch die ganzen Software-Development Umgebuung mit reinzählt. Da verstehe ich schon warum man nicht eben die CPU-Architektur umstellt.
 
Zuletzt bearbeitet:
die Kühllösung mit diesen Schläuchen sieht irgendwie nach overengineering aus.

Hätte man nicht irgendwie ein komplett durchströmtes Element machen können? Also zumindest bei den 2 CPU in Serie einfach ein "Balken" drüber statt dem hier:
2017-12-14 14_14_33-SuperMUC-NG_ Deutscher Top-10-Super-Computer mit 309.504 Kernen - ComputerBa.png

Sieht mir iwi zu unnötig filigran aus.

Ich stelle mir da eher so ein Monoblock für nen ganzen Einschub vor.

Edit: Ach, jetzt seh ichs, Es ist ein starres Kühl-Element das zudem auch noch ren Ram kühlt wie es scheint.nr das In und out mit Schlauch is flexibel.
 
Zuletzt bearbeitet:
@Gohst: Grunsätzlich stimme ich dir zu, dass viel Leistung verschenkt wird, weil viel notwendige Optimierung nicht stattfindet (z.B. bei alten Fortran Codes). AVX512 ist trotzdem recht nützlich, z.B. weil für sehr oft benötigte Matrixmultiplikationen Bibliotheken verwendet werden, z.B. Intels MKL. Damit profitiert man direkt von AVX512. Ähnlich z.B. bei anderen Algorithmen aus der linearen Algebra (BLAS) oder auch bei FFTs.

Bzgl. NUMA:
Der Infinity-Fabric erschwert das Programmieren. Effektiv ist ein 2-Sockel AMD Epyc 64-Kern System ein 8-fach NUMA System. Der Grund für diese Betrachtung ist die relativ niedrige Bandbreite durch die Infinity Fabric (und auch die höheren Latenzen). Das sollte besonders bei klar Speicherlimiterten Algorithmen zuschlagen, z.B. der Lattice-Boltzmann Methode. Hier muss man wesentlich stärker darauf achten als bei Intel CPUs, dass der Speicher auf dem richtigen lokalen Bereich (hinter dem Controller des eigenen Dies) liegt. Ähnliche Probleme gab's auch schon mit AMD Orochi (2x4 Module Bulldozer), der auch ein Multi-Chip-Modul war.

Es gibt auch noch ganz andere Faktoren, z.B. das Wissenschaftler in dem Bereich hohe Leistungen berichten müssen, und zwar in FLOPS, das ist dank AVX512 wesentlich einfacher. Und der politische Faktor: Ein Upgrade auf eine Architektur mit der gleichen Pro-Kern Leistung wie Haswell dürfte schwierig sein, besonderes wenn das Basissystem schon (größtenteils) Haswell ist.

Nachtrag: Und Intel hat einen integrierten Interconnect, Intel dürfte besser verfügbar sein. Manche Codes im HPC nutzen tatsächlich den Intel Compiler. Die meisten Programmierer sind mit Intel Hardware vertraut und nicht mit AMD Hardware. Das Vertrauen in das AMD Ecosystem dürfte auch geringer sein, z.B. bzgl. Prozessorbugs... kommen schon einige Punkte für Intel zusammen.
 
Zuletzt bearbeitet:
Tekpoint schrieb:
in 20-30 Jahren sieht so ein Standard Desktoprechner von Leistung her aus ^^

glaub ich kaum .. dann hätten wir ja jetzt schon 1.000 Kerne im System ...
 
Krautmaster schrieb:
die Kühllösung mit diesen Schläuchen sieht irgendwie nach overengineering aus.

Hätte man nicht irgendwie ein komplett durchströmtes Element machen können? Also zumindest bei den 2 CPU in Serie einfach ein "Balken" drüber statt dem hier:


Sieht mir iwi zu unnötig filigran aus.

Ich stelle mir da eher so ein Monoblock für nen ganzen Einschub vor.
die heatpipes haben doch eine besser wärmeübertragung als so ein balken? die heatpipes gibts eh in massen - da hat so ein balken keinen Vorteil finde ich.
die heatpipe lösung wird einfach billiger sein vermute ich mal, beim aufbau spielts zeitlich kaum eine rolle (ich vermute jetzt mal es wird alles verschraubt)
ah hab dein edit jetzt erst gelesen :x
 
Iscaran schrieb:
Wenn ich das richtig verstehe dann laufen da aktuell immer noch die Phase 1 und Phase 2 Systeme "mit".

[...]

Wenn ich mich nicht verhört habe, wird die erste Version abgeschaltet und entfernt, da ihr Energieverbrauch in keiner vernünftigen Relation mit der erzeugten Leistung steht.
 
Zurück
Oben