1. #1
    Chefredakteur
    Dabei seit
    Apr 2001
    Ort
    Berlin
    Beiträge
    7.627

    Post SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Intel und Lenovo haben den Zuschlag zur Installation eines Supercomputers am Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften in München erhalten. Mit einer Spitzenleistung von 26,7 PetaFLOPS würde er sich auf dem 6. Platz der aktuellen Supercomputer-Top-500 einreihen. Das System wird mit Wasser gekühlt.

    Zur News: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

  2. Anzeige
    Logge dich ein, um diese Anzeige nicht zu sehen.
  3. #2
    Commander
    Dabei seit
    Jan 2010
    Beiträge
    2.196

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Schade wieder nur Intel. Komisch das Selbst jetzt AMD kaum genutzt wird.
    http://www.sysprofile.de/id184312 <-- System Stand 22.11.2017
    Würde mich über eine Bewertung sehr freuen :-)

    Intel/Nvidiabase Incoming <-- Mal gespannt wann die Signatur gelöscht wird.
    Verwarnung für 1 Monat erhalten, da der Begriff "Fanboy" gefallen ist. Wirklich Traurig

  4. #3
    Lieutenant
    Dabei seit
    Jun 2010
    Beiträge
    963

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Als Person, die im High Performance Computing arbeitet, kann ich nur sagen, dass u.a. die schlechte Vektorrechenleistung und die NUMA-Komplexität EPYC relativ uninteressant für HPC macht.

  5. #4
    Lt. Junior Grade
    Dabei seit
    Apr 2017
    Beiträge
    365

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Zitat Zitat von Nureinnickname! Beitrag anzeigen
    Schade wieder nur Intel. Komisch das Selbst jetzt AMD kaum genutzt wird.
    Ja meine Güte, die Ausschreibung ist vermutlich - genau wie die Auswahl - schon eine ganze Weile her. Beim nächsten Mal, sofern es dann AMDs Epyc in so komprimierter Version gibt.

  6. #5
    Admiral
    Dabei seit
    Jun 2007
    Beiträge
    9.051

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    in 20-30 Jahren sieht so ein Standard Desktoprechner von Leistung her aus ^^
    Das Problem der Welt lösen weder Skeptiker noch Zyniker deren Horizont sich beschränkt auf die offensichtliche Realität.
    Wir brauchen Menschen, die von Dingen träumen, die noch nie waren.
    Und die fragen: "Warum nicht?"

    John F. Kennedy, 35. Präsident der USA

  7. #6
    Captain
    Dabei seit
    Dez 2012
    Beiträge
    3.439

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Ergänzung vom 14.12.2017 13:26 Uhr:
    Zitat Zitat von CastorTransport Beitrag anzeigen
    Ja meine Güte, die Ausschreibung ist vermutlich - genau wie die Auswahl - schon eine ganze Weile her.
    Exakt, es wurde bereits seit 3 Jahren für das Update geplant, da war von Epyc noch keine Spur.
    Geändert von [Chefkoch] (14.12.2017 um 14:48 Uhr)

  8. #7
    Lt. Junior Grade
    Dabei seit
    Mär 2011
    Beiträge
    477

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Und was passiert mit dem alten krempel, kommt das auf die Müllhalde?

  9. #8
    Commander
    Dabei seit
    Nov 2005
    Beiträge
    2.295

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Zitat Zitat von misu Beitrag anzeigen
    Als Person, die im High Performance Computing arbeitet, kann ich nur sagen, dass u.a. die schlechte Vektorrechenleistung und die NUMA-Komplexität EPYC relativ uninteressant für HPC macht.
    Wie viele HPC Anwendungsgebiete nutzen die AVX mit 512bit Register tatsächlich?

    In AI, DeepLearning usw. spielen Vektorberechnungen sicher eine Rolle, aber ist der reale Unterschied hier so entscheidend?

    AMD Epyc hätte für den gleichen oder tieferen Preis sicher 32 Cores pro CPU geboten und ob die NUMA Komplexität mit diesen "Infinity Fabrics" wirklich problematisch sind?
    Klar hat man theoretisch Latenzen die sich zwischen den DIEs ev. sogar messen lassen, aber ob da echt die Gefahr eines Flaschenhalses besteht? Ich bezweifle - das meiste Potential wird immer noch im Programmcode und den Algorithmen "verschenkt".

    Die Architektur skaliert nämlich prima auf die Kerne und Multithreading. Auch AMDs SMT Implementation ist gut.

    Eins ist aber sicher, Epyc kam hier zu spät auf den Markt und ist in der Reifephase
    Geändert von Gohst (14.12.2017 um 13:37 Uhr)

  10. #9
    Rear Admiral
    Dabei seit
    Nov 2005
    Ort
    /dev/sbz
    Beiträge
    5.731

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Zitat Zitat von konkretor Beitrag anzeigen
    Und was passiert mit dem alten krempel, kommt das auf die Müllhalde?
    Nee, meist geht der dann an kleinere Unis, gerne auch ins Ausland.
    Ryzen 5 1600@3.95GHz
    ASUS Prime B350-Plus | 16GB RAM
    EVGA GTX 780 Ti SC ACX
    512GB ADATA SU 800 | Xubuntu 16.04 LTS x64@STEAM
    be quiet! DPP 550W

  11. #10
    Lt. Junior Grade
    Dabei seit
    Mär 2011
    Beiträge
    477

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    zumindest eine sinnvolle verwertung statt weg zu werfen

  12. #11
    Ensign
    Dabei seit
    Okt 2015
    Beiträge
    140

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    @Schnitz

    Kleinere Unis? Mal angenommen dieses System hier wird erneuert, welche Uni stellt sich das ding in den Keller?

  13. #12
    Commander
    Dabei seit
    Jun 2005
    Beiträge
    2.618

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Lohnt sich das denn?

    Oft genug steht der Stromverbrauch/Platzbedarf nach einigen Jahren Fortschritt in keinem Verhältnis zur Rechenleistung.

    Wenn die Stromrechnung um mehrfaches höher ist als der Anschaffungspreis, scheint ein Entsorgen noch die sinnvollste Lösung zu sein.

  14. #13
    Lieutenant
    Dabei seit
    Jul 2007
    Beiträge
    984

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Was für eine Überraschung, wieder mal Intel & Nvidia.
    Hallo, ich heisse AMD

    GPU: Matrox Mystique -> 3dfx Voodoo -> Riva TNT -> Riva TNT 2 MX64 -> GF 2 -> GF 4 Ti 4200 -> GF 6 -> GF 7600 GS -> HD 3870 -> HD 4870 -> HD 6850 -> HD 7950 Boost -> R9 390 -> GTX 1070 -> GTX 1080 Ti
    CPU: Cyrix 166MHz -> P2 266 @450MHz -> K6-2+ -> Celeron @1,5GHz -> Athlon XP 2200+ -> Athlon XP 3200+ -> E2200 @3,5GHz -> E5200 @4,0Ghz -> i5-6600K @4,3GHz

  15. #14
    Commander
    Dabei seit
    Dez 2007
    Ort
    Regensburg
    Beiträge
    2.260

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Wenn ich das richtig verstehe dann laufen da aktuell immer noch die Phase 1 und Phase 2 Systeme "mit".
    Der SuperMUC ist quasi ein "skalar"-Aufgebauter supercomputer...bestehend aus mehreren "Schichten" von Nodes die wiederum als kleinste Baueinheit aus "inseln" bestehen.
    https://www.lrz.de/services/compute/...emdescription/
    https://www.lrz.de/services/compute/...uc/statistics/

    Alle diese Phasen sind quasi eine Art Schalen die dann in Ihrer Summe das gesamte Rechenpaket darstellen. Ergo hat man da SandyBridges, IvyBridges, Haswells und nun auch Skylakes drin.
    Das ist wohl auch ein Grund warum nicht die CPU-Architektur gewechselt hat - sondern eben lieber bei einem Core-Derivat geblieben ist.

    EDIT: https://www.lrz.de/services/compute/...tion/Flyer.pdf
    SuperMUC Phase1 and Phase2 are loosely coupled through the common used GPFS/GSS and NAS File
    systems. It is not possible to run a job across Phase1 and Phase2 and the scheduling and job classes of
    Phase1 and Phase2 are different. However, Phase1 and Phase2 share the same programming environment.
    Da kommt nun noch Phase3 "dazu". Es sind also eigentlich 3 Supercomputer die aber gemeinsam verwaltet werden und wo auch die ganzen Software-Development Umgebuung mit reinzählt. Da verstehe ich schon warum man nicht eben die CPU-Architektur umstellt.
    Geändert von Iscaran (14.12.2017 um 14:05 Uhr)
    Iscaran

  16. #15
    Cadet 4th Year
    Dabei seit
    Okt 2016
    Beiträge
    96

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Zitat Zitat von stoneeh Beitrag anzeigen
    Was für eine Überraschung, wieder mal Intel & Nvidia.
    Das Projekt wurde 2016 ausgeschrieben.
    https://ausschreibungen-deutschland....g_bei_Muenchen

    Bitte sage mir welche Alternative es damals gegeben hätte?
    Geändert von Xeelee (14.12.2017 um 14:07 Uhr) Grund: 2016 nicht 2014

  17. #16
    Fleet Admiral
    Dabei seit
    Feb 2007
    Ort
    bei Tübingen
    Beiträge
    18.139

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    die Kühllösung mit diesen Schläuchen sieht irgendwie nach overengineering aus.

    Hätte man nicht irgendwie ein komplett durchströmtes Element machen können? Also zumindest bei den 2 CPU in Serie einfach ein "Balken" drüber statt dem hier:
    Klicke auf die Grafik für eine größere Ansicht 

Name:	2017-12-14 14_14_33-SuperMUC-NG_ Deutscher Top-10-Super-Computer mit 309.504 Kernen - ComputerBa.png 
Hits:	852 
Größe:	223,8 KB 
ID:	656301

    Sieht mir iwi zu unnötig filigran aus.

    Ich stelle mir da eher so ein Monoblock für nen ganzen Einschub vor.

    Edit: Ach, jetzt seh ichs, Es ist ein starres Kühl-Element das zudem auch noch ren Ram kühlt wie es scheint.nr das In und out mit Schlauch is flexibel.
    Geändert von Krautmaster (14.12.2017 um 14:18 Uhr)
    Workstation: Intel i9-7980XE @ 18x4,80Ghz @1,32V (4,6Ghz daily)|32GB DDR4 4000 CL16|ASRock X299 i9 Prof.GTX 980 TI SLI@ 1500/2000|1TB 960 Pro M2+2TB Evo|10GbE| Thermochill PA120.3|TFC 120er|XFPC 240er|Cape Cora Ultra 8x|Aquaero 5|Lian Li A7110B|Seasonic Platinum 1kw|40" 4K Philips[/URL]
    Server: Supermicro X10SDV-4C-7TP4F|64GB DDR4 ECC|6x4TB R5|2|3x256GB SSD|Win Server 2012 R2|LSI9260 8i|10Gbe


  18. #17
    Lieutenant
    Dabei seit
    Jun 2010
    Beiträge
    963

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    @Gohst: Grunsätzlich stimme ich dir zu, dass viel Leistung verschenkt wird, weil viel notwendige Optimierung nicht stattfindet (z.B. bei alten Fortran Codes). AVX512 ist trotzdem recht nützlich, z.B. weil für sehr oft benötigte Matrixmultiplikationen Bibliotheken verwendet werden, z.B. Intels MKL. Damit profitiert man direkt von AVX512. Ähnlich z.B. bei anderen Algorithmen aus der linearen Algebra (BLAS) oder auch bei FFTs.

    Bzgl. NUMA:
    Der Infinity-Fabric erschwert das Programmieren. Effektiv ist ein 2-Sockel AMD Epyc 64-Kern System ein 8-fach NUMA System. Der Grund für diese Betrachtung ist die relativ niedrige Bandbreite durch die Infinity Fabric (und auch die höheren Latenzen). Das sollte besonders bei klar Speicherlimiterten Algorithmen zuschlagen, z.B. der Lattice-Boltzmann Methode. Hier muss man wesentlich stärker darauf achten als bei Intel CPUs, dass der Speicher auf dem richtigen lokalen Bereich (hinter dem Controller des eigenen Dies) liegt. Ähnliche Probleme gab's auch schon mit AMD Orochi (2x4 Module Bulldozer), der auch ein Multi-Chip-Modul war.

    Es gibt auch noch ganz andere Faktoren, z.B. das Wissenschaftler in dem Bereich hohe Leistungen berichten müssen, und zwar in FLOPS, das ist dank AVX512 wesentlich einfacher. Und der politische Faktor: Ein Upgrade auf eine Architektur mit der gleichen Pro-Kern Leistung wie Haswell dürfte schwierig sein, besonderes wenn das Basissystem schon (größtenteils) Haswell ist.

    Nachtrag: Und Intel hat einen integrierten Interconnect, Intel dürfte besser verfügbar sein. Manche Codes im HPC nutzen tatsächlich den Intel Compiler. Die meisten Programmierer sind mit Intel Hardware vertraut und nicht mit AMD Hardware. Das Vertrauen in das AMD Ecosystem dürfte auch geringer sein, z.B. bzgl. Prozessorbugs... kommen schon einige Punkte für Intel zusammen.
    Geändert von misu (14.12.2017 um 14:27 Uhr)

  19. #18
    Fleet Admiral
    Dabei seit
    Jul 2011
    Beiträge
    13.625

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Zitat Zitat von Tekpoint Beitrag anzeigen
    in 20-30 Jahren sieht so ein Standard Desktoprechner von Leistung her aus ^^
    glaub ich kaum .. dann hätten wir ja jetzt schon 1.000 Kerne im System ...
    90 % aller Forenfragen könnten damit gelöst werden wenn die Fragensteller das tun würden was
    90 % aller Fragenbeantworter selber tun .... ihre Frage bei Google eintippen und lesen .

    Zwei Dinge sind unendlich, das Universum und die menschliche Dummheit, aber bei dem Universum bin ich mir noch nicht ganz sicher. "Albert Einstein"

  20. #19
    Rear Admiral
    Dabei seit
    Sep 2013
    Beiträge
    6.088

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Zitat Zitat von Krautmaster Beitrag anzeigen
    die Kühllösung mit diesen Schläuchen sieht irgendwie nach overengineering aus.

    Hätte man nicht irgendwie ein komplett durchströmtes Element machen können? Also zumindest bei den 2 CPU in Serie einfach ein "Balken" drüber statt dem hier:


    Sieht mir iwi zu unnötig filigran aus.

    Ich stelle mir da eher so ein Monoblock für nen ganzen Einschub vor.
    die heatpipes haben doch eine besser wärmeübertragung als so ein balken? die heatpipes gibts eh in massen - da hat so ein balken keinen Vorteil finde ich.
    die heatpipe lösung wird einfach billiger sein vermute ich mal, beim aufbau spielts zeitlich kaum eine rolle (ich vermute jetzt mal es wird alles verschraubt)
    ah hab dein edit jetzt erst gelesen :x
    "Es ist besser sich nicht zu rasieren, als sich schlecht zu rasieren" C.Lindner
    Dan Case A4 | i7 6700k @4,4 Ghz | Z170i PG | 32 GB Trident Z | GTX 1070 FTW @2 Ghz | 960 Evo 1TB | PG279Q | Windows 8.1

  21. #20
    Cadet 2nd Year
    Dabei seit
    Okt 2016
    Beiträge
    22

    AW: SuperMUC-NG: Deutscher Top-10-Super-Computer mit 309.504 Kernen

    Zitat Zitat von Iscaran Beitrag anzeigen
    Wenn ich das richtig verstehe dann laufen da aktuell immer noch die Phase 1 und Phase 2 Systeme "mit".

    [...]
    Wenn ich mich nicht verhört habe, wird die erste Version abgeschaltet und entfernt, da ihr Energieverbrauch in keiner vernünftigen Relation mit der erzeugten Leistung steht.

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  
Forum-Layout: Feste Breite / Flexible Breite