Supercomputer: Universität Ulm nimmt Justus 2 mit Intel Xeon Gold in Betrieb
Die Universität Ulm hat einen neuen Hochleistungsrechner: Der 4,4 Millionen Euro teure Supercomputer Justus 2 hat eine theoretische Leistungsfähigkeit von 2 PetaFLOPS. Er soll komplexe Simulationen in Chemie und Quantenphysik durchführen und ist nach dem deutschen Chemiker Justus von Liebig benannt.
Wie bereits das Vorgängersystem ist Justus 2 auf die Forschungsbereiche theoretische Chemie sowie Quanten- und Festkörperphysik ausgerichtet. Der neue Hochleistungsrechner wird Forschenden aus ganz Baden-Württemberg zur Verfügung stehen und ist daher – gerade im Hinblick auf die Batterieforschung – „eine sehr sinnvolle Investition in die Zukunft unseres Wissenschafts- und Wirtschaftsstandorts“, so Ulrich Steinbach vom Landesministerium für Wissenschaft, Forschung und Kunst.
Justus 2 unter Top 400 der Supercomputer
Justus 2 zählt zu den 400 leistungsstärksten Supercomputern der Welt (Stand: KW 10 2020). Das System verfügt insgesamt über 33.696 CPU-Kerne, die CPUs stammen von Intel – welche genau, ist ComputerBase bisher nicht bekannt, eine Anfrage an die Universität Ulm ist jedoch gestellt. Gegenüber dem Vorgänger ist eine um das Fünffache gesteigerte Performance zu erwarten. Durch den Einsatz neuer Technologien konnte der auf die Rechenleistung bezogene Energiebedarf dabei gegenüber dem vorherigen System beinahe um Faktor drei verringert werden.
Kooperation mit NEC und Intel
Für den Aufbau des Systems hat die Universität Ulm mit NEC und Intel zusammengearbeitet. Diese Zusammenarbeit soll auch nach der Inbetriebnahme fortgesetzt werden. Im Zuge dieser Kooperation werden die Partner gemeinsam Zugriffsmethoden auf Ressourcen des Hochleistungsrechnens (High Performance Computing, HPC) aus der Cloud und für den Einsatz von maschinellem Lernen in Chemie-Anwendungen entwickeln.
An mindestens 530 wissenschaftlichen Publikationen war der vorherige Supercomputer der Universität Ulm beteiligt, so die Forscher. Beim Nachfolger haben sich bereits über 30 Forschergruppen aus ganz Baden-Württemberg angemeldet, die seine Rechen- und Speicherleistung zeitnah einsetzen möchten. Bei der effizienten Nutzung unterstützt auch weiterhin das HPC Kompetenzzentrum „Computational Chemistry and Quantum Sciences“ der Universität Ulm. In diesem Kompetenzzentrum steht Forschenden ein Team mit Erfahrungen im Hochleistungsrechnen und in den Naturwissenschaften zur Seite.
-
Drückten den Startknopf für den Supercomputer JUSTUS 2 (v.l.): Prof. Fedor Jelezko, Yuichi Kojima (NEC), Prof. Andreas Köhn, Uni-Präsident Prof. Michael Weber, Ulrich Steinbach (MWK) und Prof. Stefan Wesner (Bild: Eberhardt/Uni Ulm)
Supercomputer mit 702 Knoten bringt 13 Tonnen auf die Waage
Justus 2 verfügt über 702 Knoten mit je zwei Prozessoren. Das gesamte System ist auf 13 Racks verteilt, die 2,2 Meter hoch sind. Jedes dieser mit Wasser oder Luft gekühlten Racks wiegt eine Tonne. Nach Abschluss der Aufbauarbeiten wird das System in den kommenden Wochen zunächst konfiguriert und ausführlich getestet, bevor der Supercomputer in den regulären Benutzerbetrieb übergeben wird. Bis alle Daten migriert sind, werden der Vorgänger Justus und Justus 2 parallel betrieben.
Intel Xeon 6252 Gold als CPUs
Wie Prof. Dr.-Ing. Stefan Wesner am Abend mitteilt, hat man sich bei den regulären Knoten für Prozessoren des Typs Intel Xeon 6252 Gold, also Cascade Lake SP, mit je 24 Kernen und 48 Threads entschieden. Die schnelleren Kerne der „Platinum“ wären nicht von Vorteil gewesen, da die Bewertung der Systemleistung über eine Gewichtung der Leistung pro Knoten und der Maximierung des Durchsatzes erfolgte, so dass sich die Anwendungsleistung nicht sichtbar verbessert hätte.
Bei den I/O-Knoten kam zudem hinzu, dass einige Anwendungen ein recht herausforderndes I/O-Pattern haben und deshalb lokale schnelle Speichermedien gebraucht werden. Auch das recht großzügige Verhältnis Memory/Core sei deshalb wichtig, um Caching im Speicher ausnutzen zu können, so Wesner. Die NVMe-SSDs sind aus 2 beziehungsweise 4 SSDs als RAID 0 konfiguriert und nutzen insbesondere das BIOS-Feature VROC.
500 Knoten setzen auf je zwei Intel Xeon 6252 Gold mit 2,1 GHz; 456 Knoten verfügen über 192 GB RAM, bei 44 Knoten kommen 384 GB RAM zum Einsatz.
Spezialknoten mit Nvidia GPU
Bei 16 Knoten handelt es sich um Spezialknoten mit Hardwarebeschleunigung. Auch sie setzen auf zwei Intel Xeon 6252 Gold und 192 GB RAM, nutzen aber zusätzlich zwei Nvidia-GPUs.
Bei 168 I/O-Knoten kommen je zwei Intel Xeon 6252 Gold mit 384 GB RAM (148 Knoten) oder 768 GB RAM (20 Knoten) sowie zwei 1,6 TB NVMe-SSDs im RAID 0 zum Einsatz. Acht zusätzliche I/O-Knoten setzen darüber hinaus auf 1.536 GB RAM und fünf RAID 0 mit je 1,6 TB NVMe-SSDs (insgesamt 8 TB).
Die acht Login- und Service-Knoten nutzen zwei Intel Xeon 6252 Gold, 192 GB RAM und zwei 2,0 TB NVMe-SSDs im RAID 1. Zwei Visualisierungsknoten ebenfalls mit Xeon 6252 Gold, 192 GB RAM und zwei 2,0 TB NVMe-SSDs im RAID 1 nutzen zudem Nvidias Quadro P4000 Grafikkarte.
Unter Vollast liegt die Leistungsaufnahme von Justus 2 bei rund 400 kW.
Mit Intel fokussiert sich die Kooperation auf die Nutzung von FPGA-Karten und Nutzerschulungen. Bei den FPGA-Karten handelt es sich um 2× Intel FPGA D5005 (Intel Stratix 10 SX FPGA - 1SX280HN2F43E2VG, 32 GB DDR4) mit 215 Watt TDP, die in zwei Servern genutzt werden.
Fabian und 
Jan-Frederik