News JUWELS: Jülicher Supercomputer zündet den Turbolader

[yummycandy]

Ist eigentlich bekannt, welche Supercomputer in Deutschland Rechenzeit vermieten? Das wäre eine gute Refinanzierungsmethode für Firmen, die sich keine solchen Systeme leisten können.

 

[icemanspirit]

Hast du den Text gelesen? Intel AMD Nvidia und Dienstleister aus Israel und Frankreich. Hier kommt nur der "Standort" und das Geld aus Deutschland.

Jein, das Design des modularen Supercomputers wurde in Juelich im Rahmen von zwei grossen Forschungsprojekten erarbeitet. Die Hardware kommt natuerlicherweise nicht aus Deutschland. Wobei die grossen Supercomputinganbieter (HPE-Cray, Atos, Dell) alle nicht aus Deutschland kommen.

Ist eigentlich bekannt, welche Supercomputer in Deutschland Rechenzeit vermieten? Das wäre eine gute Refinanzierungsmethode für Firmen, die sich keine solchen Systeme leisten können.

Stuttgart hat ein System fuer solche Anmietungen. In Juelich und Muenchen geht dies meines Wissens nach nicht. Wobei ich vielleicht eher empfehlen wuerde auf solche Angebote wie die HPC Cloud von AWS oder Azure zu schauen.


Stuttgart hatte sich uebrigens zwischendurch auch noch ein GPU-Zusatzsystem bestellt: insideHPC

 

[Stullen Andi]

seit wann zündet man einen Turbolader?

das war für mich dann auch der Punkt wo ich nicht weiter gelesen habe.

 

[PS828]

Prinzipiell guter Ansatz. Aber so viele verschiedene Systeme verschiedenen Alters bremsen das ganze auch enorm ein und die effizienz sinkt. Hier ziehen die alten Geräte alles runter und die Software muss auf jede Hardware abgestimmt werden. Klingt irgendwie garnicht mehr so gut wenn man drüber nachdenkt

Aber naja, Mal gucken was draus wird.

 

[Nizakh]

@PS828 Für deine These hast du doch bestimmt eine Quelle, oder?

Zumal man bei der vorhandenen Hardware auch nicht von „Altmetall“ sprechen kann. Außerdem kommen auch nur exakt zwei CPU-Architekturen/Generationen (Skylake-SP und Rome) zum Einsatz. Hinzu kommt: Woher weißt du das alle Cluster zusammen rechnen sollen? Das wäre auch unüblich. In der Regel werden einzelne Jobs von einzelnen Systemen übernommen, daher ist das auch so skalierfähig. Und ich bezweifle das man die Software jetzt stark auf Xeon/Epyc optimiert. Da wird man vorhandene Techniken einsetzen. -> Die „manuelle“ Software-Optimierung findet eher für die GPUs statt und da sind alle Nodes gleich ausgestattet.

Das wäre eine gute Refinanzierungsmethode für Firmen, die sich keine solchen Systeme leisten können.

Das wird aus Management und Security Sicht schwierig umzusetzen. Schließlich geht es um Forschung die natürlich auch abgeschirmt werden soll. Für den genannten Einsatzzweck wären Spot-Instanzen in AWS interessant: https://aws.amazon.com/de/ec2/spot/

 

[[wege]mini]

Das wäre eine gute Refinanzierungsmethode für Firmen, die sich keine solchen Systeme leisten können.

mWn kannst "du" direkt anfragen.

dauert dann ein wenig und du bekommst zeiten zugewiesen.

https://www.fz-juelich.de/ias/jsc/EN/Expertise/Support/support_node.html

"Each of the more than 200 scientific projects " ....

irgend wann hatte ich auch mal eine preisliste in der hand....ist nicht billig.

mfg

 

[latexdoll]

Es ist wirklich super, das man auch einen kleinen Einblick im Aufbau eines Super Computer sehen kann.
Sehr gerne kann es mehr Infos in der Art und Weise geben :-)

 

[SVΞN]

Sehr gerne kann es mehr Infos in der Art und Weise geben :-)

Danke für das Feedback, wir nehmen das als Ansporn.

Wir versuchen beim Thema Supercomputer auch immer dran zu bleiben und hatten neben JUWELS, ja auch bereits Titan, Aurora, Frontier, Archer2 und zuletzt den Cray Exascale Day.

Wir bleiben da definitiv dran.

 

[PS828]

@Nizakh diese Überlegung meinerseits war rein auf die Ausgangsposition beschränkt dass solche Systeme durchaus auch mal mit nur einer Aufgabe betraut werden können. Bei der simulation vom Umfeld von schwarzen löchern oder der Datenauswertung von Teleskopen wird dem System ja auch nur "eine" übergeordnete Aufgabe gestellt die dann auf die einzelnen Cluster verteilt wird. Sicherlich kann man diese Aufgaben auch auf verschiedenster Hardware berechnen lassen, was ja auch gemacht wird. Dennoch halte ich es für wenig Zielführend ein "angestaubtes" System weiter zu betreiben obwohl grade in der IT die Zuwächse bei gleichem Verbrauch nicht zuletzt seit epyc derart gestiegen sind dass sich eine komplette Neuinstallation mit moderner Hardware auf die Laufzeit mehr lohnt, als die aktuellen Systeme mir Ihrem mehrverbrauch und geringerer Leistung weiter zu betreiben.

Die ganze Aussage geschah rein vor dem Aspekt dieser Überlegung und ohne Recherche. Aber ich lass mich da gerne eines besseren belehren, da ich nicht so tief in der Materie stecke.

 

[icemanspirit]

(..) Für den genannten Einsatzzweck wären Spot-Instanzen in AWS interessant: https://aws.amazon.com/de/ec2/spot/

Wuerde ich eher verneinen. Wenn es sich hierbei um einen "echten" HPC Job handelt spielt die Latenz des Netzwerkes eine grosse Rolle, bei den Spotinstanzen ist ein Ethernet Netzwerk im Einsatz, was eine zu hohe Latenz in diesem Kontext hat. Falls die Komplexitaet ansteigt und GPUs ein Teil des Workflows werden spielen auch klassische HPC-Features wie RDMA eine Rolle. Fuer beide Faelle gibt es speziell in besagten HPC-Clouds Netzwerke auf Basis von Infiniband, welche eine weitaus geringere Latenz aufweisen. Aber kosteneffizient koennen Spot-Instanzen alle Mal sein.

Danke für das Feedback, wir nehmen das als Ansporn.

Wir versuchen beim Thema Supercomputer auch immer dran zu bleiben und hatten neben JUWELS, ja auch bereits Titan, Aurora, Frontier, Archer2 und zuletzt den Cray Exascale Day.

Wir bleiben da definitiv dran.

Dann hoffe ich Mal, dass Du gut ausgeschlafen hast, denn naechste Woche wirst Du nicht viel Schlaf kriegen.. Es wird wohl auch eine neue Nummer 1 in den Top 500 geben

 

[[wege]mini]

beschränkt dass solche Systeme durchaus auch mal mit nur einer Aufgabe betraut werden können.

je länger die berechnung desto weniger dürfen die syteme gebaut sein wie dein und mein computer.

da müssen cluster her, alles muss zwischengespeichert werden und wenn etwas kaputt geht, MUSS es on the fly ausgetauscht werden können.

kein mensch braucht einen "blue screen" nach 6 monaten berechnung.

das human genom project ist ein schönes beispiel. das willst du nicht mit einem rechner berechnen, der kaputt gehen kann.

wer, was, warum in solch einem cluster berechnet ist am ende herzlich egal....wie viel strom muss ich rein pumpen und wie schnell rechnet das teil....mehr muss man nicht wissen.

mfg

 

[Recharging]

Super, sehr interessant und auch das Video verdeutlicht die Dimension nochmals.
Ich kann stolz sagen, ich hab' wenigstens den gleichen (Kärcher) Staubsauger, wenn's auch nicht für die Rechenleistung reicht. 🤣

 

[pipin]

Wenn ich nichts übersehen habe steht in der Quelle gar nichts von AMD. Woher kommt die Info? Ansonsten natürlich schön für AMD das immer mehr HPC-Kunden auf sie setzen.

Das steht in der Pressemitteilung von Atos:


"It will utilize the latest generation graphics processing units (GPUs) by Nvidia, InfiniBand 200 Gb/s HDR from Mellanox and AMD central processing units. "

 

[Piktogramm]

Und die Forscher, welche irgendetwas wichtiges erforschen.

Bei diesen Forschungszentren kannst du davon ausgehen, dass da ein internationaler Mischmasch arbeitet und ohne internationale Kooperation deutlich weniger Output möglich wäre.

Ist eigentlich bekannt, welche Supercomputer in Deutschland Rechenzeit vermieten? Das wäre eine gute Refinanzierungsmethode für Firmen, die sich keine solchen Systeme leisten können.

Die meisten öffentlich finanzierten Großrechner bieten für Forschungsprojekte Rechenzeit an. Typischerweise besteht das Angebot für den gesamten europäischen Forschungsverband. Bei kommerzieller Forschung werden Gebühren fällig. Wobei Projekte die aus öffentlicher Hand finanziert werden in der Regel nicht direkt mit kommerziellen Anbietern konkurrieren dürfen. Mit den Leuten, mit denen ich sprechen konnte war die Aussage, dass verfügbare Rechenzeit zu beantragter Rechenzeit im Verhältnis 1:10 stehen.

Eine gute Methode zur Refinanzierung ist das aber keines falls. An Forschungszentren / Unis ist für die vergleichsweise kleinen Rechenzentren viel zu viel hoch qualifiziertes Personal herum, als dass sich das finanziell rechnen würde. Dafür geht die Leistung aber oft auch deutlich über ein "Hier sind deine Instanzen, um den Rest musst du dich kümmern" hinaus.

 

[[wege]mini]

dass verfügbare Rechenzeit zu beantragter Rechenzeit im Verhältnis 1:10 stehen.

ohne zahlen zu kennen kann ich mir das gut vorstellen.

ob man sich als kommerzieller nutzer dann hinten an stellen muss, ist eine frage des preises und des "dinges" was man berechnen will.

die herren dort verstehen meist genauso viel von dem was man machen will, wie man selbst.....

mit einem neuartigen biologischen kampfstoff, der aus den hässlisten genen zusammengezaubert werden soll, die man kennt, braucht man dort nicht kommen.

da kommen dann andere leute zu dir nach hause.

mfg

 

[Nizakh]

Wuerde ich eher verneinen. Wenn es sich hierbei um einen "echten" HPC Job handelt spielt die Latenz des Netzwerkes eine grosse Rolle, bei den Spotinstanzen ist ein Ethernet Netzwerk im Einsatz, was eine zu hohe Latenz in diesem Kontext hat. Falls die Komplexitaet ansteigt und GPUs ein Teil des Workflows werden spielen auch klassische HPC-Features wie RDMA eine Rolle. Fuer beide Faelle gibt es speziell in besagten HPC-Clouds Netzwerke auf Basis von Infiniband, welche eine weitaus geringere Latenz aufweisen. Aber kosteneffizient koennen Spot-Instanzen alle Mal sein.

Stimmt. Da gebe ich dir Recht. Für Latenzkritische Jobs werden daher auch in diversen Firmen echte Mainframes betrieben. Letzendlich kommt es wie immer darauf an wie die Anwendung aufgebaut ist. Und dann wird entschieden welche Lösung am sinnvollsten ist.

Dennoch halte ich es für wenig Zielführend ein "angestaubtes" System weiter zu betreiben obwohl grade in der IT die Zuwächse bei gleichem Verbrauch nicht zuletzt seit epyc derart gestiegen sind dass sich eine komplette Neuinstallation mit moderner Hardware auf die Laufzeit mehr lohnt, als die aktuellen Systeme mir Ihrem mehrverbrauch und geringerer Leistung weiter zu betreiben.

Ich denke das die Experten, die in diesem Bereich tätig sind, und auch dieses System geplant haben, alle Szenarien genauestens berechnet haben. Von daher behaupte ich jetzt mal: Die wissen was sie tuen Zumal angestaubt halt wirklich relativ ist: Die Hardware ist ja auch erst 2 Jahre alt. Nicht zu vergessen: Eine Multi-Vendor Strategie ist selten etwas verkehrtes. Und für die bestehende Hardware werden vermutlich auch Support-Verträge und Co. laufen -> Das heißt man zahlt für die "Alt-Hardware" so oder so noch Geld

 

[Rumguffeln]

70 petaflops O_O


... reicht für crysis

 

[Piktogramm]

ob man sich als kommerzieller nutzer dann hinten an stellen muss, ist eine frage des preises und des "dinges" was man berechnen will.

Das hat sehr wenige mit "wollen" zu tun. Es gibt massive Auflagen, damit subventionierte, öffentliche Einrichtungen nicht mit der Privatwirtschaft in Konkurrenz treten. Zum einen Weil man die Privatwirtschaft schützen will und zum Anderen, da man die Rechenzentren für Forschung bereit haben will, die ohne unmittelbare, kommerzielle Zwänge agieren kann.

 

[[wege]mini]

Es gibt massive Auflagen, damit subventionierte, öffentliche Einrichtungen nicht mit der Privatwirtschaft in Konkurrenz treten.

darum geht es doch.

wenn ich da hin gehe, 2mio auf den tisch lege und das rad "rund" berechnen will, warte ich bis zum sankt nimmerleinstag auf rechenleistung.

wenn ich das anti aids medikament habe, aber noch ein paar simulationen brauch, darf ich auch mal schneller ran.

in beiden fällen gibt es keine konkurrenz von öffentlichen einrichtungen.

die menschen, welche die rechenleistung vergeben, sind halt wirklich gut ausgebildete fachkräfte und viele von denen haben mehrere universitätsabschlüsse

es geht immer darum, was man berechnen will....kostenlos ist es für kommerzielle dinge niemals.

mfg

 

[Wattwanderer]

Sieht man die Computer auch mal ohne diese langweilige Frontabdeckung?

Hardware-P*rno?