News Aurora mit Intel verspätet: US-Regierung ordert neuen AMD-Nvidia-Supercomputer

[DonL_]

Abgesehen davon hat Intel da schlichtweg aktuell nichts vergleichbares und das was sie haben, werden sie auch so mit höheren Gewinnen los.

Das ist doch eine absolute "Nonsense" Aussage, denn vor Epyc gehörten solche Umsätze/Gewinne alle Intel.
Steter Tropfen höhlt auch den Stein und die fast 10% Marktanteil bei Servern von AMD merkt Intel mittlerweile, denn davor betrug ihr Marktanteil 99%.

 

[Nagilum99]

Welche denn? Sie können nicht liefern weil die Chips nicht fertig sind^^
Sapphire Rapids und Ponte Vecchio eben, sind alles 2022er Produkte. Die ersten Chargen gehen dann sicher an Aurora, aber es dauert dann ja trotzdem noch. Angeblich haben sie schon erste Strafzahlungen leisten müssen.

Du kannst bei HPE nach wie vor nicht mal einen Ice Lake Server konfigurieren. Absolute Katastrophe.

Ergänzung (25. August 2021)

Tot ist er nicht, aber Intel wird den letztlich komplett selbst bezahlen dürfen, das DOE nimmt den dann dankend für lau ab.

Halte ich jetzt für arg unrealistisch, aber eine Vertragsstrafe bzw. irgendwelche Austrittsklauseln werden sicher enthalten sein.

 

[konkretor]

https://www.phoronix.com/scan.php?page=news_item&px=AMD-Mem-Device-Public

Erste Patches gibt es schon für Frontier

 

[Salutos]

Milan ist bei Server-Anbietern ja weiterhin kaum existent, wir schaun uns da gerade nämlich auch um, aber vergiss es.

Habe Ende Juli bei Dell drei PowerEdge R7515 mit Epyc 7443P bestellt. Lieferung Anfang Oktober, wenn es dabei bleibt.
Ebenfalls Ende Juli waren bei Ingram sechs 7443P kurz auf Lager. Seither null und nigs mehr.

 

[PusteBlume0815]

Irgendwie Irrwitzig. Die Menschheit baut sich Rechner um auszurechnen wie man die Menschheit vernichten kann. Und dann scheitert das Vorhaben an Lieferproblemen.

 

[stolperstein]

Zum Bomben bauen ist immer irgendwie Geld da...



Viele Grüße,
stolpi

 

[Kampfkeks94]

Zu den Preisen:
Die TU Dresden hat für 3,478 Mio. € (netto) 34 Nodes je 8 A100 bekommen. Das macht in etwa 103k€ pro Node. Für 280 Nodes (Polaris) wären das ca. 28,84 Mio €. Dazu muss man noch komplexeres Netzwerk und externes Storage addieren. Vermutlich bleibt man aber für alles unter 35 Mio. € (netto)
Im Übrigen gibt es in den USA mit Perlmutter schon einen ähnlichen Aufbau.

 

[Ned Flanders]

Also nur um mal reinzuwerfen was die denn da genau machen, beim nuclear weapons simulations.

Die simulieren nicht wie die Dinger explodieren, oder wie sie die noch besser (tödlicher) machen können sondern die versuchen zu simulieren wie die Dinger altern. Die USA haben seit 1992 keine neuen Atomwaffen mehr entwickelt oder gebaut, das heisst die jüngsten sind mittlererweile 30 Jahre alt. Bei einem Auto gäbs jetzt bald ein H-Kennzeichen.

Das ganze nennt sich Stockpile Stewardship und wird eben hauptsächlich simuliert, weil testen kann man Atombomben heute auch nicht mehr.

 

[lynx007]

die 300 Mio reichen locker für diesen Supercomputer... 2200 A100 + 560 Epycs... kosten vl. maximal 15-20 Mio die ganze Maschine wird dann vl. maximal 30-50 Mio kosten? Ich hab keine Ahnung -vl. sinds auch 100 Mio - aber bestimmt keine 300

Na ja, das Teil muss ja auch installiert und gewartet werden. Also 15 - 20 Mio für nen Supercomputer kommt mir wieder arg wenig vor. So nen Teil steht ja nicht auf dir Wiese, schon gar nichtt wen darauf Atombomben tests gemacht werden sollen. Und bei 300 Mio ist vermutlich alles notwendige Anpassungen enthalten. Insbesondere da ja die Deadline kürzer geworden ist, und trotzdem zu Tag X ein funktionierende Computer da stehen muss.

 

[PusteBlume0815]

Die simulieren nicht wie die Dinger explodieren, oder wie sie die noch besser (tödlicher) machen können sondern die versuchen zu simulieren wie die Dinger altern.

Sei mir nicht böse und vielleicht hast du recht. Aber glauben tue ich so was schon lange nicht mehr. Glaubst du wirklich, die erzählen uns alles, was da so gemacht wird?

 

[groover]

Du kannst bei HPE nach wie vor nicht mal einen Ice Lake Server konfigurieren. Absolute Katastrophe.

Warum soll da nicht gehen ? Seit Monaten geht das ...

Ergänzung (26. August 2021)

war ne reine Schätzung.

Aber sag, was kosten A100 und Epyc CPUs (das Top Modell) im Einkauf? Wohl nicht Liste, wenn man das Zeug in (zehn)tausenden Stückzahlen einkauft.

Aber hast schon recht. Nachdem das System von HPE kommt, wird es wahrscheinlich wirklich mehr als 300 Mio kosten - weil Staatsorganisationen kann man ja prima Kohle abknöpfen (soll kein Vorwurf sein, würde ich genau so machen)

Auf so eine Gelegenheit habe ich nun über ein Jahrzehnt gewartet, endlich die Chance Einkaufspreise zu veröffentlichen und den Job an den Nagel zu hängen, für einen Computerbase User

Solche großen HPC Projekte sind 1. Marktanteil, 2. Prestige, 3. selten kostendeckend. Das liegt daran das in diesen Ausschreibungen meistens noch Mannjahre an Support, Entwicklung, Kooperation etc beinhaltet ist was natürlich nie veröffentlicht wird. Nach über 10 Jahren HPC Business kann ich Dir nur sagen, eine scharze Null an der Marge wird selten erreicht. Deine Milchmädchenrechnung ist einfach nur traurig.

 

[tarkin77]

Warum soll da nicht gehen ? Seit Monaten geht das ...

Ergänzung (26. August 2021)

Auf so eine Gelegenheit habe ich nun über ein Jahrzehnt gewartet, endlich die Chance Einkaufspreise zu veröffentlichen und den Job an den Nagel zu hängen, für einen Computerbase User

Solche großen HPC Projekte sind 1. Marktanteil, 2. Prestige, 3. selten kostendeckend. Das liegt daran das in diesen Ausschreibungen meistens noch Mannjahre an Support, Entwicklung, Kooperation etc beinhaltet ist was natürlich nie veröffentlicht wird. Nach über 10 Jahren HPC Business kann ich Dir nur sagen, eine scharze Null an der Marge wird selten erreicht. Deine Milchmädchenrechnung ist einfach nur traurig.

Ja, blöderweise bin ich nicht so gescheit wie du - also bitte erleuchte mich! Was kostet so ein System in der Regel? Du sagst ja nicht einmal, ob ich drüber oder drunter bin.

Ich hab langsam das Gefühl meine Schätzung (30-50 bzw. max 100) war gar nicht mal so weit weg von der Realität

https://www.hpcwire.com/2021/01/27/...the-national-center-for-atmospheric-research/

"The system, which is expected to cost in excess of $35 million and deliver 19.87 peak petaflops, will be based on HPE’s Cray EX architecture. It will consist of 2,480 CPU-only nodes (each powered by two third-generation AMD Epyc Milan CPUs) and 82 GPU nodes (each powered by one Epyc Milan CPU and four Nvidia A100 “Ampere” GPUs) alongside eight Epyc Rome-based login nodes."

Ist natürlich ein komplett anderes System... Polaris hat nur 1/5 der Nodes, dafür 7x so viele GPUs. Kostet das Ding vl. weniger als 30 Mio?

Noch ein Beispiel:

https://www.heise.de/news/Supercomputer-Perlmutter-mit-60-PFlops-legt-los-6056676.html#:~:text=In den vergangenen Monaten hat,NERSC-9 alias Perlmutter bestückt.

Perlmutter mit ~ 3.000 nodes kostet also $150 Mio

Kosten dann Polaris mit 560 nodes vl. ca. 30-40? Mio (wo wir wieder bei meiner ersten Schätzung währen - jaja... das Milchmädchen lässt grüßen!)

In Polaris sind es btw 32 Core Epycs und A100 mit 40GB.

https://www.hpcwire.com/2021/08/25/...ystem-will-be-testbed-for-aurora-exascale-era

Der Punkt ist der... du brauchst mich nicht blöde anmachen und dich als Experten und mich als Deppen hinstellen, wo ich mit meiner MILCHMÄDCHEN Rechnung offensichtlich gar nicht SO daneben lag!

 

[nagus]

Warum soll da nicht gehen ? Seit Monaten geht das ...

und wann wird geliefert?
keine Ahnung wie stark HPE und HP vernetzt sind aber in meiner Firma mit über 1000 Mitarbeiter haben wir aktuell Wartezeiten für HP Notebooks von 6 Monaten. Von wegen "konfigurieren geht... " .... ja toll wenn ich alles konfigurieren kann aber geliefert wird dann Monate später LOL

 

[Nagilum99]

Warum soll da nicht gehen ? Seit Monaten geht das ...

Ergänzung (26. August 2021)

Hast du mal versucht die CPU zu ändern? Z.B. auf den 18kerner?
Ja, ich kann RAM, Speicher etc. ändern - aber nicht die CPU. Im Konfigurator kann ich sie nicht ändern und der Distri konnte das letztens auch nicht.

 

[icemanspirit]

https://www.heise.de/news/Supercomputer-Perlmutter-mit-60-PFlops-legt-los-6056676.html#:~:text=In den vergangenen Monaten hat,NERSC-9 alias Perlmutter bestückt.

Perlmutter mit ~ 3.000 nodes kostet also $150 Mio

Kosten dann Polaris mit 560 nodes vl. ca. 30-40? Mio (wo wir wieder bei meiner ersten Schätzung währen - jaja... das Milchmädchen lässt grüßen!)

In Polaris sind es btw 32 Core Epycs und A100 mit 40GB.

https://www.hpcwire.com/2021/08/25/...ystem-will-be-testbed-for-aurora-exascale-era

Aus Deinen Links, zusammengenommen mit den Kosten von JUWELS-Booster in Juelich (4k A100's in der gleichen Konfiguration), komme ich eher bei 50-75 Millionen USD an fuer den Supercomputer. I.e. Du unterschaetzst hier glaube ich die Kosten fuer das hoeherwertigere HPC Cray Shasta Interconnect, und die Server welche hier genutzt werden sind weitaus hochwertiger als die ~100k Server die in Dresden verbaut wurden.

Dies wird insbesondere auch im hpcwire Artikel betont, da Argonne hier die Flexibilitaet haben moechte auch andere Beschleuniger in Zukunft in das System integrieren zu koennen, dadurch das Netzwerk groesser auslegen muss und daher hier hoehere Kosten haben wird als bei einem klein definierten Cluster.

Abziehen von den Kosten von Perlmutter muss man das Filesystem, weil Argonne selbst in seine beiden Lustre Filesysteme reinklinkt.

Eventuell bezahlt Argonne noch ein Premium um schneller von NVIDIA bedient zu werden, i.e. die A100 sind hier vermutlich mit die knappe Ware, als auch an HPE um direkt ein HPE Cray Shasta System auf den Hof gestellt zu kriegen. Eventuell werden hier auch Teile des Shasta-System fuer Aurora fuer Polaris genommen, und so kann HPE das sauber im Inventar verbuchen.

Was dies komplett aussen vor laesst, was jedoch in Supercomputingauftraegen in der Regel mit in den Kosten integriert ist:

• Softwareportierungskosten (sind in der Regel Teil des Kaufpreises)
• Stromkosten (sind auch Teil des Kaufpreises)
• Support von HPE-Cray, NVIDIA & AMD

Alles drei Komponenten, die keiner von uns beziffern kann. Als Benchmark, bei den Exascalemaschinen sind jeweils 200 Millionen USD von 600 Millionen USD Vertragsgroesse fuer den Softwareteil veranschlagt.

Am Ende werden den genauen Preis vermutlich nur die direkt Involvierten kennen

 

[Skysnake]

Da ich bei HPE arbeite und HPC Cluster verkaufe hätte ich gerne Deine Einkaufskonditionen ... Was ein Schmarn.

Echt? PreSales oder was machst du genau? Das Feld ist ja weit. Und dann kannst ja sagen, was das HLRS für seine 24 nodes bezahlt hat. Hab es leider nicht herausgefunden. Nur die 38 Mio für Hawk an sich.

30 Mio reichen wahrscheinlich nicht, aber 100 Mio sollten locker reichen.

@groover sehe ich auch so


Dazu brauchst du ja noch ein System mit ein paar PB um die Daten zu speichern.

Steht doch im Artikel. Das ist ohne Storage. Der kommt von den anderen bestehenden Systemen. Ist ja auch nur nen "kleiner" Ableger.

Da ist ein "der" verloren gegangen.🙂

Zum Thema:
560 CPU's & 2.240 A100 Beschleuniger, uff😲, das sind Zahlen. Besichtigen würde ich so ein Teil ja gerne mal, aber der Aufbau- & Verkabelungsaufwand muss echt übel sein.

Aber immer wieder beeindruckend was mittlerweile möglich ist.

MfG
Christian

Das sind läppische 280 nodes wobei wobei Wenn's wie beim HLRS ist, nur 6 nodes pro Rack eingebaut werden. Sind ja auch 5U(?) Pro node. Da ist nicht viel zu Verkabeln. CPU only Systeme mit 80+x nodes pro Rack sind da ne echt spannend. Vor allem wenn dann auch noch Wakü dazu kommt.

Deine 15-20 Mio gehen sich nie und nimmer aus

Willkommen in der Realität. Discounts von 50%+ sind durchaus normal.

Schau dir mal an was HAWK gekostet hat. 38 Mio bei 5632 nodes x 2 AMD EPYC™ 7742 ca 5000€ Listenpreis ( 5650$). Also lääpsche 56 Mio nur für die CPUs. Und da kommt ja alles dazu inkl PB an storage...

Oh wait...

Also ja 15-20 Mio sind wahrscheinlich etwas tief, aber 30-40 Millionen sind wahrscheinlich gar nicht so schlecht. 100 Mio wird das nicht kosten. Selbst 50 kann ich mir eher nicht vorstellen. Selbst mit dem wir liefern jetzt kurzfristig was Aufschlag nicht in dem Bereich.

 

[Skysnake]

Na ja, das Teil muss ja auch installiert und gewartet werden. Also 15 - 20 Mio für nen Supercomputer kommt mir wieder arg wenig vor.

Ne, das ist gar nicht so wenig. Die anderen neuen Systeme vom DOE etc sind nur extrem groß und haben noch Anteile für R&D bzw wie man so schön sagt von recurring Engineering mit drin.

So nen Teil steht ja nicht auf dir Wiese, schon gar nichtt wen darauf Atombomben tests gemacht werden sollen.

Steht weder auf der grünen Wiese, sondern einfach im Maschinenraum von Argone, noch werden da Atombombentests etc gerechnet. Das Ding ist der kleine non classified Ableger wohl. Ob da jemals wirklich classified Sachen drauf gerechnet werden ist die Frage. Vielleicht aus der Not heraus etwas Softwareportierung/Testing, aber classified "Produktion" wird darauf nie laufen.

Und bei 300 Mio ist vermutlich alles notwendige Anpassungen enthalten. Insbesondere da ja die Deadline kürzer geworden ist, und trotzdem zu Tag X ein funktionierende Computer da stehen muss.

Ja, für die kurze Deadline wird es nen Premiumaufschlag geben. Wobei ich mir nicht sicher bin ob Intel oder HPE jetzt bei Aurora21 Maincontractor ist. Wenn es HPE mussten sie eventuell auch einfach was liefern. Das ist ja nicht so ganz klar. Also zumindest mir noch nicht, ob das wirklich was Neues ist oder umgewippnet. Neben den großen Kisten gibt es meist nochmals ne kleinere für normale Forschung etc. Die fallen meist aber einfach unter den Tisch...

Man kann das aber sicherlich auch als Warnschuss vor den Bug von Intel verstehen, das man imZweifel auch Aurora21 auf die Konkurrenz umzieht.

Am Ende vom Tag war ja genau das auch die Motivation hinter den unterschiedlichen Systemen die man gekauft hat. Man ist nicht mehr auf genau einen Anbieter angewiesen. Wäre halt Ironie, wenn genau das Intel treffen würde, die ja mithelfen sollten diese Unabhängigkeit von NVIDIA+IBM zu erreichen

 

[HtOW]

Man könnte echt glauben AMD wäre in irgendeinem Punkt besser oder anders als Intel.

Das AMD inside Programm wäre mir neu

 

[groover]

und wann wird geliefert?
keine Ahnung wie stark HPE und HP vernetzt sind aber in meiner Firma mit über 1000 Mitarbeiter haben wir aktuell Wartezeiten für HP Notebooks von 6 Monaten. Von wegen "konfigurieren geht... " .... ja toll wenn ich alles konfigurieren kann aber geliefert wird dann Monate später LOL

Die 2 Firmen haben nichts miteinander zu tun außer 2 Buchstaben im Namen.

Ergänzung (27. August 2021)

Vollzitat entfernt.
Wie es richtig geht, ist hier nachzulesen.

Ich hatte geschrieben das diese Projekte keine Marge abwerfen sondern es andere Gründe gibt diese als Hersteller zu gewinnen. Von daher braucht man zum Pricing nicht mehr dazusagen, man ist froh eine schwarze 0 zu fahren.

 

[groover]

Echt? PreSales oder was machst du genau? Das Feld ist ja weit. Und dann kannst ja sagen, was das HLRS für seine 24 nodes bezahlt hat.

HPC & AI Sales, das machen nur 4 in DACH, also Auswahl ist klein Und nein, die Erweiterung ist im Preis der ursprünglichen Ausschreibung nicht drin gewesen und daher gibt es auch kein öffentliches Pricing