Bericht Nvidia Vera CPU im Detail: 88 Olympus-Kerne, SMT, FP8, 1,5 TB RAM und ein Benchmark

[DiePalme]

@raychan
Man kann damit sogar ein kleines Turbinenkraftwerk betreiben und so Energie zurück gewinnen. Wäre wirklich spannend zu sehen was die Betreiber mit der enormen Energie anfangen die hier als Wärme abgegeben wird.

 

[Benna]

@Makso Eigentlich gehört das überhaupt nicht in die Hände der Millitärs...egal von welchem Land.

 

[latiose88]

Ja da will wohl Nvidia Konkurrenz mit AMD bei den Server machen. Die Anzahl der Kerne ist beeindruckend aber es gibt auch bei dem Bereich Programme die mit mehr allcore Takt besser skalieren als mit noch mehr Kerne.

 

[anexX]

1,5 TB Ram ? Das wird teuer ...

 

[bf3gmer]

wird Intel und Amd durch solche Cpu's von Nvidia nicht komplett vom Server Markt verdrängt?

Die dinger habe ja eine immense Leistung.
Ich kann mir nicht vorstellen dass hier Intel/Amd mit ihren X86 Cpu eine chance haben.

 

[CDLABSRadonP...]

wird Intel und Amd durch solche Cpu's von Nvidia nicht komplett vom Server Markt verdrängt?

Wieso?

Die dinger habe ja eine immense Leistung.
Ich kann mir nicht vorstellen dass hier Intel/Amd mit ihren X86 Cpu eine chance haben.

Vergiss nicht, dass der Ausgangspunkt des Generationensprungs nicht brillant war:
https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
Von daher ist 46% gegenüber Grace bei gleicher Threadanzahl natürlich dennoch ein sehr ordentlicher Fortschritt, aber eben auch bloß genau das.


Grace gab und gibt es nun einmal vor allen Dingen als schlüsselfertige Lösung im Bundle...

 

[=dantE=]

Mich würde das System und Aufbau der Flüssigkeitskühlung interessieren.

Schau mal hier.
Das ist zwar schon 9 Monate alt und nur ein Konzept von vielen (Anbietern), sollte aber als Einfallstor für eine weitere Recherche ausreichen.

Beste Grüße!

 

[pipip]

Halbgar trifft es nun auch nicht. Die Aufteilung passiert halt anders, aber unterm Strich ist es ja nichts neues. "Übliches" SMT teilt einen Core so auf, dass sich die Threads abwechseln müssen, aber auch da ist es so, dass ein Thread den Core für sich alleine hat, wenn kein zweiter aktiver Thread darauf läuft. Also genau wie hier.

Inwiefern abwechseln? War der Sinn vom SMT nicht der, dass ein Thread einen Core nicht optimal ausnutzen kann und ein zweiter Thread zusätzlich die pipeline befüllt, sodass die Auslastung höher ausfällt? (Bsp Thread 1 wartet auf ein Ergebnis).
Edit: Okay verstehe jetzt was mit abwechselnd gemeint ist.

Bei dieser Variante von NV frage ich mich eher wie das mit statischer Aufteilung gemeint ist, bekommt dann jeder Thread dann auch seine Recheneinheiten direkt zugewiesen? Also sind voneinander getrennt?


Edit: Okay habe mir das Bild noch einmal angesehen, scheint so. Klingt für mich dann weniger als SMT sondern eher, mach aus „einem Core zwei halbe Cores“ und verkaufe es als SMT. selbst die aussage erster ARM mit SMT ist nicht mal falsch, wenn spartial multi threading gemeint ist.
Der Ansatz dürfte mit dem neuen Datentyp für mehr Durchsatz im KI Bereich gemacht worden sein.

 

[stefan92x]

Inwiefern abwechseln? War der Sinn vom SMT nicht der, dass ein Thread einen Core nicht optimal ausnutzen kann und ein zweiter Thread zusätzlich die pipeline befüllt, sodass die Auslastung höher ausfällt? (Bsp Thread 1 wartet auf ein Ergebnis)

Du hast es ja selbst hier genannt: Während Thread 1 wartet (meistens auf den RAM), kann Thread 2 den Core nutzen.

Okay habe mir das Bild noch einmal angesehen, scheint so. Klingt für mich dann weniger als SMT sondern eher, mach aus „einem Core zwei halbe Cores“ und verkaufe es als SMT.

Es ist ein bisschen ungünstig, dass Spatial und Simultaneous beides mit S beginnt, so dass nicht deutlich wird, dass es unterschiedliche Technologien sind. Anderseits ist die Auswirkung (ein Kern führt zwei Threads gleichzeitig aus) ja dann auch wieder dieselbe.

Ist übrigens jemandem aufgefallen, dass dieses "Spatial Multithreading" genau das ist, was von MLID und Konsorten für Intel als "Royal Core" gerüchtet wurde? Ein Kern, der sich gegenüber dem OS in mehrere aufteilen kann, je nach Auslastung? Bei Intel nach wie vor nichts davon zu sehen, aber Nvidia bringt es jetzt

 

[pipip]

@stefan92x

Also da der neue Core doppelt so breit ist, wie der des Vorgängers, und dessen Beschreibung von SMT, klingt das für mich, als ob man theoretisch den Core Count verdoppelt hat, gleichzeitig aber die Möglichkeit hat, für andere Anforderungen, die jetzt nicht KI ist, auf Single Thread umzustellen, wenn die Anzahl der Threads weniger gefragt sind, als die etwas höhere IPC.

Edit: okay davor warens 4 statt 6, dafür ist die pipline etwas länger 😅

Bei Intel ist das Konzept sicher eher mehr Richtung dynamischer Wechsel.

 

[cha0shacker]

"If only 1 virtual core is active, it can access all resources", siehe Bild in der News. Also eher so ein halbgares SMT.

Ja klar, weil das halt SMT-off ist. Kannst hier praktisch zwischen Thread-level multithreading oder Instruction-level multithreading entscheiden. Je nach dem was die Software lieber hat.

 

[davidzo]

Zum Abschluss der Session folgte im Raum noch eine letzte Frage zum Verbrauch von Vera. Nvidia gibt bis zu 450 Watt pro Sockel an. Bei Grace sollen es inklusive Speicher 500 Watt sein. Vera könne mit einer TDP von minimal 250 Watt konfiguriert werden.

Zum Bericht: Nvidia Vera CPU im Detail: 88 Olympus-Kerne, SMT, FP8, 1,5 TB RAM und ein Benchmark

Das ist nicht korrekt. Pro Sockel hat Grace inkl.Speicher typischerweise 250W TDP.

Die 500W sind für das "Grace Superchip" Modell, was für zwei Grace CPUs auf einem board steht (144Cores).
(Wer auch immer sich die Namensgebung überlegt hat ein mainboard mit diversen chips, und ram "superchip" zu nennen hat es echt verdient beim Händewaschen immer nasse Ärmel zu bekommen.)

Das GH200 "Grace Hopper Superchip" Modul ist mit 1000W beziffert, wovon mindestens 700W auf die H100 entfällt.


Das sieht für mich nach wenig mehr als Stagnation bei der Effizienz aus.

• 173% Performance im 1thread per Core Modus bei 180% der TDP.
• 202% Performance im SMT Modus bei 180% der TDP.

Klingt alles zu sehr nach Bulldozer...

 

[Hancock]

Ja klar, weil das halt SMT-off ist. Kannst hier praktisch zwischen Thread-level multithreading oder Instruction-level multithreading entscheiden. Je nach dem was die Software lieber hat.

Die Folie impliziert aber, dass die CPU dynamisch umschaltet. Wenn der andere Thread gerade WFI/WFE oder so ausführt, wird wohl dann alles dem aktiven Thread gegeben. Also SMT Light (Intel/AMD schedulen halt einfach Taktweise was gerade ex-ready ist in die Pipeline, damit kann ein Thread natürlich starved werden, da es kein faires Scheduling ist).

 

[imperialvicar]

super tolle aussage. denn bei den israelis, die genauso wie viele anderen terrororganisationen vom heiligen krieg reden, ist es bestimmt besser aufgehoben.

einfach mal aufwachen.

Diese Kriege sind doch alle heilig !