Bericht Nvidia Hopper: H100 treibt KI-Supercomputer im ExaFLOPS-Zeitalter an
- Ersteller nlr
- Erstellt am
- Zum Bericht: Nvidia Hopper: H100 treibt KI-Supercomputer im ExaFLOPS-Zeitalter an
naja das ist ja früher viel extremer gewesen, als die Komplexität (Transistormenge) alle 2 Jahre verdoppelt wurde, während seit einigen Jahren solche Steigerungen nicht mehr drin sind. Ok Hopper legt wieder ordentlich einen drauf, aber trotzdem war das früher extremerRecharging schrieb:
[Stride]Sodele. Mit NVME hat man z.b so Kisten mit Multiport im Einsatz um HA storage zu bekommen.
http://www.genstor.com/productdetailshgst/51
Mit HDD und SAS hat man eher so was wie das hier mit JBODs
https://wiki.osnexus.com/index.php?title=HA_Cluster_Setup_(JBODs)
Und hier noch zwei nette Bilder die zeigen das man bei PCIe auch noch PCIe Switche dazwischen packen kann, wenn die auch Failover können. Was einigeauch wirklich können
https://www.google.com/amp/s/kknews.cc/digital/oegnkzq.amp
Mit PCIe lassen sich da recht tiefe HA Verbünde mit viel Redundanz basteln wenn man will.
Ich hoffe das reicht für ein grundlegendes Verständnis worum es dabei geht. Alles weitere kann man sich dann im Detail im Netz anschauen.
Wenn man sich so HA Lösungen beschafft, geht es dann aber auch um SLAs, wartbarkeit und vor allem elektrikal Design. Ist durchaus schön passiert, das ein sterbende PSU mehr gekillt halt weil die Sachen keine galvanische Trennung bzw entsprechende Schutzschaltungen hatten.
Daher sind JBODsauch durchaus interessant, weil man dann die Server vom storage einfach per Glasfaser trennen kann. Server gehen doch öfters mal Hops als die JBODs
@nlr das vesprochene Update
[/stride]
Das war wohl der falsche Thread... -_-
http://www.genstor.com/productdetailshgst/51
Mit HDD und SAS hat man eher so was wie das hier mit JBODs
https://wiki.osnexus.com/index.php?title=HA_Cluster_Setup_(JBODs)
Und hier noch zwei nette Bilder die zeigen das man bei PCIe auch noch PCIe Switche dazwischen packen kann, wenn die auch Failover können. Was einigeauch wirklich können
https://www.google.com/amp/s/kknews.cc/digital/oegnkzq.amp
Mit PCIe lassen sich da recht tiefe HA Verbünde mit viel Redundanz basteln wenn man will.
Ich hoffe das reicht für ein grundlegendes Verständnis worum es dabei geht. Alles weitere kann man sich dann im Detail im Netz anschauen.
Wenn man sich so HA Lösungen beschafft, geht es dann aber auch um SLAs, wartbarkeit und vor allem elektrikal Design. Ist durchaus schön passiert, das ein sterbende PSU mehr gekillt halt weil die Sachen keine galvanische Trennung bzw entsprechende Schutzschaltungen hatten.
Daher sind JBODsauch durchaus interessant, weil man dann die Server vom storage einfach per Glasfaser trennen kann. Server gehen doch öfters mal Hops als die JBODs
Ergänzung ()
@nlr das vesprochene Update
[/stride]
Das war wohl der falsche Thread... -_-
Zuletzt bearbeitet:
Krautmaster
Fleet Admiral
- Registriert
- Feb. 2007
- Beiträge
- 24.238
Danach werden KI Pcs ggf wieder analog 
So subversiv, dass fast schon Kunst ist. Oder kann das weg?[wege]mini schrieb:
Sry, für Offtopic. Aber ob KI das bald auch kann? Mit Hopper oder erst viel später? Dann kann man die Menschheit vielleicht auch abschaffen, wenn schon Computer Kultur schaffen.
O
Onkel Föhn
Gast
Bin ehrlich gesagt nicht ganz so drin in der Materie, aber kann es schon sein, FP64 "lediglich" 60 TFLOPS hat ?
Alle anderen Ergebnisse halbieren sich bei Verdoppelung.
Und was ist der Unterschied zwischen FP16 und TF32 ?
MfG Föhn.
Alle anderen Ergebnisse halbieren sich bei Verdoppelung.
Und was ist der Unterschied zwischen FP16 und TF32 ?
H100 | vs. A100 | |
|---|---|---|
| FP8 | 4.000 TFLOPS | 6x |
| FP16 | 2.000 TFLOPS | 3x |
| TF32 | 1.000 TFLOPS | 3x |
| FP64 | 60 TFLOPS | 3x |
MfG Föhn.
- Registriert
- Sep. 2005
- Beiträge
- 9.982
Artikel-Update: Im Nachgang der GTC-2022-Keynote hat Nvidia das Whitepaper zur neuen Hopper-Architektur veröffentlicht. Neben tieferen Einblicken in die Architektur liefert es auch die im Vorfeld nicht veröffentlichten Eckdaten des Vollausbaus der GH100-GPU und der ersten zwei am Markt verfügbaren Varianten: Der H100 SXM5 als SXM5-Modul für HPC-Systeme und der H100 PCIe für PCIe-5.0-Steckkarten wie Nvidias H100 CNX.
Die Hopper-GPU GH100 im Vollausbau
Mit 814 mm² ist die Hopper-GPU GH100 kleiner als beide Vorgänger, obwohl sie mit 80 Mrd. Transistoren viermal so viele Transistoren wie GV100 und 48 Prozent mehr Transistoren als GA100 beinhaltet.
Der Chip setzt sich aus 8 GPU Processing Clusters (GPCs) zusammen, die jeweils 9 Texture
Processing Clusters (TPCs) mit jeweils 2 Streaming Multiprocessors (SMs) umfassen. Ein SM von Hopper bietet 128 Cuda-Kerne (FP32) – bei GA100 waren es 64. In Summe kommt der GH100 damit auf 18.432 FP32-Cuda-Kerne, 125 Prozent mehr als GA100. Nur zwei der TPCs sind in der Lage Grafik auszugeben, der Rest ist einzig und allein auf Compute-Tasks ausgelegt.
Nvidia nutzt auch GH100 nicht voll aus
Wie den GA100 nutzt Nvidia auch den GH100 (vorerst) nicht im Vollausbau. Vom GA100 auf den kommerziell genutzten A100 hatte Nvidia rund 18 Prozent der Ausführungseinheiten deaktiviert. Beim GH100 hängt der Verschnitt vom Produkt ab, auf dem er landet.
H100 SXM5 mit 132 Streaming Multiprocessors
Beim H100 SXM5 für das SXM5-Modul bleiben alle 8 GPCs aktiv, aber es werden über den Chip verteilt 12 von 144 oder 8 Prozent Streaming Multiprocessors deaktiviert. Anlog fällt die Anzahl der Cuda- und Tensor-Kerne. Der H100 SXM5 ist also näher dran am GH100 als es der A100 am GA100 war.
Wie bei Ampere nutzt Nvidia darüber hinaus nur fünf Sechstel der Speichercontroller, denn mit nur fünf von sechs aktiven HBM3-Stacks bleiben zwei der zwölf 512-Bit-Controller inaktiv. Über 5.120 Bit ergeben sich mit HBM3e trotzdem über 3 TB/s Speicherbandbreite. Das Modul wird mit bis zu 700 Watt TDP beworben.
H100 PCIe mit 114 Streaming Multiprocessor
Für den H100 PCIe für PCI-Express-5.0-Steckkarten nutzt Nvidia ein deutlich beschnittenere Ausbaustufe, die mit 14.592 Cuda-Cores und 456 Tensor-Cores ganze 20 Prozent weniger Ausführungseinheiten als GH100 bietet. Nvidia behält es sich dabei vor sowohl einen ganzen GPC als auch lediglich einzelne TPCs oder SMs abzuschalten – je nachdem, wo die Defekte im Chip liegen.
Auch der H100 PCIe nutzt nur zehn 512-Bit-Speichercontroller, verfügt darüber hinaus aber über eine weitere Anpassung gegenüber der maximalen Fähigkeit des GH100: H100 PCIe setzt auf HBM2e statt HBM3, was die maximale Bandbreite am selben Bus von „über 3 TB/s“ auf „über 2 TB/s“ senkt – in diesem Punkt gleicht H100 PCIe der HBM2e-Ausbaustufe des A100 mit 80 GB Speicher. Die TDP der PCIe-Steckkarte beträgt 350 Watt.
Die Hopper-GPU GH100 im Vollausbau
Mit 814 mm² ist die Hopper-GPU GH100 kleiner als beide Vorgänger, obwohl sie mit 80 Mrd. Transistoren viermal so viele Transistoren wie GV100 und 48 Prozent mehr Transistoren als GA100 beinhaltet.
[Bilder: Zum Betrachten bitte den Artikel aufrufen.]
Der Chip setzt sich aus 8 GPU Processing Clusters (GPCs) zusammen, die jeweils 9 Texture
Processing Clusters (TPCs) mit jeweils 2 Streaming Multiprocessors (SMs) umfassen. Ein SM von Hopper bietet 128 Cuda-Kerne (FP32) – bei GA100 waren es 64. In Summe kommt der GH100 damit auf 18.432 FP32-Cuda-Kerne, 125 Prozent mehr als GA100. Nur zwei der TPCs sind in der Lage Grafik auszugeben, der Rest ist einzig und allein auf Compute-Tasks ausgelegt.
[Tabelle: Zum Betrachten bitte den Artikel aufrufen.]
Nvidia nutzt auch GH100 nicht voll aus
Wie den GA100 nutzt Nvidia auch den GH100 (vorerst) nicht im Vollausbau. Vom GA100 auf den kommerziell genutzten A100 hatte Nvidia rund 18 Prozent der Ausführungseinheiten deaktiviert. Beim GH100 hängt der Verschnitt vom Produkt ab, auf dem er landet.
H100 SXM5 mit 132 Streaming Multiprocessors
Beim H100 SXM5 für das SXM5-Modul bleiben alle 8 GPCs aktiv, aber es werden über den Chip verteilt 12 von 144 oder 8 Prozent Streaming Multiprocessors deaktiviert. Anlog fällt die Anzahl der Cuda- und Tensor-Kerne. Der H100 SXM5 ist also näher dran am GH100 als es der A100 am GA100 war.
Wie bei Ampere nutzt Nvidia darüber hinaus nur fünf Sechstel der Speichercontroller, denn mit nur fünf von sechs aktiven HBM3-Stacks bleiben zwei der zwölf 512-Bit-Controller inaktiv. Über 5.120 Bit ergeben sich mit HBM3e trotzdem über 3 TB/s Speicherbandbreite. Das Modul wird mit bis zu 700 Watt TDP beworben.
H100 PCIe mit 114 Streaming Multiprocessor
Für den H100 PCIe für PCI-Express-5.0-Steckkarten nutzt Nvidia ein deutlich beschnittenere Ausbaustufe, die mit 14.592 Cuda-Cores und 456 Tensor-Cores ganze 20 Prozent weniger Ausführungseinheiten als GH100 bietet. Nvidia behält es sich dabei vor sowohl einen ganzen GPC als auch lediglich einzelne TPCs oder SMs abzuschalten – je nachdem, wo die Defekte im Chip liegen.
Auch der H100 PCIe nutzt nur zehn 512-Bit-Speichercontroller, verfügt darüber hinaus aber über eine weitere Anpassung gegenüber der maximalen Fähigkeit des GH100: H100 PCIe setzt auf HBM2e statt HBM3, was die maximale Bandbreite am selben Bus von „über 3 TB/s“ auf „über 2 TB/s“ senkt – in diesem Punkt gleicht H100 PCIe der HBM2e-Ausbaustufe des A100 mit 80 GB Speicher. Die TDP der PCIe-Steckkarte beträgt 350 Watt.
[Bilder: Zum Betrachten bitte den Artikel aufrufen.]
tomgit
Captain
- Registriert
- Nov. 2015
- Beiträge
- 3.876
https://moocaholic.medium.com/fp64-fp32-fp16-bfloat16-tf32-and-other-members-of-the-zoo-a1ca7897d407Onkel Föhn schrieb:
tl;dr: TF32 ist eine Mischung aus FP16 und FP32. Precision von FP16 mit der Range aus FP32.
- Registriert
- Juni 2019
- Beiträge
- 8.142
rechenleistung sieht für bestimmte Bereiche sehr gut aus. das ding ist gebaut für KI und andere Workflows in der Richtung. Größte FP Operationen sind nicht so beeindruckend aber hier liefern ja wohl AMD und Intel in zukunft^^
- Registriert
- Juli 2021
- Beiträge
- 2.244
Hui, das Bild der SM ist interessant und lässt für Ada sogar eventuell einige Vermutungen zu.
NVIDIA verkleinert die Datenpfade von 64 auf 32 - AMD Ging bei RDNA von 16 auf 32 hoch - und führt dazu auch noch entsprechende Logik mit L0i für jeden Datenpfad ein.
Auch ein Schritt, den AMD gegangen ist. Sollte NVIDIA Hopper als Grundlage nehmen und anpassen für ADA, dann könnte NVIDIA einige Probleme, die Ampere hat lösen.
Na mal abwarten.
NVIDIA verkleinert die Datenpfade von 64 auf 32 - AMD Ging bei RDNA von 16 auf 32 hoch - und führt dazu auch noch entsprechende Logik mit L0i für jeden Datenpfad ein.
Auch ein Schritt, den AMD gegangen ist. Sollte NVIDIA Hopper als Grundlage nehmen und anpassen für ADA, dann könnte NVIDIA einige Probleme, die Ampere hat lösen.
Na mal abwarten.
Zuletzt bearbeitet:
A
AppZ
Gast
Effizienz und Leistungsaufnahme haben nichts miteinander zu tun.RayKrebs schrieb:
bis zur 8800 hat man a er nicht nur jede 2. sondern jede Gen eine Verdoppelung gehabt, und der Verbrauch hielt sich in GrenzenOR4LIFE schrieb:Die letzten paar Jahre geht die Entwicklung so extrem schnell! Das ist schon gigantisch
Damals zur Zeit von der 8800 gtx zur nächsten gen, waren die Sprünge eher so mäh aber jetzt ist es einfach nur der Wahnsinn!
Gefühlt bekommt man alle zwei Generationen einfach die doppelte Leistung. Jetzt nur noch am stromhunger basteln
Ergänzung ()
Natürlich: Effizienz= Leistung/LeistungsaufnahmeAppZ schrieb:
Hannibal Smith
Jumbo Frame
- Registriert
- Apr. 2015
- Beiträge
- 1.181
Was ein Monster ... seit Volta die Transistoren vervierfacht und trotzdem gleich groß o0.
Nun ja bin mal gespannt ob es hier Vergleiche zur MI200 Architektur geben wird. Das würde mich ehrlich gesagt echt interessieren, scheint NVIDIA hier die Tensor Cores in das Rampenlicht zu rücken, während AMD die Vektor Leistung zum Vorgänger mehr als verdoppelt haben will.
Wird bestimmt beides seine Anwendung finden.
Einfach wahnsinn, wieviel Rechenleistung der Menschheit zur Verfügung steht und wie enorm der Bedarf ist.
Nun ja bin mal gespannt ob es hier Vergleiche zur MI200 Architektur geben wird. Das würde mich ehrlich gesagt echt interessieren, scheint NVIDIA hier die Tensor Cores in das Rampenlicht zu rücken, während AMD die Vektor Leistung zum Vorgänger mehr als verdoppelt haben will.
Wird bestimmt beides seine Anwendung finden.
Einfach wahnsinn, wieviel Rechenleistung der Menschheit zur Verfügung steht und wie enorm der Bedarf ist.
DerNiemand
Lt. Commander
- Registriert
- Dez. 2012
- Beiträge
- 1.144
Wenn ich mir Mal anschaue, was aktuell gemacht wird: Strom und Ressourcen verschwenden für imaginäre Währungen... Dann sehe ich da keine goldige ZukunftDennisK. schrieb:
Ähnliche Themen
