News Nvidias DGX-Chef: Die GPUs selbst sind nicht knapp, aber das Drumherum

[Volker]

Nvidias Profi-Beschleuniger erfreuen sich höchster Nachfrage, der Hersteller muss Flaschenhälse für eine bessere Verfügbarkeit auflösen. Die reinen GPUs sind dabei verfügbar, was fehlt, sind die darauf folgenden Schritte und Materialien, die die Chips vom Wafer bei TSMC zu einem vollwertig nutzbaren Produkt beim Kunden machen.

Zur News: Nvidias DGX-Chef: Die GPUs selbst sind nicht knapp, aber das Drumherum

 

[CDLABSRadonP...]

Wo es hakt, wurde in den letzten Wochen bereits gebetsmühlenartig wiederholt: das Packaging. Die Hopper-Beschleuniger, aber auch Vorgänger aus der Ampere-Generation für den Profi-Bereich, sind bekanntlich nicht nur reine GPUs, die von einem Wafer auf ein Package gesetzt werden, sie bekommen zuvor noch HBM zur Seite gestellt, wofür ein spezielles und aufwändiges Packaging-Verfahren nötig ist: CoWoS.

Wafer starts are not the bottleneck at TSMC. Mentioned earlier CoWoS (3D stacking) packaging is the gate at TSMC.

Wenn sich an den grundsätzlichen, dahinterstehenden Systemen nichts ändert, sieht es daher auch in den nächsten Jahren verdammt schlecht für HBM bei Consumer-Produkten aus.
Und alles nur, weil am Anfang nicht konsequent genug auf HBM gesetzt wurde. Ein gesundes Langzeitwachstum hätte solche Probleme verhindern können, aber nein; das war ja nicht gewollt.

 

[Chesterfield]

HBM und Packaging als Bremse für noch krasseren Wachstum als eh schon ? Wie wären dann die Quartalszahlen von Nvidia wenn sie trotz dieser andauernden Flaute solche Umsätze generieren ? oder doch neue Blase alles mit KI ??... We will see !

Wenn sich an den grundsätzlichen, dahinterstehenden Systemen nichts ändert, sieht es daher auch in den nächsten Jahren verdammt schlecht für HBM bei Consumer-Produkten aus.
Und alles nur, weil am Anfang nicht konsequent genug auf HBM gesetzt wurde. Ein gesundes Langzeitwachstum hätte solche Probleme verhindern können, aber nein; das war ja nicht gewollt.

HBM war nie ernsthaft ein Thema für Consumer, auch wenn alle das so "verschrieben" haben in Foren.
Es ist zu teuer und die "Wertschätzung" es zu bezahlen nicht vorhanden bei Consumer.
Vor allem nach Ankündigung von GDDR7 und reduzierbarerem Speicherinterface durch integriertem L3 ( Infinity Cache usw.) wird das Thema nicht mehr über Bandbreite bei Consumerkarten gelöst werden ( siehe RTX4060/70 z.B.
Wofür dann noch extrem teure HBM Speicher für "Consumer", der Versuch war bei AMD karten da und kläglich gescheitert ?

 

[RAZORLIGHT]

Dann dürfte ja nichts gegen niedrigere Preise aufgrund von Überangebot sprechen...
Also, wo ist der Wurm drin, bezahlt Nvidia lieber die Lagerkosten statt die Preise zu senken?

 

[whynot?]

Gab dazu nen witzigen tweet vor kurzem
https://twitter.com/karpathy/status/1686880098417508353?s=46&t=llG-5_kUbKdWrk4mgUXzaQ

 

[CDLABSRadonP...]

Also, wo ist der Wurm drin, bezahlt Nvidia lieber die Lagerkosten statt die Preise zu senken?

GPU-DIEs brauchen, im Gegensatz zu fertig montierten Karten, kaum Platz zum Lagern.
Und insgesamt wird Nvidia gemäß der News diese Kosten nur bei den GPUs für die Profi-Karten haben.

Dann dürfte ja nichts gegen niedrigere Preise aufgrund von Überangebot sprechen...

Sie werden selbst dann einfach mehr Highend-GPUs mit schwachem Yield produzieren als Mainstream-GPUs.

 

[Volker]

Ich denke nicht das da irgendwas in 5 nm noch schlechte oder schwache Yields hat, der Prozess ist 3 Jahre alt und extrem gut optimiert. Und genau so einen nutzt Nvidia ja auch.

Es bringt nichts, groß was ins Lager zu legen, dass hat Nvidia bei Ampere gelernt. Da sind sie froh, dass die durch Corona und nun den AI-Boom halt noch irgendwie weggingen. Zwischenzeitlich lag da aber viel zu viel von rum. Und jetzt was in Lager packen wenn du Packaging am Ende 2024 zur Verfügung hast - da kommt schon die nächste Gen^^

 

[Cool Master]

Ergibt Sinn. Ist bei Autos ja auch nicht anders da fehlt es auch an Kabelbäumen oder anderen Teilen die benötigt werden.

Am Ende vom Tag ist es dem Endkunden aber reichlich egal ob das nun an dem Hauptbauteil oder dem drumherum passiert. Ergo ausreden und man sollte sich ggf. Gedanken machen alles wieder selber zu produzieren wo geht. Das hat McDonalds und co. ja auch schon eingesehen und die Produzieren vieles selber statt es (teuer) einzukaufen.

 

[CDLABSRadonP...]

Wofür dann noch extrem teure HBM Speicher für "Consumer", der Versuch war bei AMD karten da und kläglich gescheitert ?

AMD hat versucht, schwache Generationen halbherzig mit HBM zu retten. Das haben sie jedes Mal vergeigt.

• Fury, Fury (X) und Nano: Hier waren sie am nächsten dran. Die Nano war ein super Produkt, konnte durch HBM mit der ultrastarken Maxwell-Generation mithalten. Der Rest halt solala. (kann ich gerne ausdetaillieren; falls gewünscht)
• Vega 64 / 56: Jetzt gar keine Nano. Nur noch solala blieb übrig. Wurde teils verramscht.
• Radeon VII: Jetzt sogar nur noch eine SKU. Sabotiert dadurch, dass sie nur PCIe 3.0 geboten hat, während PCIe-4.0-Support fürs Marketing der Kracher gewesen wäre. (und auf der professionellen Variante geboten wurde) Abermals: Solala.

HBM war nie ernsthaft ein Thema für Consumer, auch wenn alle das so "verschrieben" haben in Foren.
Es ist zu teuer und die "Wertschätzung" es zu bezahlen nicht vorhanden bei Consumer.

Entsprechend ist die von dir beobachtete "fehlende Wertschätzung" bei Consumern nicht verwunderlich. Wenn die Produkte als Ganzes nicht genug taugen, wieso sollten die Kunden dazu greifen?
Das wäre so, wie jetzt zu sagen, dass es bei den Kunden keine Wertschätzung für Chiplet-GPUs gäbe. Fällt dir was auf?

Vor allem nach Ankündigung von GDDR7 und reduzierbarerem Speicherinterface durch integriertem L3 ( Infinity Cache usw.) wird das Thema nicht mehr über Bandbreite bei Consumerkarten gelöst werden ( siehe RTX4060/70 z.B.

Weniger absolute Leistungsaufnahme, kompaktere oder simplere PCBs sowie die Möglichkeit, die entsprechenden Caches auf hohe Performance statt hohe Kapazität auszulegen. Mehr Effizienz schadet nie und HBM bietet davon drastische Mengen.

 

[pacifico]

Dann dürfte ja nichts gegen niedrigere Preise aufgrund von Überangebot sprechen...
Also, wo ist der Wurm drin, bezahlt Nvidia lieber die Lagerkosten statt die Preise zu senken?

Ich würde lieber die Lagerkosten bezahlen als die Preise zu senken.

Die haben sich das ausgerechnet.

Der Gewinn wird durch Preissenkung oder Lagerkosten reduziert.

Preissenkung - > Gibt Ärger mit den Investoren. Den man hat ja verkündet das der Verkaufspreis auf 500 pro Karte erhöht wird.

Lagerkosten - > Geben Lob von den Investoren weil die Ware nicht verramscht wird.

:-)

 

[Dito]

Ich hoffe nur, dass es dann den GPU´s nicht so geht wie auf dem Bild^^
Wenn das drumrum nicht da ist... xd

Irgendwas fehl immer. Meist ist es das Geld.
Am Ende zahlen wir wieder eine Erhöhung.

 

[ETI1120]

Dass die 5 nm Produktion nicht der Engpass ist, ist doch spätestens seit den Quartalszahlen von TSMC offensichtlich.

Wofür dann noch extrem teure HBM Speicher für "Consumer", der Versuch war bei AMD karten da und kläglich gescheitert ?

Eben.
Nvidia hat nie eine Gaming GPU mit HBM angeboten. Aber Nvidia ist bei seinen Profi-GPUs sehr schnell auf HBM gewechselt. Das könnte man doch als dezenten Hinweis verstehen, dass HBM bei Gaming GPUs nicht notwendig ist.

Dann dürfte ja nichts gegen niedrigere Preise aufgrund von Überangebot sprechen...
Also, wo ist der Wurm drin, bezahlt Nvidia lieber die Lagerkosten statt die Preise zu senken?

Es geht sogar noch einfacher, nur das produzieren was man verkaufen kann.

GPU-DIEs brauchen, im Gegensatz zu fertig montierten Karten, kaum Platz zum Lagern.
Und insgesamt wird Nvidia gemäß der News diese Kosten nur bei den GPUs für die Profi-Karten haben.

Wieso sollte Nvidia Consumer GPUs bei TSMC fertigen lassen, wenn sie sie nicht verkaufen?

Es würde mich sehr wundern wenn Nvidia die mit TSMC vereinbarten Mindestabnahmemengen nicht erfüllen könnte.

Sie werden selbst dann einfach mehr Highend-GPUs mit schwachem Yield produzieren als Mainstream-GPUs.

Wie schon @Volker anmerkt hat 5 nm bei TSMC sehr niedrige Fehlerraten, so dass auch die Yields bei GH100 ordentlich sind. GH100 hat 814 mm² während AD102 609 mm² hat, das ist jetzt nicht die Welt.

Hinzu kommt, dass Nvidia mit großen Dies Erfahrung hat und sowie nicht den Vollausbau vermarktet. Das heißt der effektive Yield ist weit höher als es die Fehlerrate vermuten lässt. Und bei den Preisen die Nvidia erzielt für die H100 erzielt, ist das alles überhaupt kein Thema.

AMD hat versucht, schwache Generationen halbherzig mit HBM zu retten.

AMD hat versucht eine neue Speichertechnik zu etablieren und die GPUs, bei der sie diese neue Speichertechnologie eingesetzt haben, haben von der höheren Bandbreite nicht profitiert. Im übrigen was soll ein Speicher retten wenn die GPU zu langsam ist?

Das haben sie jedes Mal vergeigt.

Vergeigt ist Unsinn. Nvidia hatte schlicht und einfach die besseren GPUs.

• Fury, Fury (X) und Nano: Hier waren sie am nächsten dran. Die Nano war ein super Produkt, konnte durch HBM mit der ultrastarken Maxwell-Generation mithalten. Der Rest halt solala. (kann ich gerne ausdetaillieren; falls gewünscht)

Diese Generation hat massiv darunter gelitten, dass nur 4 GByte VRAM verfügbar waren. Und eine tolle neue Speichertechnik bringt eben nichts, wenn die GPU diese Bandbreite gar nicht auslasten kann.

Die Nano war durch ihre Kompaktheit etwas ganz besonderes. So was geht eben nur, wenn der Speicher im Package der GPU sitzt.

• Vega 64 / 56: Jetzt gar keine Nano. Nur noch solala blieb übrig. Wurde teils verramscht.

Vega war eben keine reine Gaming Karte, sondern sollte auch der Türöffner zu GPGPU werden.
IMO waren es vor allem die überzogenen Erwartungen, die Vega in so schlechtem Licht erscheinen lassen.

• Radeon VII: Jetzt sogar nur noch eine SKU. Sabotiert dadurch, dass sie nur PCIe 3.0 geboten hat, während PCIe-4.0-Support fürs Marketing der Kracher gewesen wäre. (und auf der professionellen Variante geboten wurde) Abermals: Solala.

Die Radeon VII war eigentlich nicht geplant, wurde aber als Lückenfüller bis RDNA 1 eingeschoben. Der gute Support für FP64 ist ein eindeutiger Hinweis, dass es ein bisschen Hopla Hop ging. Deshalb war die Radeon VII für alle die GPGPU machen wollten ein Geheimtip. Leider war damals ROCm noch nicht so weit wie heute.

Mehr Effizienz schadet nie und HBM bietet davon drastische Mengen.

HBM ist teuer und erfordert einen teuren Interposer. RDNA 1 war erheblich effizienter als Radeon VII. Also reisst es das effiziente HBM nicht herraus. HBM ist übrigens deswegen effizienter weil es im Package der GPU verbaut wird und die Daten nur einen sehr kurzen Weg zurücklegen müssen.

RDNA 1 war ein deutlicher Wink, dass der ganze Aufwand mit HBM unnötig war. Spätestens mit RDNA 2 ist offensichtlich dass HBM bei Gaming GPUs kein Thema mehr ist.
Und wenn GDDR7 draußen ist, erst recht nicht mehr.

Aber wie gesagt sobald die Gaming Grafikarten 5000 Euro kosten, könnte HBM wieder eine Option werden.

 

[C4rp3di3m]

HBM muss wieder in Consumerkarten :/ ich will so was kaufen, dann wären 1000€ für eine Karte wenigstens gerechtfertig.

mfg

 

[theGucky]

Gab dazu nen witzigen tweet vor kurzem
https://twitter.com/karpathy/status/1686880098417508353?s=46&t=llG-5_kUbKdWrk4mgUXzaQ

Wozu braucht Meta die? Will Zuckerburg sein Hirn etwa digitalisieren?

 

[HaRdWar§FreSseR]

AMD hat versucht eine neue Speichertechnik zu etablieren und die GPUs, bei der sie diese neue Speichertechnologie eingesetzt haben, haben von der höheren Bandbreite nicht profitiert. Im übrigen was soll ein Speicher retten wenn die GPU zu langsam ist?

Genau das ist das Problem bei den Roten, die haben nur noch das Argument: mehr Speicher immer mehr will ich haben, ich kann es nicht mehr lesen.

 

[eastcoast_pete]

Vielleicht könnten NVIDIA und Intel sich hier aushelfen; wären Foveros und EMIB nicht mögliche Alternativen beim Packaging? Intel will ja auch Auftragsfertiger sein, hier könnte Intel zeigen, daß sie sowas auch können.

 

[ETI1120]

Ist Foveros und EMIB auf dem Stand der TSMC liefert?

 

[ModellbahnerTT]

Erschreckend da man eigentlich wisser sollte wann man alles zusammen haben muss um produzieren zu können damit man bei den Lagerkosten sparen kann,

 

[Trelor]

Vermutlich hat man gehofft noch Restkapazitäten für die entsprechenden Komponenten von anderen Firmen kaufen zu können (also Kapazitäten welche andere Firmen vor 2-3 Jahren für jetzt von den Zulieferern bestellt haben).

Lagerkosten sind in der Branche nicht so der riesige Posten. Just in Time delivery ist nicht die übliche Arbeitsweise in dem Bereich.

Es gibt es auch immer wieder Firmen die bei Schleuderpreisen von foundrys während Auftragslücken Chips für die nächsten Jahre auf Halde ordern. Gerade der Budget Smartphone Bereich wird von solchen Chips gespeist. Deswegen hatten auch sehr lange günstige China Smartphones immer die gleichen Snapdragon 8x A53 SoCs (mit mehreren Refreshes und Microcode updates).

Wie schon @Volker anmerkt hat 5 nm bei TSMC sehr niedrige Fehlerraten, so dass auch die Yields bei GH100 ordentlich sind. GH100 hat 814 mm² während AD102 609 mm² hat, das ist jetzt nicht die Welt.

Selbst mit guten Fehlerraten geht der Yield in diesen Größenregionen deutlich runter.
Wir lassen einen ASIC als Sonderlösung für Netzbetreiber fertigen und kommen selbst auf deutlich älteren und ausgereifteren Nodes nicht über 50% Yield bei einem ~740mm^2 Chip.

 

[eastcoast_pete]

Ist Foveros und EMIB auf dem Stand der TSMC liefert?

Ob die auf demselben Stand sind, weiß ich nicht - ein Vergleich wäre sehr interessant. Allerdings hat Intel ja Blades für Ponte Vecchio (mit HBM) Beschleuniger geliefert für mindestens einem Supercomputer, und die verbauten Ponte Vecchio und die Sapphire Rapids CPUs benutzen wohl Foveros und EMIB.

Ergänzung (5. August 2023)

Vermutlich hat man gehofft noch Restkapazitäten für die entsprechenden Komponenten von anderen Firmen kaufen zu können (also Kapazitäten welche andere Firmen vor 2-3 Jahren für jetzt von den Zulieferern bestellt haben).

Lagerkosten sind in der Branche nicht so der riesige Posten. Just in Time delivery ist nicht die übliche Arbeitsweise in dem Bereich.

Es gibt es auch immer wieder Firmen die bei Schleuderpreisen von foundrys während Auftragslücken Chips für die nächsten Jahre auf Halde ordern. Gerade der Budget Smartphone Bereich wird von solchen Chips gespeist. Deswegen hatten auch sehr lange günstige China Smartphones immer die gleichen Snapdragon 8x A53 SoCs (mit mehreren Refreshes und Microcode updates).


Selbst mit guten Fehlerraten geht der Yield in diesen Größenregionen deutlich runter.
Wir lassen einen ASIC als Sonderlösung für Netzbetreiber fertigen und kommen selbst auf deutlich älteren und ausgereifteren Nodes nicht über 50% Yield bei einem ~740mm^2 Chip.

Der Yield bei GPUs ist aber auch inklusive der tolerierbaren Fehler, denn 100% ohne einen einzigen Fehler ist bei den Transistorzahlen fast unmöglich.
Wie das bei Eurem ASIC damit aussieht, weiß ich natürlich nicht, aber bei 740 mm2 ist die Anzahl der Transistoren schon sehr groß, selbst auf einem älteren Knoten. Wobei ein 50% Yield damit gar nicht so schlecht ist.