News Nvidia H20: AI-Beschleuniger für China kostet deutlich weniger

[Magellan]

Merkwürdig, dass Nvidia diese Versionen überhaupt anbietet, aber vielleicht haben sie in der Produktion genug Ausschuss, der sich unter den gebremsten Vorgaben noch umsatzsteigernd einsetzen lässt.

Ist doch höchst logisch dass Nvidia den chinesischen Markt nicht einfach aufgibt - die Nachfrage wird nicht auf ewig größer sein als die Produktionskapazitäten und wenn der chinesische Markt mal verloren ist und sich dort andere Ökosysteme etabliert haben dann wird er so schnell nicht wieder zurück kommen. Strategisch ist es also wichtig diesen Markt zu erhalten.

Also bleibt es dabei, dass NVidia einfach neue Produkte auf Kante näht, um die Handelsbeschränkungen aktiv und bei vollem Bewusstsein zu untergraben?

Sie untergraben die Beschränkungen nicht sondern erfüllen diese genau so wie sie gedacht sind. Wenn die Beschränkungen dazu gedacht wären den Handel mit China einzustellen dann wären sie auch entsprechend anders ausgearbeitet.
Die Beschränkungen fordern ganz bewusst bestimmte Leistungsgrenzen und Nvidia befolgt mit den Produkten für China diese Grenzen.

 

[DonDonat]

Auf Heise war vor ein paar Wochen noch eine News, dass die meisten Anbieter in China zwar Interesse an KI Chips haben... Diese aber eben NICHT in der abgespeckten Version wollen. Was auch verständlich ist und mittelfristig wahrscheinlich Nvidias Einnahmen in China deutlich senken dürfte. Kurzfristig aber ist der Hype noch immer existent und es würde mich überraschen, wenn es aktuell nen anderen chinesischen Hersteller gibt, der Chips in ähnlicher Leistungs-Klasse produzieren kann?

 

[Yosup]

Dass ein auf Exportbestimmungs-Kante genähtes Produkt angeboten wird überrascht ja nicht, der Preis, der dafür aufgerufen wird - und offenbar werden kann! - allerdings schon.

 

[BDR529]

Für das Geld kriegste aber auch den wesentlich besseren AMD Instinct MI300X

Wesentlich besser? Das entscheidest du jetzt, oder wie? Die Rohdaten mögen vielleicht höherwertig liegen, aber das macht die MI300X noch lange nicht zum besseren Co-Prozessor. Besser ist das Produkt, das eine breitere Softwareunterstützung / bessere Softwarebibliotheken bietet und aus dessen Grunde sich 90% der Anwender für Nvidia entscheiden. Software sells Hardware - das war schon immer so.

Wieder so ein typischer Kommentar...

 

[Mr. Vega]

Besser ist das Produkt, das eine breitere Softwareunterstützung / bessere Softwarebibliotheken bietet und aus dessen Grunde sich 90% der Anwender für Nvidia entscheiden. Software sells Hardware - das war schon immer so.

Und das entscheidest jetzt du? Die Aussage mag zu Teile richtig sein aber ist eben auch nicht die Ganze Wahrheit...

Zudem es technisch schon länger möglich ist Cuda Programmcode oder Cuda Programme nativ auf ML Instinct Beschleunigern und Radeon Pro GPUs ausführen.
Das geht dann, wenn man möchte, auch völlig automatisiert (HIPIFY Tool) über die ROCm Api.

Wenn die Aussage zu 100% stimmig wäre, warum haben Unternehmen wie Oracle, Meta und OpenAI oder Microsoft den MI300X bereits eingekauft oder planen damit?
Der Software Aspekt kann also am Ende doch nicht der einzige Faktor sein und wie man sieht für Unternehmen doch nicht ganz so problematisch sein (auch weil auch das AMD ROCm ECO System ebenfalls gut funktioniert), wie man es darstellen möchte.

www.hardwareluxx.de/index.php/news/allgemein/wirtschaft/62472-mg-ki-chips-meta-und-microsoft-planen-grosseinkauf-von-amds-instinct-mi300x
https://ir.amd.com/news-events/pres...livers-leadership-portfolio-of-data-center-ai

Und bevor die Argumentation kommt, niemand bestreitet das Nvidia Marktführer ist oder mit KI die Ersten waren die damit erfolgreich gestartet sind. Das alleine ist aber eben nunmal nicht die Bestätigung der getätigten Aussage.

 

[ruthi91]

warum haben Unternehmen wie Oracle, Meta und OpenAI oder Microsoft den MI300X bereits eingekauft oder planen damit?

Zum Beispiel weil die mitunter größten Tech Konzerne der Welt es sich leisten können einfach mal 100 Entwickler darauf anzusetzen die Software dafür zu entwickeln damit es ebenbürtig auf der MI300 läuft. Und weil die Karte nen gutes Stück günstiger oder besser verfügbar als Nvidias 30.000$ Topmodell sind.

 

[Mr. Vega]

Zum Beispiel weil die mitunter größten Tech Konzerne der Welt es sich leisten können einfach mal 100 Entwickler darauf anzusetzen die Software dafür zu entwickeln damit es ebenbürtig auf der MI300 läuft.

Das AMD ROCm ECO System gehört mit dazu und gibt es bereits.
Natürlich kann es angepasst und optimiert werden, weil das System Open Source ist.

Das dies tatsächlich gemacht werden MUSS damit die Leistung ebenbürtig ist, ist eine in den Raum geworfene Behauptung mehr nicht.

Und weil die Karte nen gutes Stück günstiger oder besser verfügbar als Nvidias 30.000$ Topmodell sind.

Richtig!

 

[incurable]

Für das Geld kriegste aber auch den wesentlich besseren AMD Instinct MI300X

Das Ding ist so "wesentlich besser", dass AMD noch nicht mal die verfügbaren Kapazitäten für ein paar Monate im Vorverkauf abgesetzt bekommt.

 

[lynx007]

Bei INT8 und FP8 Tensor Core gibt es zum Beispiel lediglich noch 296 TFLOPS statt 3.958 TFLOPS (mit Sparsity-Beschleunigung). Bei TF32 Tensor Core stehen 74 TFLOPS ursprünglich 989 TFLOPS gegenüber. Und bei FP32 und FP64 sind es gar nur 44 TFLOPS und 1 TFLOPS anstelle von 67 TFLOPS und 34 TFLOPS. Es ist demnach nicht so, dass die China-Konfiguration für den rund halben Preis noch die halbe Leistung, sondern signifikant weniger bietet.

Wozu braucht man INT8, FP8, TF32 und FP32 und FP 64.... jetzt auf AI und Deeplerning bezogen.... der unterschied scheint ja nicht Marginal zu sein.... wirkt sogar schon fast tot kastriert. Gibt es überhaupt ein Punkt und Anwendungsfall wo es ähnlich schnell, im Bezug auf den Preis ist? Ich mein, ich zahl die hälfte, dann erwartet man ja auch die hälfte, oder sogar etwas mehr. Aber bei vielen Punkten fällt die leistung ja sogar unter 10%.... warum sollte das ein Chinese noch kaufen?

Oder anders herum, gibt es ein Anwendungsfeld, wo die H20 noch ein wrikcih gutes Produkt darstellt, weil diese Werte praktisch keine oder nur untergeordnete Rolle spielen, liebes CB Team?

 

[Mr. Vega]

Das Ding ist so "wesentlich besser", dass AMD noch nicht mal die verfügbaren Kapazitäten für ein paar Monate im Vorverkauf abgesetzt bekommt.

Gibt es seriöse Quellen dazu, die das auch tatsächlich belegen?
Oder woher stammt das?

 

[lynx007]

Dass ein auf Exportbestimmungs-Kante genähtes Produkt angeboten wird überrascht ja nicht, der Preis, der dafür aufgerufen wird - und offenbar werden kann! - allerdings schon.

Nein, ist es halt wert. MIch wundert eher das es so wenig ist. Im grunde muss das nur noch runtergelötet werden und auf die richtige Platinge gelötet werden, damit daraus eine h100 wird. ^^ Vermutlich funktioniert das aber nicht bei jeder h20.
Wie beim Waffenhandel. Kannst du keine Panzer schickst du halt turm, kanone und wanne in einzellteilen, wo es vorort, oder beim verbündeten nachbar zusammen gesetzt wird. ^^

Machen Sie ja übrigens auch schon bei der 4090 so.

https://www.guru3d.com/story/china-repurposing-nvidia-geforce-rtx-4090-gpus-for-ai-applications/

 

[incurable]

Gibt es seriöse Quellen dazu, die das auch tatsächlich belegen?
Oder woher stammt das?

[A]s orders have come on books and as we've seen programs moved from, let's call it, pilot programs into full manufacturing programs, we have updated the revenue forecast. As I said earlier, from a supply standpoint, we are planning for success. And so, we worked closely with our supply chain partners to ensure that we can ship more than $3.5 billion, substantially more depending on what customer demand is as we go into the second half of the year.

https://seekingalpha.com/article/46...ices-inc-amd-q4-2023-earnings-call-transcript via https://www.computerbase.de/2024-01...arte-waechst-gaming-und-embedded-schwaecheln/

 

[Mr. Vega]

@incurable Weder aus den Artikel noch aus dem Zitat von Dr. Lisa Su geht das hervor, was du mit

"dass AMD noch nicht mal die verfügbaren Kapazitäten für ein paar Monate im Vorverkauf abgesetzt bekommt."

geschrieben hast.

Nach Zahlen schon garnicht.

Zumal der MI300X erst zum Ende des Q4 2023 erschien und hier nur gering in die Quartalszahlen eingewirkt hat.
Und trotz der geringen "Wirkungszeit" im Quartal hatte MI300X bereits sichtbare positive Auswirkungen.

Anhand der Quellen ist deine Aussage für mich nicht nachvollziehbar.

 

[incurable]

Was glaubst Du, wie viel Produktionskapazitäten Nvidia fürs zweite Halbjahr frei hat?

 

[BDR529]

Und das entscheidest jetzt du? Die Aussage mag zu Teile richtig sein aber ist eben auch nicht die Ganze Wahrheit...

(1) Zudem es technisch schon länger möglich ist Cuda Programmcode oder Cuda Programme nativ auf ML Instinct Beschleunigern und Radeon Pro GPUs ausführen.
Das geht dann, wenn man möchte, auch völlig automatisiert (HIPIFY Tool) über die ROCm Api.

(2) Wenn die Aussage zu 100% stimmig wäre, warum haben Unternehmen wie Oracle, Meta und OpenAI oder Microsoft den MI300X bereits eingekauft oder planen damit?

zu 1):
Selbst wohl noch nie benutzt, sondern nur drüber gelesen, oder? Kann ich mir bei so ner Aussage wohl denken.

zu 2):
Das ist ganz einfach. Weil man von Nvidia weg will, da die Kosten für entsprechende GPUs und Software/Lizenzen immens sind. Mag bei wenigen GPUs keine so große Rolle spielen, bei hunderten und tausenden (wie bei den genannten Unternehmen üblich) jedoch schon.

Ergänzung (20. Februar 2024)

Gibt es seriöse Quellen dazu, die das auch tatsächlich belegen?
Oder woher stammt das?

Kann ich übrigens bestätigen. Als Händler der direkten Kontakt zu AMD hat, brauche ich dir jedenfalls auch keine "seriösen Quellen" nennen. Man kann auch immer alles in Frage stellen was einem nicht passt... das ist auch wieder so ein typischer Kommentar...