News Chinas neuer AI-Chip: Huawei Ascend 910C ist leistungsstärker, aber ineffizient

[Volker]

Der neue Huawei Ascend 910C ist in Serienproduktion und soll ab Mai ausgeliefert werden. Er ist leistungsstark, aber wenig effizient, vor allem im Vergleich zu Nvidias Chips. Hier zeigt sich die rückständigere Fertigung, auf der der Chip basiert, obwohl er noch immer zu großen Teilen von TSMC stammt und Samsung-HBM nutzt.

Zur News: Chinas neuer AI-Chip: Huawei Ascend 910C ist leistungsstärker, aber ineffizient

 

[Abrexxes]

Doch in China ist dies wohl das geringste Übel, denn an Strom zu kommen ist viel einfacher

Alles gesagt.

 

[Rickmer]

Ich war tatsächlich so blauäugig und habe geglaubt, dass die Chips durch SMIC gefertigt wurden. Die haben ja auch für 7nm die Fähigkeit durch multi-pattering von DUV.

Aber da wird's wohl schlicht an der Kapazität fehlen, nennenswerte Mengen großer AI Chips zu produzieren - insbesondere bei den Gerüchten schlechter Yields.

$500M an Bestellung sind vermutlich im Bereich von 30.000 Wafern?
Außer falls bei dem Preis der Zusammenbau mit CoWoS auch mit drin ist, dann vermutlich eher 20.000 Wafer.

Mit perfekten Yields wären pro Wafer 40x 910c (je 2x 910b) möglich:


Gehen wir mal von 35 910c Dies pro Wafer aus. Dann könnte China irgendwo zwischen 700k und 1.000k AI-Beschleuniger produziert haben.

Genügend HBM2e wurde ja anscheinend auch gehortet.

 

[Ice =A=]

Früher hätte mich das besorgt, aber seit Trump amüsiert es mich, wie sehr Amerika am verlieren ist.

 

[davidzo]

Viel gelernt hat Huawei von Nvidia, wie Racks und Cluster auszusehen haben, um im AI-Zeitalter mitzuspielen. Nvidia hat derartige Konstruktionen aber zurückgestellt, da einige benötigte Teile wie unzählige optische Verbindungen für den Datentransfer sehr viel kosten als auch den Stromverbrauch in die Höhe treiben würden.

Ich sehe das nicht als Blaupause. Das ist Hopper Scale-Out, also kein besonderer Fortschritt.

Mit Blackwell kann man auch Scaleout mit Nvlink über OSFP betreiben, nur bietet Nvidia eben keine schlüsselfertigen Racks damit an sondern überlässt solche Großinstallationen seinen Serverpartnern. Ich würde jetzt nicht die optical Off-Tray/Off-Rack Verkabelung von Huawei gleichsetzen mit Nvidias interner Kupfer Verkabelung im NVL72 Rack. Durch die Backplane von NVL72 muss man eigentlich das ganze Rack jetzt als einen Node betrachten. Es sind nun 72 Chips in einem Node wo vorher bei 8x Schluss war.

Das eigentliche Wunder ist ja wie nvidia NVL72 nur mit Kupfer durchziehen konnte. Da kommen ein paar spannende Tricks zum Einsatz. Unter anderem eine nie dagewesene Rackdichte durch durchweg Flüssigkeitskühlung auch für die Nvlink switches und Peripherie. Bei GB300 NVlink switches geht man mit der Wakü sogar so weit dass man alle Lüfter weglassen kann.

Grundsätzlich ist Kupfer natürlich nicht effizienter als Glasfaser. Aber innerhalb des Servers / trays ist es nunmal Kupfer, es sei denn man verwendet Co-packaged Optics wie IBM bei Telum oder Intels Demochips. Aber da sind wir nunmal nicht. Also muss man standard Receiverchips verwenden und die brauchen viel Platz und Energie. Soviel Energie dass es bei kurzen Distanzen anscheinend effizienter ist bei Kupfer zu bleiben.

Nvidia ist also das Kunststück gelungen die Distanzen so weit zu reduzieren dass Kupfer für Rackweite NVlink Gen5 Verbindungen ausreicht. Das ist eine beachtliche Engineering Leistung und geht nur weil die Density soviel höher ist, wobei natürlich das Fehlen der OSFP Module einen Anteil daran hat.

 

[JoergB]

Die haben das Zeug nun vorliegen und ob da Strafe gezahlt werden muss, das ist so als wenn in den USA ein Sack Mais umfällt, in China interessiert das keinen.
Wenn das noch mal notwendig sein muss, wird das halt noch mal gemacht, das ist denen auch egal.
Da gibt es Mittel und Wege.

Noch braucht China Mithilfe, da leben aber auch sehr viele intelligente Leute, die durch den Staat auch sehr viel Geld im Hintergrund haben.
Irgendwann werden die gleich ziehen und dann geht es vorbei.

 

[Ice =A=]

Nicht vergessen:
Auch nVidia bezieht seine Chips größtenteils von TSMC aus Taiwan.
Und mit Trumps Zölle gegen Taiwan könnte es auch so kommen, dass die sich China zuwenden.

 

[Floorp]

"noch"

 

[Waelder]

Nicht vergessen:
Auch nVidia bezieht seine Chips größtenteils von TSMC aus Taiwan.
Und mit Trumps Zölle gegen Taiwan könnte es auch so kommen, dass die sich China zuwenden.

Solange in Taiwan eine Regierung im Sessel sitzt, die gegen eine Wiedervereinigung ist, ist die Chance ehr gering das man gemeinsame Sache mit China macht. Taiwan ist so betrachtet der Ärmste Staat wenn es darum geht dem Army "nach zu laufen", da man auf deren Rückendeckung angewiesen ist.

 

[gustlegga]

Das Huawei-System verbraucht am Ende vier Mal mehr Strom als das von Nvidia, ist also deutlich ineffizienter. Doch in China ist dies wohl das geringste Übel, denn an Strom zu kommen ist viel einfacher, als an Silizium.

Intel hat beinah eine Dekade laufend was von 10nm, GPU Beschleunigern usw. gefaselt und so gut wie nichts auf die Reihe bekommen.
Hätte Huawei Zugriff auf die selbe Technik wie andere Firmen wären die wohl in 3-5 Generationen locker auf Augenhöhe.
Im Mobilfunkbereich haben sie binnen weniger Jahre den ehemaligen Branchenführern Nokia, Ericsson, Alcatel & Co auch gezeigt wo der Hammer hängt.

 

[0x8100]

huawei kauft also lieber hintenrum bei tsmc 7 nm ein als bei smic den hochgelobten 7 nm-prozess zu verwenden, der laut diversen bekundungen ja mindestens 5 nm-niveau haben soll? soviel also dazu...

 

[BAssDad]

Das Chinesische Staatsmantra zur Chip und Halbleiterindustrie.

GigaWatt auch immer ihr Volt
( Nur wer mit dem [Atom] Strom schwimmt )

 

[Skysnake]

@Volker
bitte nicht dem nVidia Marketing verfallen. Die haben mir NV256 oder NV72 gar nichts "erfunden" sondern einfach nur bekanntes skaliert und Geld drauf geworfen sowie Einschränkungen hingenommen. Die machen einfach ihr Ding und sagen dann friss oder stirb.

Ich will aber ganz sicher keines der Teile betreiben müssen. Mir reichen schon die Ausfälle der 4er und 8er DGX Systeme mir den SMX Modulen. Da geht gefühlt ständig was kaputt. Also wenn ich das mit CPU Systemen vergleiche. Einen vernünftigen stabilen Betrieb über längere Zeiten bekommst du so nur schwer hin.

Vor allem ist bei einem Defekt immer ein ganzer Node weg. Bei CPU Systemen hat man nur sehr viel mehr Nodes. Es tut also nicht so weh.

Gefühlt sterben die GPUs auch eher einfach so im Vergleich zu CPUs wo man über RAS doch oft schon sieht das da etwas Probleme machen wird und dann halt bei nächster Gelegenheit aus der Produktion nimmt.

Das eigentliche Wunder ist ja wie nvidia NVL72 nur mit Kupfer durchziehen konnte.

das ist jetzt kein Wunder sondern einfach nur Design innerhalb der Spezifikationen. Hätte man mit den vorherigen gens auch hinbekommen wenn man gewollt hätte.

Unter anderem eine nie dagewesene Rackdichte durch durchweg Flüssigkeitskühlung auch für die Nvlink switches und Peripherie.

ja, abet alles einfach hoch skaliert. Mehr Manifolds in ein Rack zu packen ist keine Kunst. Am Ende zählt da nur das pro Node design. Und da geht es halt auch um Geld. Schau dir LRZ an. Die sind schon lange auf kompletter Wasserkühlung inkl Netzteilen! Kommt von Lenovo.

Grundsätzlich ist Kupfer natürlich nicht effizienter als Glasfaser.

na doch. Wenn du nicht wandeln musst, als direkt den Empfänger hinstellts ist es immer effizienter. Es skaliert halt nur sehr sehr sehr viel schlechter als Kupfer. Bei Glas macht es keinen relevanten Unterschied ob du 10 oder 100m Leitungslänge hast. Bei Kupfer schon. Für 10cm oder auch einen Meter reicht die Signalstärke mit Kupfer weil es so designed ist. Da hast du bei Optisch immer den zusätzlichen Transciever auf beiden Seiten der Energie frisst und damit ineffizienter wird als direct connected.

Grundsätzlich ist Kupfer natürlich nicht effizienter als Glasfaser.

doch, so lange du keinen Repeater brauchst und den gleichen SerDes verwendest ist Kupfer IMMER effizienter.

Aber innerhalb des Servers / trays ist es nunmal Kupfer, es sei denn man verwendet Co-packaged Optics wie IBM bei Telum oder Intels Demochips.

auch dann ist Kupfer effizienter. Nur kommst du damit nicht mehr sehr weit. Sprich nur noch innerhalb des Dies bzw Packages.

Also muss man standard Receiverchips verwenden und die brauchen viel Platz und Energie. Soviel Energie dass es bei kurzen Distanzen anscheinend effizienter ist bei Kupfer zu bleNvidia

Nein, für nen Meter oder 1.5 sind die SerDes ausgelegt. Da brauchst du noch keine Repeater. Wie gesagt bus dahin bist du effizienter mit Kupfer und günstiger dazu.

Wobei die Monster Nackplane bei NV256 könnte schon heftig teuer sein.

Nvidia ist also das Kunststück gelungen die Distanzen so weit zu reduzieren dass Kupfer für Rackweite NVlink Gen5 Verbindungen ausreicht.

Naja "Kunststück". Das kst wie gesagt das Aufstellen einer Spezifikation und dann das Akzeptieren des damit verbundenen Preises und eingeschränkter Wartbarkeit. That's it

Das ist eine beachtliche Engineering Leistung und geht nur weil die Density soviel höher ist, wobei natürlich das Fehlen der OSFP Module einen Anteil daran hat.

Ja, das ist ne Ingenieursleistung. Aber auch sehr viel einfach zugekauft.

Die Idee zu WaKü gekühlten HighDensity GPU Systemen hatte ich vor ca 15 Jahren.

An einem Projekt ähnlich zu NV256 für Exascale Computer habe ich vor ca 10 Jahren mitgearbeitet.

Wie gesagt, den größten Respekt verdienen Sie dafür die Eier in der Hose zu haben dad tatsächlich zu machen. Wie im Artikel aber schon zu lesen wird das nicht viel gekauft.

Ist einfach zu teuer und Fehleranfällig. Und kaum einer zieht wirklich einen Nutzen daraus abseits der größten LLMs beim Trainieren.

Aber ob es den Premiumaufschlag wert ist???