Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsHuawei Atlas 300I Duo 96GB: Das steckt im Dual-GPU-AI-Beschleuniger aus China
Der YouTube-Kanal Gamers Nexus zeigt in einem Teardown-Video das Innere des Huawei Atlas 300I Duo. Der 96GB VRAM umfassende AI-Beschleuniger aus China, ist mit gleich zwei Prozessoren bestückt und soll es in Servern mit Nvidia aufnehmen. Masse statt Klasse scheint das Motto beim Blick auf Preis und Leistung zu sein.
Hat GN zufällig im Video erwähnt, wie viele mm² der Chip hat und mit welchem Node produziert wird? Oder ist das unter der Metallhaube noch ein Geheimnis?
LPDDR4X... kein Wunder, dass die Speicherbandbreite gruselig langsam ist. Das Maximum müsste irgendwo bei 4166 MT/s liegen, glaube ich. Ob LPDDR5X zu teuer war?
Aber dafür hat die Karte grob geschätzt einen vollen Reel an keramischen Kapazitatoren aufgebraucht. Sieht irgendwie witzig aus.
(Scherz. Auf einem Reel sind vermutlich 10.000 dieser Caps. Das reicht für ein paar Karten.)
Ich nehme an das "aus China" auch bedeutet "voll und ganz gefertigt in China mit Teilen aus China" und dann fällt alles auf Basis DDR5 raus, weil sie dafür momentan noch keine eigene Fertigung haben, die ist erst im Aufbau und failed momentan noch.
280 TOPS INT8-Leistung und 96GB Speicher decken viele Anforderungen für KI-Entwicklung ab. Doch im Vergleich mit Nvidias Blackwell, der ebenfalls 96GB bietet,
5x huawei ist nicht leistungsstärker als 1x nvidia, da noch der ganze kommunikations- und verwaltungsoverhead dazu kommt, vom platzbedarf und der anzahl der benötigten lanes mal ganz abgesehen.
5x huawei ist nicht leistungsstärker als 1x nvidia, da noch der ganze kommunikations- und verwaltungsoverhead dazu kommt, vom platzbedarf und der anzahl der benötigten lanes mal ganz abgesehen.
Hat GN zufällig im Video erwähnt, wie viele mm² der Chip hat und mit welchem Node produziert wird? Oder ist das unter der Metallhaube noch ein Geheimnis?
Also die Karte ist ja nicht neu und auch der Chip ist schon bisschen älter. Bin mir auch nicht ganz sicher ob es der Ascend 310 ist der hier beschrieben wird: https://forum.huawei.com/enterprise.../667234360086118400?blogId=667234360086118400
Aber wenn, dann dürfte der sogar 12nm sein. Im Grunde sind das 16 ARM Kerne zusammen mit 16 AI Kernen (DaVinci)
0x8100 schrieb:
huawei hat 2x 48 GB - das ist was anderes als 1x 96 GB, da jeder chip nur auf 48 GB zugreifen kann.
Sicher sicher ? Hab gelesen im Virtualisierung Modus können die NPUs auf alle Ressourcen zugreifen. Oder waren wirklich nur die angebunden Ressourcen gemeint und nicht die der Karte ?
0x8100 schrieb:
5x huawei ist nicht leistungsstärker als 1x nvidia
Glaub die Huaweis können nichtmal int4 direkt, klar ist die Nvidia schneller. Aber im reinen bereitstellen von int8-Leistung kriegt man fürs gleiche Geld schon genug geboten.
Super. Den nutzt du dann, um bspw. 5 mal das oss-gpt120b (oder was auch immer) zu laden, was du auch musst, da die Leistung einer Karte nicht ausreicht x Anfragen zu bedienen. Mit Nvidia brauchst du eine Karte und ein geladenes Modell, weil die Leistung der einen Karte für die x Anfragen ausreicht. Was hast du jetzt mit den 5 mal 96GB VRAM gewonnen? Nichts.
Wenn ich einen Denkfehler hab, dann gerne korrigieren.
Wenn einige hier von "wir" schreiben, meinen sie wahrscheinlich eher die EU/Europäische Staaten als Deutschland. Und damit haben sie recht, wir sind so abgehängt, das wird böse enden.
Dresden jedenfalls hatte keine 14nm Fertigung (22nm und dann später 12nm) und die 400er GPUs wurden entsprechend auch nicht dort gefertigt sondern parallel bei Samsung und in Fab 8 von GF in den USA (siehe u.a. hier).
Dennoch interessant, dass es in Dresden eine 12nm Fertigung gibt.
@DeusExMachina Aus meiner Sicht ziemlich sicher für die Inferenz, also das Laden und Befüttern bereits trainierter Modelle wie bspw. das genannte gpt-oss-120b. Glaube die 96GB RAM sind nicht ohne Grund gewählt, denn so passt dieses Modell ja bspw. komplett in den VRAM. (Oder eines der vielen anderen Modelle natürlich, was komplett in den RAM passt ist immer gut)
Fürs Training kann man die grundlegend auch benutzen, ist dann halt auch entsprechend langsamer ggü. der Nvidia Konkurrenz.
das sieht mir nicht danach aus, als ob da ein interconnect zwischen den beiden chips ist, der die speicherbandbreite von 204 GB/s schaffen würde - wenn da überhaupt einer ist. es wurde ja explizit gesagt, dass bifurcation benötigt wird, so dass das eigenständige devices im system sind.
Kaito Kariheddo schrieb:
Hab gelesen im Virtualisierung Modus können die NPUs auf alle Ressourcen zugreifen.
One Ascend AI Processor can be divided into several virtual
NPUs in virtualization mode. Each virtual NPU supports 1, 2, or
4 AI Cores, and other hardware resources (such as memory
and codec module) are divided proportionally. One 310 series
processor can be virtualized into a maximum of 7 virtual
NPUs.
3.3 Typical Application Scenario
...
The Atlas 300I Duo inference card is deployed on the inference server to implement inference functions such as recalling, sorting, and resorting of user data types.
Ha! Wir waren quasi die #1 im RGW. Da staunste, wa!
In unserem sächsischen Silicon Valley gibt es aber auch heute noch allerhand Fabs. Gut, die produzieren nicht im 2-nm-Node, aber 12 nm sind doch auch gut.
Mit Taiwan können wir eh nicht mithalten. Laut ChatGPT macht die dortige Chipproduktion 18% des BIP aus! Damit man mal eine Ahnung hat, was das bedeutet: 23% des deutschen BIPs kommt aus der Industrie (exkl. Agrar, Dienstleistungen und Bau).
Meiner Meinung nach ist es gefährlich, als Land so sehr auf eine Schiene zu setzen. Ich weiß, dass der Silicon Shield dran hängt, aber trotzdem ist das ein starkes Ungleichgewicht.
Hat exakt 1/4 der TDP, aber etwas mehr als 1/4 der Leistung und weniger als 1/4 des Preises
Man zahlt also weniger für 4 davon bekommt mehr Leistung und benötigt weniger Energie... Nur mehr Platz braucht man wohl
Leider handelt es sich hier bloß um ein nutzlos es "KI" Produkt, schade
