News AMDs „halber“ Instinct MI350: MI350P ist schnellste passiv gekühlte PCIe-Karte für Server

[Volker]

AMD Instinct MI350P heißt der neueste AI-Beschleuniger des Unternehmens für PCIe, der alte Systeme auf Vordermann bringen kann. Bei 600 Watt nutzt er passiv Vorhandenes, er wird in (größeren) Servern verschraubt, die bereits eine entsprechend starke Luftkühlung nutzen. In genau diesem Luftstrom arbeiten dann auch die MI350P.

Zur News: AMDs „halber“ Instinct MI350: MI350P ist schnellste passiv gekühlte PCIe-Karte für Server

 

[stefan92x]

Schön zu sehen, dass AMD auch da nochmal was anbieten kann, auch wenn das immer mehr Nische wird. Ich interpretier das Timing mal als "MI400 läuft, jetzt schieben wir mal kurz so Kleinkram durch die Entwicklung, bevor es mit MI500 weitergeht".

 

[Krik]

Ich bin mir nicht sicher, ob man das Ding passiv gekühlt nennen darf, wenn es 600 Watt Abwärme erzeugen kann und vor der internen Turbine des Server gehängt werden soll. 💨🔥

Hieß passiv nicht, dass keine gesonderten Kühlmaßnahmen aktive Kühlung (z. B. Lüfter) nötig sind?

 

[Epistolarius]

Die Zielgruppen der Karten könnten heute aber kaum anders sein: MI210 stand noch für FP64-Leistung, bei MI350P wird FP4-Leistung beworben (und FP64 nicht einmal mehr erwähnt). Aber für FP64 kommt ja bald die MI430X, wie heute bereits ausgeführt – wenngleich eine PCIe-Lösung davon noch nicht bestätigt ist.

AMDs Website verlinkt die Spezifikationen, wo FP64 definitiv noch erwähnt wird.
https://www.amd.com/en/products/accelerators/instinct/mi350/mi350p.html

Peak Double Precision Matrix (FP64) Performance 36 TFLOPs
Peak Double Precision (FP64) Performance 36 TFLOPs

 

[stefan92x]

@Epistolarius Vergleichen wir doch mal schnell: https://www.amd.com/en/products/accelerators/instinct/mi200/mi210.html

22,6 TFlops FP64 bei 300W TDP, die MI350P kommt jetzt mit 36 TFlops FP64 bei 600W TDP. Das sieht nach Rückschritt aus und nicht nach etwas, womit man Werbung macht.

Mehr Leistung pro Watt liefert die MI350P bei FP16 Matrix und kleineren Formaten (realistisch entspricht die TDP vermutlich nicht dem realen Verbrauch, aber ohne Test muss man ja von irgendwas ausgehen...)

 

[BDR529]

Der Newstitel als auch der Text sind teilweise aber echt ungünstig formuliert.

Es liest sich absolutistisch und allgemeingültig. Dabei ist die MI350P doch gar nicht die schnellste passiv gekühlte PCIe Karte... es kommt ganz drauf an. Die H200 NVL ist ja auch im PCIe Format. Die Intel GAUDI 3 gibt's auch noch.

Gemeint ist wohl eher, die schnellste PCIe Karte (passiv) von AMD. Das liest sich an mehreren Stellen im Text aber auch anders...

Weiterhin wird behauptet, dass PCIe Karten "rar" geworden sind. Das stimmt auch überhaupt nicht so. Oder was sollte gemeint sein? War das wieder auf AMD bezogen, weil die hauptsächlich OAM verkaufen? Das steht explizit so nämlich auch nicht im Text, jedenfalls nicht so, dass man es nicht initial falsch verstehen könnte.

 

[ETI1120]

Hieß passiv nicht, dass keine gesonderten Kühlmaßnahmen aktive Kühlung (z. B. Lüfter) nötig sind?

Passiv heißt dass die Karte keine aktive Kühlung mit bringt.
Das ist bei den Servern so üblich.

 

[BDR529]

Mal davon abgesehen, dass keine dieser Karten passiv gekühlt sind, sondern bestenfalls semi-passiv. Ohne aktive Belüftung würden diese Karten in wenigen Minuten bei Volldampf den Hitzetod sterben.

Nachtrag zur Klarstellung:

GPU mit Passivkühler bedeutet nicht, dass die GPU passiv gekühlt ist, sondern nur, dass sie einen passiven Kühlkörper hat. Aktiv gekühlt werden müssen die GPUs dennoch über die Systemlüfter.

 

[stefan92x]

Dabei ist die MI350P doch gar nicht die schnellste passiv gekühlte PCIe Karte... es kommt ganz drauf an. Die H200 NVL ist ja auch im PCIe Format.

Und laut technischen Daten von Nvidia langsamer in fast allen Datentypen als laut Daten von AMD die MI350P. Ausgerechnet FP64 Matrix kann die Nvidia schneller... Besser wäre übrigens der Vergleich zur RTX PRO 6000 Blackwell Server Edition, aber auch die ist langsamer.

Die Intel GAUDI 3 gibt's auch noch.

Ebenfalls nach Herstellerangaben langsamer

Weiterhin wird behauptet, dass PCIe Karten "rar" geworden sind. Das stimmt auch überhaupt nicht so.

Doch, die meisten GPU-Server nutzen heutzutage OAM-UBBs statt PCIe-Karten. Oder gleich Nvidias Superchips. Das heißt nicht, dass es keine PCIe-Karten mehr gibt, aber längst nicht mehr jeder Chip erscheint in dem Format

 

[ETI1120]

Was meinst Du wie lange die aktiven Consumer Grafikkarten funktionieren wenn man im Gehäuse keine Lüfter hat die die heiße Luft nach außen schieben.

Ergänzung (Heute um 15:36)

@Epistolarius Vergleichen

22,6 TFlops FP64 bei 300W TDP, die MI350P kommt jetzt mit 36 TFlops FP64 bei 600W TDP. Das sieht nach Rückschritt aus und nicht nach etwas, womit man Werbung macht.

Was nicht sonderlich verwunderlich ist da die Mi350 im Prinzip eine Neuauflage der MI300 ist bei der AMD FP64 Leistung verringert hat um die Leistung bei den kleinen Datentypen zu pushen.

 

[BDR529]

Doch, die meisten GPU-Server nutzen heutzutage OAM-UBBs statt PCIe-Karten. Oder gleich Nvidias Superchips. Das heißt nicht, dass es keine PCIe-Karten mehr gibt, aber längst nicht mehr jeder Chip erscheint in dem Format

Kann ich bei dem jährlichen Multimillionen Umsatz unserer Firma leider nicht bestätigen. Sorry. Woher stammt deine Info? Die von dir genannten Produkte sind zumindest im automotiven und akademischen/medizinischen Bereich sehr selten, nicht zuletzt wegen des hohen Preises. Die Superchips sowieso.

Und schneller heißt schneller. Nicht nur in ausgewählten Bereichen. Also ist sie nicht schneller, ganz einfach... so sehe ich das jedenfalls. Aber es ist mir auch eigentlich egal, weil ich nur darauf hinweisen wollte, das gewisse Infos in dem Newstext einfach irreführend geschrieben sind, und das ist Fakt.

Was meinst Du wie lange die aktiven Consumer Grafikkarten funktionieren wenn man im Gehäuse keine Lüfter hat die die heiße Luft nach außen schieben.

Ewig und drei Tage. Es kommt auf das Gehäuse, die Umgebungstemperatur, die Sauberkeit und etliche andere Faktoren drauf an. Und letztendlich auch auf die Grafikkarte selbst. Deine Pauschalaussage, oder das worauf du damit hinaus willst, ist Quatsch - und hat mit meiner ursprünglichen Aussage auch rein gar nichts zu tun.

 

[madmax2010]

Hieß passiv nicht, dass keine gesonderten Kühlmaßnahmen aktive Kühlung (z. B. Lüfter) nötig sind?

vorne im Server sitzen Garantiert mindestens 20 40mm Luefter mit 6000rpm die je ca 30w brauchen und eine Geräuschkulisse.
600W * 10 GPUs pro server braucht schon etwas Luftstrom

 

[stefan92x]

Kann ich bei dem jährlichen Multimillionen Umsatz unserer Firma leider nicht bestätigen. Sorry. Woher stammt deine Info?

Sind halt Peanuts verglichen damit, wo gerade wirklich viel Geld in Datacenter investiert wird. Nvidia hat schon nennenswerte Anteile am CPU-Markt, vor allem durch deren Rackscale-Lösungen.

 

[madmax2010]

Kann ich bei dem jährlichen Multimillionen Umsatz unserer Firma leider nicht bestätigen. Sorry. Woher stammt deine Info? Die von dir genannten Produkte sind zumindest im automotiven und akademischen/medizinischen Bereich sehr selten, nicht zuletzt wegen des hohen Preises. Die Superchips sowieso.

ich sehe das schon auch wie @stefan92x , du hast aber auch recht.
Die allermeisten kleineren Firmen kaufen schon durchaus noch PCIe Karten, deren Umsatz ist jedoch inzwischen eher ein Rundungsfehler.
Die hyperscaler die den meisten Umsatz bei AMD und Nvidia tragen, verbauen schon eher OAM.

Der halbe Umsatz von Nvidia kommt von 4 hyperscalern

 

[Spriti]

Ich freue mich, diese Leistung in ~8 Jahren zu Consumerpreisen im lokalen Rechner nutzen zu können :-)

 

[stefan92x]

@Spriti Die RTX5090 ist nicht weit dahinter, die RTX6090 dürfte diese Karte schlagen. Wenn du die nicht als "Consumerpreis" siehst halt die RTX7080... wird sicher keine 8 Jahre dauern.