eastcoast_pete schrieb:
Bessere Software und starke Unterstützung für Inference ist für breitere Nutzung von Instincts in KI mindestens genauso wichtig wie nochmals verbesserte Hardware.
Keine Frage.
Allerdings lief mit Ausnahme des FAD 2022 die Präsentation der Software bei AMD ziemlich dröge. Es war meist der netten Unterhaltungen und Beweihräucherungen, aber wenig konkretes zur Technik. Also viel von dem was diese Veranstaltungen eher uninteressant macht.
Natürlich gäbe es es einiges Interessante zur Software, aber das war nie Gegenstand von Advancing AI.
eastcoast_pete schrieb:
Nvidia ist auch oder vor allem so dominant bei KI Beschleunigern, weil sie - angefangen mit CUDA - auf der Software Seite viel besser aufgestellt sind, oder Leute zumindest den Eindruck haben, daß dem so ist.
Nvidia hat IMO den Vorteil, dass jeder weiß, dass die Lösungen mit Nvidia funktionieren. Daran haben alle anderen zu knappern. Die müssen das erst noch beweisen.
Der Vorteil auf der Softwareseite ist IMO weniger CUDA sondern dass der Softwarestack ausgereift ist und Nvidia deshalb beim Tuning ebenfalls einen Schritt voraus ist. Das heißt AFAIK sind die ganzen AI Frameworks auf Nvidia Hardware am effizientesten.
Bei der Hardware hat Nvidia einen Vorteil bei den kleinen Datentypen, da sind sie immer ganz vorne dabei.
eastcoast_pete schrieb:
Und was
@ATIst schreibt ist auch richtig und wichtig, denn die heutige Dominanz von Nvidia in KI stammt IMHO auch daher, daß man an KI Modellen mit der eigenen dGPU arbeiten bzw damit experimentieren kann.
Das war generell das Problem, dass AMD nicht wahrhaben wollte, dass es nichts nützt nur die Server zu unterstützen. Die fehlende Unterstützung von ROCm auf dem Client ist auch ein Riesenproblem bei HPC. Bei Nvidia ist die Softwareentwicklung auf dem Client selbstverständlich. In dieser Beziehung war das Aufteilen in CDNA und RDNA keine gute Idee. Außerdem hat AMD bei der Hardwareentwicklung generell zu wenig auf die Software geachtet.
So wie ich es sehe hat AMD ROCm zu sehr auf die HPC und AI Beschleuniger zugeschnitten.
Die Frage ist, wie viel AMD am 12. Juni zuCDNANext/UDNA und zu den hardwareneutralen Schichten erzählt. Mit hardwareneutralen Schichten meine ich, dass AMD offensichtlich mit MLIR arbeitet. Aber ob AMD das Umsetzt was Victor Peng am FAD 2022 angedeutet hat, dieselbe Software für viele Ziele (CPU, NPU und GPU) kompilieren zu können, kann man nur erahnen und hoffen.
eastcoast_pete schrieb:
Nvidia bringt zB die DGX Spark nicht aus Jux und Tollerei, Jensen Huang weiß schon sehr genau, was damit erreicht werden soll. Da wäre es auch zB gut, wenn AMD Strix Halo mit zB 256 GB RAM (gerne auch in Form von 4 DDR5 RAM Slots und Kanäle) bringen würde, also eine "echte" Baby Instinct mit Platz für etwas größere Modelle.
LPDDR5X gibt es aktuell nur mit 16 GB je Package, deshalb sind es sowohl bei DGX Spark und Strix Halo maximal 128 GB. Beide Geräte wären IMO mit DDR5 DIMMS nicht umsetzbar, viel zu groß und ich habe meine Zweifel, ob man die Datenraten hinbekommen würde.
Strix Halo ist eigentlich schon gut so wie er ist. Es ist abzusehen, dass LPDDR5X mit 24 GB- Packages auf den Markt kommt und dann sind 192 GB drin. Das eigentlich bezieht sich darauf, dass Strix Halo nicht mit LPCAMM2 zusammenarbeiten kann. Wäre schön gewesen.
