News GPU-Computing: AMDs HIP-SDK bringt Nvidia CUDA auf eigene GPUs

[Kaito Kariheddo]

AMDs Heterogeneous-Compute Interface, kurz HIP genannt, bietet schon länger die Möglichkeit, GPU-beschleunigte Anwendungen sowohl für AMD- als auch Nvidia-GPUs zu kompilieren. Doch die neue Version des SDK ermöglicht es erstmals, Software für Nvidias CUDA-Schnittstelle direkt auf AMD-Hardware auszuführen.

Zur News: GPU-Computing: AMDs HIP-SDK bringt Nvidia CUDA auf eigene GPUs

 

[ruthi91]

Diesbezüglich betont das Unternehmen, dass Code zwar portiert, aber nicht für die Hardware respektive die Architektur der AMD-GPUs optimiert wird. Machine-Learning- und KI-Anwendungen werden ebenfalls nicht unterstützt.

Das dämpft die Erwartungen natürlich direkt wieder.
Mal schauen wie sich das entwickelt.
Grundsätzlich ist das Potenzial ja enorm, die Rohleistung ihrer Compute und Server Karten ist da und Marktanteile zum erobern gibts auch ohne Ende.

 

[ETI1120]

Der Titel der News ist irreführend.

Ein kurzer Blick in die verlinkte Doku zeigt dass HIPYFY nicht in der Lage ist automatisch zu konvertieren.

Die ganze Geschichte fängt damit an, das HIP sehr nahe an CUDA angelegt ist. Ziel war es sofort vertraut für Programmier zu sein die CUDA beherrschen. Auch dass AMD zwei Targets anbietet ist essentiell. Nach allem was ich gelesen habe ist HIP auf Nvidia GPUs nur unwesentlich langsamer als CUDA

Ein wichtiger Nebeneffekt der Ähnlichkeit zu CUDA ist das das Portieren von CUDA auf leicht ist. HIPYFY unterstützt das Portieren.

So wurde im Rahmen des Frontier Software Projekts sehr viel Open Source CUDA Code auf HIP portiert. Dank HIPYFY ging das Recht flott, aber eben nicht automatisch.

Neben Optimierungen für die Hardware gibt es auch nicht für jede CUDA Library ein Pendant in HIP.

Ergänzung (4. August 2023)

Und wenn man dabei ist könnte man erwähnen das der AI Stack von AMD schon ziemlich weit ist.

Da gab es vor ein paar Wochen die Mitteilung von MosaicML, dass sie ihre Software praktisch ohne Änderungen auf der MI200 ausführen konnten. Mit guter Performance. So wie ich es verstanden habe waren noch nicht alle Optimierungen verfügbar.

 

[Draco Nobilis]

Ja ich kann verstehen das sich AMD mit CUDA schwer tut, NVIDIA kann jederzeit an der Schnittstelle herumbauen und eine Überraschung in einer neuen Generation mitsamt neuer CUDA Version/Features herausbringen.
Dann ist AMD jedes mal eine Gen hinterher.

Allerdings quillt AMD auch nicht in Manpower über um bsp. gute Dokus etc. für alles zu schreiben oder Firmen mit Manpower beim konvertieren / entwickeln zu helfen. Etwas das NVIDIA allerdings sehr wohl macht.

Das CUDA so ein Standard geworden ist lässt man sich bei NVIDIA zurecht fürstlich bezahlen und stellt damit fast unüberwindbare Hürden für andere Marktteilnehmer (bsp. AMD) dar.

 

[HierGibtsNichts]

ROCm 5.6 ist NOCH nicht vollständig für Windows freigegeben, das HIP SDK für Windows ist der erste Schritt.

Hier die offizielle Unterscheidung:

„Wie unterscheidet sich HIP von ROCm?
HIP ist Teil von AMD ROCm, unserer Open-Source-Plattform für GPU-Computing. Doch während sich die AMD ROCm-Plattform auf HPC und KI, insbesondere serverbasierte Lösungen, konzentriert, ist HIP für Desktop-Anwendungen konzipiert. Sie können es sowohl unter Windows als auch unter Linux verwenden und es enthält keine Frameworks für maschinelles Lernen wie PyTorch oder TensorFlow: nur die Kernfunktionalität, die Sie für GPU-intensive Software wie Renderer und Simulationstools benötigen.“

Kurz gesagt und einfach, mit HIP kann man die Leistung von Blender Co. verbessern, jedoch noch nicht bei Programmen wie Stable Diffusion. Hierzu braucht es die vollständige ROCm API.

Die vollständige Veröffentlichung von ROCm 5.6 für Windows ist für Herbst 2023 angekündigt. Die AMD Software Pro Edition wird benötigt, ist aber nicht für die RDNA3-Reihe freigegeben und noch nicht für RDNA2 aktualisiert. Die Revisionsversionsnummer ist immer noch 22.Q4.

Im „All Reference Material“ auf der ROCm-Site kann man alle Teile von ROCm sehen, HIP ist nur ein eingeschränkter Teil davon.

Zusammenfassung: AMD hat einen kleinen und in der Funktionalität eingeschränkten Teil der ROCm-API mit dem HIP SDK für Windows veröffentlicht. Aber es ist ein guter und wichtiger erster Schritt zum vollständigen Release im Herbst.

https://rocm.docs.amd.com/en/latest/index.html

Die supporteten GPU unterscheiden sich auch zwischen ROCm 5.6 Full und den Hip SDK

Danke für das aufgreifen meines Hinweis @Kaito Kariheddo

 

[SimsP]

Ich verstehe aus dem Artikel nicht ganz, worin jetzt die Neuerung liegen soll.
HIP inklusive HIPIFY gibt es schon seit Jahren. Das konvertieren von CUDA Code für ROCm ist doch eigentlich ein alter Hut, oder?

 

[HierGibtsNichts]

@SimsP Aber nicht für Windows und in der neuen Version lauffähig auf Radeon Pro und Consumer GPUs abseits vom Instinct Lineup. Zudem wurde die Konvertierung vereinfacht und beschleunigt sowie erhält man am Ende mehr Performance als bei der Konvertierung durch alte Versionen von Hip.

Zudem ist dieser Absatz ebenfalls der kleine aber feine Unterschied

"AMDs Heterogeneous-Compute Interface, kurz HIP genannt, bietet schon länger die Möglichkeit, GPU-beschleunigte Anwendungen sowohl für AMD- als auch Nvidia-GPUs zu kompilieren. Doch die neue Version des SDK ermöglicht es erstmals, Software für Nvidias CUDA-Schnittstelle direkt auf AMD-Hardware auszuführen."

 

[Cabranium]

Wann sinD Bennchmarks für Blender zu erwarten? Mich würde die Leistung der AMD Radeon RX 7900 XTX interessieren. Also ob diese dadurch besser wird. Den aktuell würde ich zum Rendern die RTX 4090 kaufen, aber wenn das jetzt die Rangordnung nochmal neu auswürfelt und AMD für knapp den halben Preis an eien ähnliche Leistung ran kommt, dann würde ich umdenken.
Ist das damit möglich? Oder hat das keinen einfluss darauf?

 

[Simon#G]

Das Hipify Tool bzw. hipify-clang gibt es seit 2016. Siehe: https://github.com/ROCm-Developer-T...19858cc0a743f873645d1/RELEASE.md?plain=1#L152

HIP bzw. bald auch ROCm für Windows ist jedoch ein großer Schritt.

 

[ETI1120]

Man muss einfach akzeptieren, dass Nvidia mit CUDA einen sehr guten Job gemacht hat.

AMD hat einen Rückstand. Aber AMD hat heute ausreichend Einnahmen um ausreichend Entwickler einzustellen.

Man kann zwar nicht alles auf einmal machen, aber was man AMD vorwerfen muss ist, dass es keine klare Roadmap gibt.

Und hier sind gerade die Gaming GPUs betroffen. Es hat zwar momentan den Anschein dass AMD hier aktiver wird. Aber das kann man frühestens Anfang nächstes Jahr beurteilen.

Ergänzung (4. August 2023)

Bei Blender ist auf Seiten AMD das Unterstützen der RT Hardware hinzugekommen.

 

[DevPandi]

@Kaito Kariheddo
man könnte hier ja fast anmerken, dass ATi damals mit der X1900 und der FireStream bei GPGPU auch eine gewisse "Vorreiterrolle" hatten. Auch mit der CTM-API.

NVIDIA hat damals mit CUDA "nachgezeogen", wobei CUDA dann auch durchdachter war und das deutlich bessere Marketing. ATi kam damals vermutlich die "Übernahme" durch AMD dazwischen und den dann verdonneten Sparkursen.

 

[andi_sco]

@DevPandi hast deine Radeon noch? Und testest du diese?

 

[DevPandi]

hast deine Radeon noch? Und testest du diese?

Nö, ist verkauft worden. Ich geb solche Sachen immer schnell ab, ich hab in meiner Wohnung nicht so viel Platz.

Frage ist aber an der Stelle, inweit HIP dann noch mal gegenüber den DirectML-Treiber Mitte/Ende Mai zulegen kann, das wäre durchaus interessant.

Wenn AMD mit HIP die neuen "Matrix-Accelator" gut mit einbeziehen kann, kann hier durchaus noch mal ein Sprung statt finden.

 

[Fegr8]

@Taurus104 die Doku zwischen Linux und Windows verwirrt mich und da stell ich mir die Frage: Kommt irgendwann der Support für RDNA2/3 Consumerkarten für Linux?

PS: Und Vega (GNC 5.1) ist bald Geschichte den mit der Version 5.7 erhält sie zum letzten Mal neue Featuers und fliegt komplett raus mit der Version die in Q2 2024 erscheint (vielleicht Version 6).

 

[BAR86]

Was macht eigentlich Intel in diesem Bereich, weiß man was. Die wollen ja auch über kurz oder Lang mit den Profis mitmischen

 

[DevPandi]

Was macht eigentlich Intel in diesem Bereich, weiß man was

Aktuell: OneAPI pushen.

 

[SimsP]

--So vermeidet man Vollzitate--

Ah ok, ja ich mach so nutze ROCm und CUDA eigentlich nur unter Linux bzw WSL, da ist mir nie aufgefallen, dass es ROCm für Windows (ofiziell??) nie gab.

Aber der Rest den du erwähnst, verstehe ich nicht ganz. Ich arbeite schon seit Jahren auf Vega64 mit HIP und ROCm. Viel mehr Consumer GPU geht ja wohl kaum?
Und CUDA direkt auf ROCm laufen zu lassen, geht ja immer noch nicht. Man muss den Code immer noch mit HIPIFY konvertieren.
Also ist die einzige Neuerung jetzt Windows? bzw. war es denn vorher nicht möglich ROCm für Windows zu kompilieren?

 

[Kaito Kariheddo]

AMD ist mit seinen Veröffentlichungen immer sehr ausführlich und unmissverständlich .. NICHT ^^
Wenn man sich bisschen durch Github und die Docs klickt, kommt man irgendwann an die Stelle, an der Porting Tools zwischen Linux und Windows aufgelistet sind:

Hipify ist wie hier schon im Thread gesagt länger verfügbar, nur jetzt ist es eben auch für Windows .. Jetzt fehl mir das richtige Wort. Erschienen ist es ja noch nicht so wirklich, aber AMD selbst spricht in seinem Blog davon, dass es ab jetzt (vor paar Tagen) verfügbar ist.
Versteh einer deren Marketing

 

[xpgx1]

Ohne "KI & Machine learning" support ist das Borderline worthless. Meh

 

[HierGibtsNichts]

Ah ok, ja ich mach so nutze ROCm und CUDA eigentlich nur unter Linux bzw WSL, da ist mir nie aufgefallen, dass es ROCm für Windows (ofiziell??) nie gab.

Aber der Rest den du erwähnst, verstehe ich nicht ganz. Ich arbeite schon seit Jahren auf Vega64 mit HIP und ROCm. Viel mehr Consumer GPU geht ja wohl kaum?
Und CUDA direkt auf ROCm laufen zu lassen, geht ja immer noch nicht. Man muss den Code immer noch mit HIPIFY konvertieren.
Also ist die einzige Neuerung jetzt Windows? bzw. war es denn vorher nicht möglich ROCm für Windows zu kompilieren?

Du arbeitest mit HIP einem Bestandteil von ROCm aber nicht der vollumfänglichen API. HIP funktioniert unter Linux tatsächlich schon länger mit Consumer GPUs. "FULL ROCm" war bisher nur den Instinct GPUs unter Linux vorbehalten. Unter Linux kann man nun auch "FULL ROCm" seit Version 5.6 mit Radeon Pro und RDNA 3 und 2 nutzen. Kurzgefasst die DL,ML Parts der API. Das ging vorher unter Windows überhaupt nicht. Hier ist man nun mit dem HIP SDK für Windows nachgezogen als ersten Veröffentlichungsschritt. Alle Funktionen/Bestandteile von ROCM werden nach letztem Stand im Herbst für Windows nachgereicht.

Ich nutze derzeit mehr oder weniger privat HIP mit meiner Radeon VII nun unter Windows was voher nicht ging und man dadurch eine deutlich schlechtere Performance hatte oder bestimmte CUDA Programme garnicht erst lauffähig waren.

Ob es möglich war weiß ich tatsächlich nicht. AMD setzt es halt jetzt erst Stufenweise um.

Ergänzung (4. August 2023)

Ohne "KI & Machine learning" support ist das Borderline worthless. Meh

Das kommt im Herbst dann. HIP SDK für Windows und Consumer GPUs war nur der erste Step.

Ergänzung (4. August 2023)

AMD ist mit seinen Veröffentlichungen immer sehr ausführlich und unmissverständlich .. NICHT ^^


Hipify ist wie hier schon im Thread gesagt länger verfügbar, nur jetzt ist es eben auch für Windows. Erschienen ist es ja noch nicht so wirklich, aber AMD selbst spricht in seinem Blog davon, dass es ab jetzt (vor paar Tagen) verfügbar ist.

Hipify für Windows gibt es, richtig. Aber noch nicht mit Support und Implementiert in der AMD Software Pro Edition. Das kommt jetzt noch. Die AMD Software Pro Edition muss als Beispiel für RDNA2 aktualisiert werden, hier ist die Software noch Stand Q4.22 Für RDNA3 gibt es die AMD Software Pro Edition schlicht noch garnicht freigegeben stand heute. Ich denke das ist damit gemeint.