News AMD ROCm 7.0: Instinct-MI350-Support und mehr Leistung im AI-Wettstreit

Volker

Ost 1
Teammitglied
Registriert
Juni 2001
Beiträge
19.573
AMD hat mit ROCm 7.0 die neueste Softwaresuite veröffentlicht, die AI auf AMD-GPUs noch schneller machen soll. Auch neue Instinct-Chips unterstützt sie. AMD folgt damit dem zuletzt eingeschlagenen Weg, schneller auf Neuheiten im Markt zu reagieren und so die eigenen Produkte konkurrenzfähiger zu machen.

Zur News: AMD ROCm 7.0: Instinct-MI350-Support und mehr Leistung im AI-Wettstreit
 
  • Gefällt mir
Reaktionen: flo.murr, zhompster, rollmoped und 15 andere
Jetzt muss nur noch der Support für die Consumer-GPUs besser werden :D
Wobei das ja bei RDNA4 nun schon gegeben ist, hoffentlich bleibt das so und auch Strix Halo wird in Bälde offiziell unterstützt. 👍

Die CUDA-Dominanz einzuschränken kann nur gut für jeden Einzelnen sein (abgesehen von NVidia natürlich).
 
  • Gefällt mir
Reaktionen: flo.murr, zhompster, Brrr und 10 andere
Der Support ist halt immer noch dürftig im Consumer Bereich. AMD hat Vega total abgeklemmt. Bei Nvidia geht halt Cuda erstmal mit allen Karten.
 
  • Gefällt mir
Reaktionen: madmax2010
Bei der Software Unterstützung kann sich AMD von NV ne Scheibe abschneiden !
Ja, sie haben viel weniger Manpower und sind mittlerweile auf einem guten Weg ... :daumen:
 
Pytorch ROCm 7.0 RC1 experimentiell für ComfyUI (kein Zluda!) auf Windows habe ich zirka 82% Mehrleistung gegenüber Pytorch ROCm 6.4 Nightly für ComfyUI auf Fedora WS 42 + Update. Ging von 1.44 it/s auf 2.56 it/s* hoch. Mit Radeon RX 9070 16GB. Kein WSL!

*) Illustrious, 1024x1024, 25 steps, Euler / Normal. Aktuellste stable Version von ComfyUI und Stability Matrix.
Unter Windows benötigte ich für ein 1024x1024 Bild 12-13 Sekunden. Ein Bild mit 960x1600 habe ich zirka 21-22 Sekunden gebraucht. Ich musste mit Workarounds auskommen, so dass VAE Decode und weiteren sehr gut lief. Kein OOM!

Ich warte auf Pytorch ROCm 7.0 für Linux um es weiter testen zu können.

Ich bin gespannt auf die weiteren Updates. Die haben sicherlich viel zu tun.
 
  • Gefällt mir
Reaktionen: kevka1990, Moerf, zhompster und 15 andere
Dass die Strix APUs weiterhin nicht offiziell als supportet gelistet sind - obwohl ROCm 7 diese ja explizit auch ansteuern sollen - finde ich dann doch traurig und ernüchternd. Ich bin mit dem Zbook Ultra weitestgehend zufrieden, aber ein paar Geschmäckle hinterlässt es dann doch.
Effektiv werden KI-Workstations verkauft, welche kein eigenes KI-Framework unterstützen.

Mal schauen, ob es einfach nur ein Fehler in der Dokumentation ist - ein entsprechendes Issue wurde ja bei GitHub eröffnet.
 
  • Gefällt mir
Reaktionen: Bigfoot29, ksk23, konkretor und eine weitere Person
tomgit schrieb:
Mal schauen, ob es einfach nur ein Fehler in der Dokumentation ist - ein entsprechendes Issue wurde ja bei GitHub eröffnet.
Ich kann mir das auch nur mit einem Fehler in der Dokumentation erklären. Ich kann sonst nicht nachvollziehen, weshalb AMD solche Bilder auf der offiziellen Website von ROCm 7 veröffentlicht.

1758120538507.png


Liebe Grüße
Sven
 
  • Gefällt mir
Reaktionen: Bigfoot29
Ich frage als Laie, der gern mit Blender rendert und darum immer den Kauf einer AMD-Karte ausgeschlossen hat - bin aber etwas aus dem Thema rausgewachsen. Ist ROCm jetzt eine Technik, die es Entwicklern einfach macht, ihre Renderpipelines wie die von Blender fit für AMD-Karten zu machen? Ist es realistisch, dass AMD-support dann bald Einzug hält oder sogar schon automatisch gegeben ist , weil ROCm ein Analogon zu CUDA ist? Ich sehe nicht durch und würde mich freuen, wenn ich zum Rendern bald mal ne AMD-Karte nutzen (und daher auch kaufen) könnte. Danke für euer Wissen!
 
Ich bin gespannt was da in den nächsten Wochen und Monaten kommt. Ich wollte mal etwas mit offline KI für die Firma rum spielen.
 
0x8100 schrieb:
ist ja schön, dass es ein neues rocm gibt, aber was bringt es, wenn es immer noch lahmt?
Es ist ja auch mit der alten Version getestet worden

So from the same system while running Ubuntu 24.04.3 LTS + Linux 6.17, I ran some Vulkan vs. ROCm 6.4.3 benchmarks with Llama.cpp on the Radeon RX 9070 XT. (NOTE: This testing wrapped up last week, prior to yesterday's ROCm 7.0 release. ROCm 7.0 benchmarks will come later.)

Schön das AMD dran arbeitet und die Nvidia Domminanz weniger wird.
 
  • Gefällt mir
Reaktionen: Moerf, ReVan1199 und Mordekai2009
NameHere schrieb:
Es ist ja auch mit der alten Version getestet worden
und im forum ist zu lesen, dass sich nicht viel getan hat:
Takeaways (note that this is for a consumer GPU, a 7900XT in this case).
  1. No performance change in rocm 6.4 vs 7.0
  2. Vulkan is vastly superior in terms of tg (that is token generation, how fast the LLM responds)
  3. ROCm is (and was) vastly better at pp (that is prompt processing, processing what you send to the LLM)
 
@0x8100 hier siehst du das mit einer 9700 es etwa 80% schneller läuft.
Wahrscheinlich wird die aktuelle Generation deutlich mehr von profitieren als die ältere Generation.
 
das könnte immer noch bedeuten, dass stable diffusion statt "richtig langsam" jetzt nur noch "langsam" ist. müsste man mal einen vergleich mit allen backends machen. ich gebe aber zu, dass ich darauf keine lust habe :)
 
Etwas so langsam wie eine 4070^^
 
  • Gefällt mir
Reaktionen: mightyplow
AMD braucht für Cosumer dringend
Mordekai2009 schrieb:
Pytorch ROCm 7.0 RC1 experimentiell für ComfyUI (kein Zluda!) auf Windows habe ich zirka 82% Mehrleistung gegenüber Pytorch ROCm 6.4 Nightly für ComfyUI auf Fedora WS 42 + Update. Ging von 1.44 it/s auf 2.56 it/s* hoch. Mit Radeon RX 9070 16GB. Kein WSL!

*) Illustrious, 1024x1024, 25 steps, Euler / Normal. Aktuellste stable Version von ComfyUI und Stability Matrix.
Unter Windows benötigte ich für ein 1024x1024 Bild 12-13 Sekunden. Ein Bild mit 960x1600 habe ich zirka 21-22 Sekunden gebraucht. Ich musste mit Workarounds auskommen, so dass VAE Decode und weiteren sehr gut lief. Kein OOM!

Ich warte auf Pytorch ROCm 7.0 für Linux um es weiter testen zu können.

Ich bin gespannt auf die weiteren Updates. Die haben sicherlich viel zu tun.
Musst du bei ComfyUI mit deiner Radeon dann darauf achten, dass die verwendeten Modelle ROCm unterstützen oder wie konfigurierst du deine Workflows dort?
Kannst du da mal näher drauf eingehen?, bitte?
 
Zurück
Oben