News Radeon AI Pro R9700: AMDs RDNA-4-Grafikkarte mit 32 GB richtet sich an AI-Profis

[Jan]

AMD hat zur Computex den Vorhang von der wiederholt in der Gerüchteküche genannten RDNA-4-Grafikkarte mit 32 GB VRAM gelüftet. Wie von AMD in Aussicht gestellt, handelt es sich nicht um eine Gaming-Grafikkarte der Serie Radeon RX, sondern um ein Profi-Modell mit Fokus auf AI: die Radeon AI Pro R9700. „Big Navi“ fehlt auch hier.

Zur News: Radeon AI Pro R9700: AMDs RDNA-4-Grafikkarte mit 32 GB richtet sich an AI-Profis

 

[MaverickM]

Sehr lecker. Würde ich mir durchaus holen, wenn mich der Preis angesichts des tatsächlichen Anteils an KI-Prozessen (bisher) in meinem Workflow nicht etwas schlucken lassen würde.

 

[paganini]

Au man AMD
„Das gilt natürlich auch preislich: 11.000 Euro werden für die RTX Pro 6000 aufgerufen, die Radeon Pro AI R9700 wird deutlich günstiger werden.“
Und dann zeigt man im Vergleich eine 5080 😂 muss man hier solche lächerlichen Vergleiche wie NVIDIA machen? AMG vergleicht also seine AI Karte für mehrere tausend Euro mit einer Consumer Oberklasse und nicht einmal Highend Karte 🤨

 

[KeinNutzerName]

AMG vergleicht also seine AI Karte für mehrere tausend Euro mit einer Consumer Oberklasse und nicht einmal Highend Karte

Ich dachte AMG macht Mercedes. Aber was weiss ich denn schon.

 

[paganini]

@PegasusHunter Haha 😂 ich lasse es mal so stehen und berichtige dazu noch:
Mercedes macht AMG und nicht andersrum 😜

 

[Xood]

Aktuell fällt mir noch schwer, den Nutzen von lokaler K.I. zu sehen, zumindest für das, wo ich sie einsetze.
So richtig interessant wird es erst mit 70 B Modellen, aber die brauchen deutlich mehr Speicher (ab 40 GB) und hier wäre die Grafikkarte auch vermutlich zu langsam.

Wahrscheinlich wird sich das aber mit spezialisierten Modellen in Zukunft ändern, die dann vielleicht auch als 1 Bit Variante lokal nützlich sein könnten.

 

[Rock Lee]

Die 32GB Speicher bringen überhaupt nichts, wenn die Modelle auf Cuda basieren und schlichtweg nicht vernünftig auf AMD-Karten lauffähig sind. AMD muss hier massiv Entwickler unterstützen ihre Modelle auch als alternative "AMD-Version" anzubieten.

 

[DJKno]

Allein durch den Namen und damit verbundenen Nostalgiefaktor gefällt mir das.

 

[wickedgonewild]

Alter Hut

 

[Hate01]

Die 32GB Speicher bringen überhaupt nichts, wenn die Modelle auf Cuda basieren und schlichtweg nicht auf auf AMD-Karten lauffähig sind.

Muss ich das wirklich unter jedem AI thread schreiben?

Die Modelle basieren nicht auf CUDA, die laufen mit lama.cpp oder vLLM (oder Tools, die darauf aufbauen wie ollama).

Die wiederum haben mehrere Backends, CUDA ist eines davon, geht aber auch mit ROCM und sogar Vulkan.

Die API ist keine Hürde, das Limit bei lokalen AIs zur Zeit ist einfach nur VRAM.

Da macht eine 32GB Karte durchaus Sinn.

 

[Rock Lee]

@Hate01 Ruhig Blut, Kollege. Ich meine ja auch "vernünftig" lauffähig.
Zeig mir doch mal nen ComfyUI-Tutorial, das zB mit Flux.dev einigermaßen ähnlich gut funktioniert wie mit Nvidia.
Finde nur Sachen wie

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Also Selbst Flux schnell dauert da ewig. Da kann ich die Sachen auch fast gleich über die CPU rennen lassen.

 

[DrFreaK666]

Die Karte heißt tatsächlich 9700?

 

[Hate01]

@Hate01 Ruhig Blut, Kollege. Ich meine ja auch "vernünftig" lauffähig.
Zeig mir doch mal nen ComfyUI-Tutorial, das zB mit Flux.dev einigermaßen ähnlich gut funktioniert wie mit Nvidia.
Finde nur Sachen wie

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Also Selbst Flux schnell dauert da ewig. Da kann ich die Sachen auch fast gleich über die CPU rennen lassen.

Mit CompfyUI habe ich keine Erfahrungen, kann ich mit mal bei Gelegenheit anschauen, sollte keinen Grund geben warum das schlecht läuft, verwendet nur pytorch und das hat nativ ROCM support.

Persönlich arbeite ich viel mit LLMs (auf Linux), da läuft alles auf meiner 7900 XTX sehr gut, solange Model und Kontext noch im 24GB VRAM passen.

 

[kenny33]

Wie funktioniert das Setup auf dem Bild, 4 GraKa direkt nebeneinander ohne WaKü?!

 

[daivdon]

sollte keinen Grund geben warum das schlecht läuft

Die Comfy-Seite setzt be GPU-Empfehlungen Nvidia an erster Stelle, dann AMD mit Linux, dann Mac & Intel(L+W) und an allerletzter Stelle AMD mit WIndows. Hier sogar explizit:

It requires a pytorch extension (pytorch DirectML) or a custom zluda pytorch build.
You will have a painful experience.
Things might improve in the future once they have pytorch ROCm working on windows.

Was ich auch woanders lese, ist dass AMD GPUs in dem Bereich nur sinnvoll sind, wenn man genau weiß welche Software man einsetzen wird und dass die kompatibel ist. Ansonsten wird fast immer Nvidia empfohlen.
Ob Linux oder Win scheint einen großen Unterschied zu machen, auch ob es um LLMs geht wie du sie einsetzt oder generative AI wie Stable Diffusion und Konsorten, von denen allenfalls die ganz großen problemlos laufen. Vieles nebenbei ist offenbar auf CUDA abgestimmt. Wenn du es anders weisst, gerne her damit.
Ich muss nämlich im Laufe des Jahres dazu auch eine Entscheidung treffen. Bislang habe ich zu der 5060Ti/16GB tendiert. Aktuell ist eine 2080S im Einsatz.

 

[KillX]

Da ich StableDiffusion unter Linux mit ROCM benutze und auch Flux schon verwendet habe kann ich nur sagen das es echt gut läuft. Je nach Tool kann aber die Einrichtung etwas umständlicher sein. LLMs laufen auch gut, die nutze ich aktuell mit LM-Studio.
Problem ist eigentlich immer der VRAM, für mich wären 48GB oder 96BG auf einer Gamer GPU Karte optimal, da ich auch noch viel zocke

 

[stefan92x]

Wie funktioniert das Setup auf dem Bild, 4 GraKa direkt nebeneinander ohne WaKü?!

Der Spalt dazwischen ist jeweils groß genug um Luft reinzuziehen, und das sind Karten die die Luft direkt aus dem Gehäuse befördern. Nicht gerade flüsterleise, aber funktioniert so technisch problemlos.

 

[kenny33]

@stefan92x Ein Freund hat für GPGPU oben so eine Karte, direkt darunter seine alte "normale" Karte und darunter ordentlich Freiraum ausprobiert und hat massive Hitzeprobleme bei beiden bekommen. Daher erscheint mir unmöglich, dass dieser schmale Spalt ausreicht, auch ob der unvermeidlichen Abwärme der Nachbarkarte.

 

[WiP3R]

Im Datacenter Bereich ist das der Standart.
Das Gehäuse wird von der Front mit Frischluft versorgt und die Blower Karten saugen die Luft an und befördern die warme Luft hinten raus.
Bei deinem Kumpel heizt die Normale Gamingkarte die Luft im Case bereits auf und ich denke mal er wird die Lüfterkuven auf ein erträgliches Maß runtergenommen haben?

 

[stefan92x]

@stefan92x Ein Freund hat für GPGPU oben so eine Karte, direkt darunter seine alte "normale" Karte und darunter ordentlich Freiraum ausprobiert und hat massive Hitzeprobleme bei beiden bekommen.

Das wundert mich nicht. Das Konzept funktioniert nur, wenn der ganze Luftstrom dazu passt. Ausreichend (!) Frischluft vorne rein, warme Luft hinten raus. Gehäuseheizungen passen nicht dazu, mischen von "normalen" und solchen Karten macht immer Probleme