News AMD Ryzen AI Max+ 400: Das neue Halo-Produkt mit 192 GByte RAM ist offiziell

[stefan92x]

Engineering Samples von Ryzen AI 500 ("Medusa Point") und Ryzen AI Max(+) 500 ("Medusa Halo") sind schon im Umlauf. Die wird es selbstverständlich geben. AMD weiß genau, wo das Geld aktuell locker sitzt.

Aber halt kein Produkt für dieses Jahr, sondern für irgendwann 2027. Da muss man sich noch gedulden

 

[DrFreaK666]

leichter Local LLM Arbeit

Für ein leichtes LLM benötigt man keine 192GB. Die Modelle sind ca. 5GB groß, wenn ich mich nicht täusche

 

[stefan92x]

@DrFreaK666 Für leichte Arbeit (im Sinne von wenig Last/Datendurchsatz) in hoher Qualität braucht man aber doch die größeren Modelle. Dafür macht so eine Box mit begrenzter Rechenleistung aber großem Speicher tatsächlich Sinn.

 

[tomgit]

Jetzt müsst man bei AMD nur noch den Softwarestack rund um ROCm Konkurrenzfähig bekommen.

Für den angestrebten Nutzen - LLMs - ist der Softwarestack inzwischen ausreichend gut. Mir fehlt zumindest nichts. GenAI läuft das meiste drauf, "nur" die Kompatibilität ist teilweise eingeschränkt, betrifft aber eher Quantizations.

• es lässt sich jetzt bis zu 83% statt bis zu 75% als VRAM deklarieren, in Praxis 96 GB -> 160 GB

Ist unter Linux jetzt schon kein Problem, die TTM Pages lassen sich auch zu 100% ausfüllen, unter Windows ist es eher ein Treiber-Problem (wobei die Treiber für die Pro-Geräte ohnehin der letzte Murks sind, aber das ist ein anderes Thema...). Absolut sind es weiterhin 32GB RAM, welche für Windows erhalte bleiben. Da ändert sich eben nichts.

Die Modelle sind ca. 5GB groß, wenn ich mich nicht täusche

Tust du Qwen3-Coder-Next ist bei ~52GB, zusätzlich braucht man noch Speicher für das Kontext-Window. 4k Token sind für ein paar Zeilen Text umschreiben ausreichend, möchte man aber etwas coden lassen wirds knapp. Mit 128GB ist man aber bei den meisten Modellen gut bedient, bei größeren Modellen braucht man doch schon deutlich größere Maschinen.

 

[DrFreaK666]

Tust du Qwen3-Coder-Next ist bei ~52GB,

Es geht um leichtes LLM. Für was benötigt man dafür so ein Monster?

 

[tomgit]

Für was benötigt man dafür so ein Monster?

4k Token sind für ein paar Zeilen Text umschreiben ausreichend, möchte man aber etwas coden lassen wirds knapp

Kunden von dem Ding werden sicherlich auch keine 512m Parameter LLMs laufen lassen

 

[ofneo]

Es wird die Käuferschaft geben, ist ja auch in Ordnung.
Ich nutze noch einen 8600g mit 16 GB Shared Ram, da reicht ein 7b Modell ohne Probleme.
Denke für uns "Hobby"-User wäre eine AM5-APU mit mehr als 8 CU´s, also 16, oder gar 32 das optimum. Evt. noch ein wenig mehr Ram für die GPU, vielleicht 32 GB möglich und schon wäre ich zumindest happy.
Aber AMD weis nun auch wo sie es machen können und was sie am Besten lassen sollten Schade darum.

 

[DrFreaK666]

Kunden von dem Ding werden sicherlich auch keine 512m Parameter LLMs laufen lassen

Es geht um leichtes LLM und nicht "programmiere ein COD Konkurrent".
Vielleicht ist dein Verständnis von "leicht" anders, aber mir reichen die 16GB meiner 9070 locker aus.
Es gibt sogar für Smartphones Möglichkeiten (Off Grid und Edge Gallery) und das geht mit den 8GB meines Smartphones auch passabel. Da fehlt es eher an Rechenleistung

 

[PaCuru]

Wie schnell ist denn so ein Rechner bei LLM? Meine 9070XT krebst ja mit 40-50 Sekunden selbst für einfache Fragen rum und die Antworten lesen sich als ob ein hirngeschädigter sie geschrieben hat. Was könnte man für Modelle maximal laufen lassen und wie schnell sind dann die Antworten?

 

[crustenscharbap]

• Es lässt sich nun 83% statt 75% als VRAM deklarieren.

Ich war wirklich schockiert, dass einige LLM Programme in der Tat nicht den RAM und VRAM als eine Einheit nutzen können. Das ist für mich gewollte Speicherverschwendung. Zudem gabs noch AMD Smart Access Memory. So war es ziemlich egal ob man 0,5 oder 8GB VRAM eingestellt hat.

Ich habe ja den Arctic Senza AI370 mit 32GB. Ein richtig tolles Teil. Aber wenn ich irgendwas generieren will, muss ich erstmal im Treiber 16GB VRAM einstellen und den Pc neu starten. Und ich kann nur 16 GB statt ca 26GB für die LLMs nutzen. Echt übel.
Ist nur noch ne Frage der Zeit bis es bei Spielen auch wieder so wird. Also dass die Games mit 0,5GB VRAM gar nicht starten.

@PaCuru Auf mein 370 geht das recht flott mit LM Studio. Aber natürlich viel langsamer als Online oder als auf meiner RTX 4060.

 

[Elsativa]

Für so viel Speicher braucht man ein Gehäuse mit Zahlenschloss und Bodenanker.

 

[Coenzym]

Der Spark ist recht lahm in Tokens/sec. Wird das dann hier auch so sein ?

 

[latiose88]

Also die optimierungen muss man ja mit der Lupe suchen. Also so lauwarme und aufgewarmte Hardware servieren ist ja schon lächerlich. Also ich musste schon genau Hinsehen was sich verändert und verbessert hat. Also noch langweiliger und lebloser geht es ja garnicht mehr.

 

[No_Toxic_Gamer]

nö, das stellt die Realität auf den Kopf - zumal Strix/Gorgon Halo, bei aller "Angestaubtheit", ein viel breiteres Anwendungsspektrum hat

Die Dev Box aka Ryzen AI Halo wird genau aber als das vermarktet. Das man die CPU selbst für mehr nutzen kann ist klar. Aber Niemand wird sich die Dev Box als Wohnzimmer PC kaufen.

 

[ETI1120]

Das höhere Speicherlimit kommt vermutlich von größeren NAND Chips?

Was sonst?

Wenn die von 4 auf 6 Speicherkanäle gegangen wäre, würden die das ganz groß aushängen

Es ist ein 256 Bit Speicherinterface mit 16 Kanälen. Ein Speicher-Kanal ist bei LPDDR5X 16 Bit weit.

 

[ofneo]

@PaCuru natürlich ist lokal in dem "home"-Preissegment langsamer. Wobei ich sogar auf der 8600g bei einem 7b-Modell (Q4) um die 40 -50 Tokens schaffe.

Mir bleibt aber die Frage, wenn ich 4k für massig Ram ausgebe, dann wird ein 128bModell auf der Kiste auch nicht mit 40 Tokens laufen, oder? Vermute auch hier wird es lauten, umso größer umso langsamer.

 

[mae]

Das höhere Speicherlimit kommt vermutlich von größeren NAND Chips?

Von groesseren (LPDDR5-)DRAM-Packages (und die wohl von groesseren DRAM-dies).

 

[steirerblut]

Für den angestrebten Nutzen - LLMs - ist der Softwarestack inzwischen ausreichend gut. Mir fehlt zumindest nichts. GenAI läuft das meiste drauf, "nur" die Kompatibilität ist teilweise eingeschränkt, betrifft aber eher Quantizations.

Das Problem ist halt das ne DGX Spark für 3-4k € in ein paar Minuten aufgebaut, Betriebsfähig und mit LLM Serving im Netzwerk beginnen kannst. Ohne Kopfschmerzen welche Distro, welcher Kernel, welche Treiber, welche VLLM damit ROCm funktioniert.
Damit sich die Geräte an Unternehmenskunden verkaufen "könnten" fehlt hier einfach der "Appliance" Faktor. Für Solo Dev setzt man sich sowieso die Maschine Wunschgerecht auf, da ist der Markt aber wesentlich fragmentierter -> Doch ne richtige Workstation mit mehr Throughput? Lieber gleich den Mac für Xk €? Damit ists dann halt wieder ne Nische in der Nische -> ich schätze einfach mal vorsichtig das 90% der Devs den Mac bevorzugen werden.
Ryzen AI Max scheint sich halt auch nicht in Massen verkauft zu haben obwohl der Markt viel Potential hätte. Mit etwas mehr Ambitionen würde da viel mehr gehen.

 

[stefan92x]

Damit sich die Geräte an Unternehmenskunden verkaufen "könnten" fehlt hier einfach der "Appliance" Faktor.

Genau das bringt AMD ja jetzt mit dem AMD Ryzen AI Halo

 

[Matthiazy]

Wann kommen mal neue News zu Zen 6 für Desktops Gaming CPUs?