News Framework Desktop: Mit Ryzen AI Max+ Pro 495 sind sehr teure 192 GB RAM drin

[CDLABSRadonP...]

Seit der Gorgon-Halo-Ankündigung, nein, eigentlich schon seitdem die neue LPDDR5X-Generation sich angekündigt hatte, war es klar, dass ew dazu kommen würde.

 

[Araska]

Wobei ich immer noch nicht so recht weiß, ob der Schritt von 128 zu 192 GiB jetzt wirklich an Gorgon Halo lag - hatte Strix Halo so wenig Adressbits, oder fällt die Einführung von GH schlicht mit der Einführung größerer LPDDR-Chips zusammen?

Zumal 192 GiB adressierbarer Speicher mir ein wenig obskur vorkommen - die CPU sollte (entsprechende RAM-Chips vorausgesetzt) auch keine Probleme mit 256 GiB haben..

 

[FabianX2]

Die schlägt sich so ein Gerät oder Cluster gegen Mac?

Die Unterschiede hast du sowohl in Bezug auf die Speichergeschwindigkeit und Anbindung als auch je nach Einsatzzweck die GPU und CPU Lösung. Daher ist für manche Sparc gut, für manche Mac Studios für andere Frameworks. Für mich reicht keine der Lösungen so wirklich. 256gb Speicher min und der dann gut angebunden und flott. Das wäre was.

 

[br3adwhale]

@Araska vielleicht lags ja am Speichercontroller dass der vorher noch nicht mit 24 Gbit Speicherchips klar kam (8x 16 Gbit bei Strix Halo). 24 ist halt nicht aus einer Zweierpotenz zu bilden.

 

[GrumpyCat]

Kann man nicht eigentlich für das Geld auch nen kleinen Epyc mit insgesamt mehr als der doppelten Speicherbandbreite besorgen (und deutlich größerem maximalen Ausbau)? Der hat dann nicht den kleinen Formfaktor und nicht so viel Compute, aber letztendlich dürften ähnlich viele Tokens/Sekunde rausspringen...?

Schade auch, dass Ansätze wie der Xeon Max (mit seinem HBM-"Cache") und die Instinct-CPU/GPU-Sachen entweder in der Versenkung oder im beinahe sechsstelligen Preisbereich verschwunden sind...

 

[jn_dev]

Toller Desktop Rechner. Ich habe den aktuellen Framework Desktop mit 64GB Unified Memory und bin sehr zufrieden damit. Interessant wird es glaube ich erst mit dem Gorgon Nachfolger Medusa. Hier gibt es glaube ich einen Sprung von 16 auf 24 CPU Kerne und ein Grafik Upgrade auf RDNA 5.

 

[CDLABSRadonP...]

Da frage ich mich aber auch, wieso der PC mit nur 128GiB 3500$ kostet... Kostet die APU 2000$?

Nein:
https://frame.work/de/de/products/f...oard-amd-ryzen-ai-max-300-series?v=FRAFMK0004

Ryzen™ AI Max+ 395 - 64GB 1.859,00 €
Ryzen™ AI Max+ 395 - 128GB 3.539,00 €

Es liegt schlicht daran, dass die LPDDR5X-Packages mit höchster Kapazität jeweils knapp geworden sind. Aus denen werden halt SOCAMM2-Module gebaut...
Die abgespeckte 385er-Variante samt 32 GiB gibt es sogar für nur 1079€ --- eine tolle Basis für eine Framework-Steammachine. Heatsink, PTM und wirklich top Mainboard sind auch dabei.

 

[heroesgaming]

Ich warte geduldig auf den Nachfolger dieses Nachfolgers. Dann mit tatsächlichem Architektur-Upgrade für CPU und GPU. Aber dann wird es extrem interessant.

 

[AAS]

Meinst du?
Ich sage, es kommt auf die Menge an.

Anhang anzeigen 1748329
GDDR7 x 16GiB = 530€ x16 = 8480€
Anhang anzeigen 1748330
DRR5 x 256GiB = 9939€
(beides die günstigsten Angebote für GDDR7 bzw DDR5 in 256GiB)

Aber wenn man den GDDR7 auf nur wenigen Karten haben möchte wirds teuer:
Anhang anzeigen 1748334

Ne Spass beiseite, man nimmt dan eher 2x 2x64Gib Kits:
Anhang anzeigen 1748333
Kosten nur 1400€ das Stück...
Da frage ich mich aber auch, wieso der PC mit nur 128GiB 3500$ kostet... Kostet die APU 2000$?

Du kannst nicht einfach 16 Karten zusammen knallen...

 

[Bigfoot29]

@AAS Zu GPU-Mining-Zeiten gabs doch die guten, alten 16-zu-1-Verteiler, die die 16 PCIe-Lanes des GPU-Slots auf 16 einzelne Karten aufteilen konnte.... Kann er die doch nehmen?

(Wir verraten auch keinem, dass dadurch die LLM-Leistung massiv einbricht, weil die PCIe-Geschwindigkeit bei mehr als einer Karte der Flaschenhals wird. ^^)

Aber generell... ich gebe zu, dass ich mich auch arg zurückhalten muss. Medusa ist eindeutig die bessere Lösung. Aber... das ist noch soo lang hin...

Regards, Bigfoot29

 

[Tsu]

[…] ist insbesondere für die Ausführung von KI-Modellen gedacht […]

Was ihr immer mit den LLMs habt. Ich wünsche mir so ein Gerät für meine Ingenieurssoftware.

 

[Araska]

Ich warte geduldig auf den Nachfolger dieses Nachfolgers. Dann mit tatsächlichem Architektur-Upgrade für CPU und GPU. Aber dann wird es extrem interessant.

Jup - Medusa Halo könnte in der Tat interessant werden.
Bleibt zu hoffen, daß bis dahin RAM wieder bezahlbar ist...

 

[pmkrefeld]

Ist gibt halt Unternehmen, die streamen Ihre internen Daten halt nicht einfach so in ne Cloud, die brauchen dann solche Geräte.

Zum Beispiel Rüstungsfirmen, die werden bestimmt nicht irgendeine externe KI benutzen.

Was heißt denn einfach so?
Jede Firma wird hier Verträge mit entsprechenden Klauseln haben. Rüstungsfirma hin oder her.
Die nehmen dann halt lokale Anbieter die sich gut mit der Lobby und der Regierung verstehen.
Und nein, die brauchen solche Geräte definitiv nicht.
Die brauchen streng genommen gar keine Geräte, sondern Services, ja auch Rüstungsfirmen. Die können dann bei Azure/T-Systems/Ali oder wo auch immer ihre dedizierten Netze oder gar Blech bekommen. Keiner von denen kauft sowas selbst.

 

[Bigfoot29]

Ich wünsche mir so ein Gerät für meine Ingenieurssoftware.

Ja mach doch... Niemand stoppt Dich, oder?

Regards, Bigfoot29

 

[Araska]

Niemand stoppt Dich, oder?

Ist meines Wissens noch nicht verfügbar...

 

[AAS]

Was ihr immer mit den LLMs habt. Ich wünsche mir so ein Gerät für meine Ingenieurssoftware.

Tja wir arbeiten halt auch damit.
Nicht nur Ingenieure brauchen dicke Kisten, auch wir ITler.

Ergänzung (Heute um 15:28)

@AAS
(Wir verraten auch keinem, dass dadurch die LLM-Leistung massiv einbricht, weil die PCIe-Geschwindigkeit bei mehr als einer Karte der Flaschenhals wird. ^^)

Massiv ist nur das Vorwort.^^
Genau darauf raus wollte ich.

 

[heroesgaming]

Jup - Medusa Halo könnte in der Tat interessant werden.
Bleibt zu hoffen, daß bis dahin RAM wieder bezahlbar ist...

Damit rechne ich nicht unbedingt, aber gut ... wenn die Leistung stimmt, ist ein gewisser Preis noch zu rechtfertigen ^_^

 

[bart1983]

Preis: Linke Niere

 

[RealMax123]

LPDDR5X bietet natürlich einerseits schon die beste Performance, wird aber bei 192GB sicherlich exorbitant teuer, und verhindert einen günstigen Einstieg.

 

[iron_monkey]

Man kann nie genug RAM haben, 192GB sind cool, ich habe hier 256 GB rumfliegen und brauchen tue ich in wirklichkeit nur 64GB verteilt auf 3 Systeme :--D

Manche eigenartigen Angewohnheiten, haben komischerweise positive Effekte, ich bin entspannt aber das ist alles nicht mehr normal!

Wie wäre es mit einer Rampreisbremse, bringt das nicht auch international Vorteile für die eigene Wirtschaft, oder soo, also los, los die lieben angestellten Sesselpupser in Berlin, macht was