Du nicht.Austronaut schrieb:wer kauft sowas?
Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden.
Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Test AMD Gorgon Halo im Test: 192 GB stemmen im GMKtec EVO-X5 Pro riesige LLMs
- Ersteller Volker
- Erstellt am
- Zum Test: AMD Gorgon Halo im Test: 192 GB stemmen im GMKtec EVO-X5 Pro riesige LLMs
Schön, wie hier wieder manche mit "ist zu teuer" argumentieren. Leute, es gibt Menschen, die wollen oder dürfen ihre Geschäftsgeheimnisse nicht auslagern. Da reicht aber eine solche Maschine aus, um die nötigen Aktivitäten durchzuführen.
Ich hab hier "nur" einen HX370. Aber die 64GB Speicher machen auch da schon Spaß. Leistungsmäßig würde ich aber auf den Sprung zu DDR6 warten. LLMs leben von zwei Dingen: Bandbreite (massiv für normales Inferencing) und GPU-Leistung (für die "Vorbereitungen" der Antworten). Und wer mal etwas länger mit LLMs gearbeitet hat, wird gerade bei lokalen Systemen merken: Ob ich 100 Token/s im Pre-Processing habe oder 800 habe, merkt man schnell, sobald der Kontext mal auf 50 oder 100k angwachsen ist.
Ich werde wohl weiter zuschauen dürfen. Denn falls es irgendwann mal Systeme mit 256GB Ram GÄBE, wären die unter 10k wohl eher ohnehin nicht zu kriegen... Und dann überlegt man sich doch: etwas mit LLMs rumspielen oder doch ein Auto kaufen?
Regards, Bigfoot29
Ich hab hier "nur" einen HX370. Aber die 64GB Speicher machen auch da schon Spaß. Leistungsmäßig würde ich aber auf den Sprung zu DDR6 warten. LLMs leben von zwei Dingen: Bandbreite (massiv für normales Inferencing) und GPU-Leistung (für die "Vorbereitungen" der Antworten). Und wer mal etwas länger mit LLMs gearbeitet hat, wird gerade bei lokalen Systemen merken: Ob ich 100 Token/s im Pre-Processing habe oder 800 habe, merkt man schnell, sobald der Kontext mal auf 50 oder 100k angwachsen ist.
Ich werde wohl weiter zuschauen dürfen. Denn falls es irgendwann mal Systeme mit 256GB Ram GÄBE, wären die unter 10k wohl eher ohnehin nicht zu kriegen... Und dann überlegt man sich doch: etwas mit LLMs rumspielen oder doch ein Auto kaufen?
Regards, Bigfoot29
Sam ist ein Brokie und hat kein Geld.peacermaker schrieb:Beim Preischild sinkt das Interesse gegen null sollen sie das zeug Sam schicken der hat es nötig
reverend_kane
Cadet 4th Year
- Registriert
- Juli 2025
- Beiträge
- 85
Gemma 4 31B und Qwen 3.8 27B sollten in jedem AI Test dabei sein, daran lässt sich die sonstige Performance recht gut abschätzen ...Jan schrieb:Danke!![]()
pmkrefeld
Commodore
- Registriert
- Feb. 2012
- Beiträge
- 4.386
HerrRossi schrieb:Multiuser- und Multi-Agentbetrieb rund um die Uhr, damit kann man schon massenhaft token über APIs verbrennen.
Wie soll multi-user / multi-agent bei 30 toks funktionieren?
Das ist zu wenig für einen user, geschweige den mehrere.
Wenn die Tasks nicht extrem gut paeallelisierbar sind und nicht lange Zeiten auf Erledigung warten können, würde es seöbst bei niedrigeren Betriebskosten seöten Sinn machen.
Wenn aber schon 1 Token lokal teurer ist als in der Cloud, dann hilft das alles eh nicht mehr, und ich glaube dass ist sowieso der Fall, und ich meine hier API-pricing, nicht die um Faktor 100x subventionierten Tarife.
Gerade im Hinblick auf MoE (Mixture-of-Experts) Modelle wäre ein System mit Tiered-Storage eigentlich ganz hervorragend. Zum Beispiel eine APU wie diese mit 16-32 GB oder mehr HBM (für aktive Expert-Layer mit bis zu 30 Mrd. Token, Context-Window und die Runtime) und dann halt LPDDR5/6 als SOCAMM2 mit 128-512 GB oder mehr (je nach dem wie viele Memory Kanäle und Slots man implementiert) für die inaktiven bzw. On-Demand Experten und Embeddings, sowie das Betriebssystem und seine Programme.
Ich wette man könnte ein derartiges System auch auf einer PCIe-Karte realisieren, sodass man quasi eine "AI-Karte" in jedem Rechner wie eine Grafikkarte nachrüsten könnte. Vorteil wäre, dass man mehr Kapazität hinbekommt als bei reinem HBM und wesentlich mehr Bandbreite für die Expert-Layer hat als bei reinem LPDDR.
Ich wette man könnte ein derartiges System auch auf einer PCIe-Karte realisieren, sodass man quasi eine "AI-Karte" in jedem Rechner wie eine Grafikkarte nachrüsten könnte. Vorteil wäre, dass man mehr Kapazität hinbekommt als bei reinem HBM und wesentlich mehr Bandbreite für die Expert-Layer hat als bei reinem LPDDR.
@FrozenPie Lucebox hat so etwas in der Richtung vorgestellt: https://www.computerbase.de/news/pr...-mit-192-gb-ram-ist-fast-alternativlos.99619/
Da wird ein Gorgon Halo mit einer Radeon AI Pro R9700 kombiniert. Die schnellere Radeon hält die aktiven Expert Layer in ihren 32 GB GDDR6, die on-demand bleiben im LPDDR der APU. Also nicht nur tiered-memory, sondern sogar gleich tiered-compute.
Da wird ein Gorgon Halo mit einer Radeon AI Pro R9700 kombiniert. Die schnellere Radeon hält die aktiven Expert Layer in ihren 32 GB GDDR6, die on-demand bleiben im LPDDR der APU. Also nicht nur tiered-memory, sondern sogar gleich tiered-compute.
Brainorg
Commander
- Registriert
- Sep. 2007
- Beiträge
- 2.812
Danke für den Test. Wenn man das mehr an RAM nicht benötigt, kann man wirklich getroßt beim 395er bleiben und Geld sparen. Was ich auch schade findet, das bei dem ganzen Thema Bild&VIdeogenerierung ROCm immer noch so stiefmütterlich im vergleich zu CUDA berücksichtigt wird. Daher wurde es bei mir auch der Spark und kein AMD.
- Registriert
- Feb. 2012
- Beiträge
- 351
Im Vergleich zur Konkurrenz von NVIDIA (DGX Spark) und Apple (Mac Studio) ist das mit mehr RAM zwar günstiger, dafür an anderen Stellen auch deutlich langsamer unterwegs.
Ich denke mal privat stellt sich das keiner zu Hause hin. In dem Fall geschäftliche Nutzung wird der bessere Support durch NVIDIA und Apple auch die Preisdifferenz ausgleichen.
Ich denke mal privat stellt sich das keiner zu Hause hin. In dem Fall geschäftliche Nutzung wird der bessere Support durch NVIDIA und Apple auch die Preisdifferenz ausgleichen.
Brainorg
Commander
- Registriert
- Sep. 2007
- Beiträge
- 2.812
HerrRossi schrieb:Welches große Modell, das 192GB RAM benötigt...
Mehr RAM ist immer gut, zum bsp. bei Videogenerierung ;-)
Nicht alles ist LLM´s wenn es um AI geht.
HerrRossi
Fleet Admiral
- Registriert
- Apr. 2014
- Beiträge
- 13.887
Hier wird das erklärt: https://www.tomshardware.com/pc-com...-6-8am-pt-1100-edt-amd-ryzen-ai-halo-review/2pmkrefeld schrieb:Wie soll multi-user / multi-agent bei 30 toks funktionieren?
Sherman789
Lieutenant
- Registriert
- Apr. 2022
- Beiträge
- 780
Wenn du dauernd ans Limit deines 200€ Tarifs stösst und das am besten noch mehrfach, dann hat sich das Teil sehr schnell amortisiert.pmkrefeld schrieb:Wie soll das wirtschaftlich sein?
Hmm als ich kenne lokale modelle die brauchen 400gb ram... da wäre eine 512gb Ausstattung besser
Ergänzung ()
Kommt drauf an wie schnell du antworten haben möchtestSherman789 schrieb:Wenn du dauernd ans Limit deines 200€ Tarifs stösst und das am besten noch mehrfach, dann hat sich das Teil sehr schnell amortisiert.
heroesgaming
Captain
- Registriert
- Feb. 2022
- Beiträge
- 3.292
Woher auch, wenn seine Firma bisher keines verdient und Investments entweder zunehmend abebben oder gleich aus Versprechungen künftig zur Verfügung stehender Rechenkapazität bestehen? xDAlphanerd schrieb:Sam ist ein Brokie und hat kein Geld.
Ähnliche Themen
- Antworten
- 45
- Aufrufe
- 6.768