Test AMD Gorgon Halo im Test: 192 GB stemmen im GMKtec EVO-X5 Pro riesige LLMs

Schön, wie hier wieder manche mit "ist zu teuer" argumentieren. Leute, es gibt Menschen, die wollen oder dürfen ihre Geschäftsgeheimnisse nicht auslagern. Da reicht aber eine solche Maschine aus, um die nötigen Aktivitäten durchzuführen.

Ich hab hier "nur" einen HX370. Aber die 64GB Speicher machen auch da schon Spaß. Leistungsmäßig würde ich aber auf den Sprung zu DDR6 warten. LLMs leben von zwei Dingen: Bandbreite (massiv für normales Inferencing) und GPU-Leistung (für die "Vorbereitungen" der Antworten). Und wer mal etwas länger mit LLMs gearbeitet hat, wird gerade bei lokalen Systemen merken: Ob ich 100 Token/s im Pre-Processing habe oder 800 habe, merkt man schnell, sobald der Kontext mal auf 50 oder 100k angwachsen ist.

Ich werde wohl weiter zuschauen dürfen. Denn falls es irgendwann mal Systeme mit 256GB Ram GÄBE, wären die unter 10k wohl eher ohnehin nicht zu kriegen... Und dann überlegt man sich doch: etwas mit LLMs rumspielen oder doch ein Auto kaufen? :D

Regards, Bigfoot29
 
  • Gefällt mir
Reaktionen: Drahminedum
peacermaker schrieb:
Beim Preischild sinkt das Interesse gegen null sollen sie das zeug Sam schicken der hat es nötig
Sam ist ein Brokie und hat kein Geld.
 
HerrRossi schrieb:
Multiuser- und Multi-Agentbetrieb rund um die Uhr, damit kann man schon massenhaft token über APIs verbrennen.

Wie soll multi-user / multi-agent bei 30 toks funktionieren?
Das ist zu wenig für einen user, geschweige den mehrere.
Wenn die Tasks nicht extrem gut paeallelisierbar sind und nicht lange Zeiten auf Erledigung warten können, würde es seöbst bei niedrigeren Betriebskosten seöten Sinn machen.
Wenn aber schon 1 Token lokal teurer ist als in der Cloud, dann hilft das alles eh nicht mehr, und ich glaube dass ist sowieso der Fall, und ich meine hier API-pricing, nicht die um Faktor 100x subventionierten Tarife.
 
  • Gefällt mir
Reaktionen: Tom_01
Gerade im Hinblick auf MoE (Mixture-of-Experts) Modelle wäre ein System mit Tiered-Storage eigentlich ganz hervorragend. Zum Beispiel eine APU wie diese mit 16-32 GB oder mehr HBM (für aktive Expert-Layer mit bis zu 30 Mrd. Token, Context-Window und die Runtime) und dann halt LPDDR5/6 als SOCAMM2 mit 128-512 GB oder mehr (je nach dem wie viele Memory Kanäle und Slots man implementiert) für die inaktiven bzw. On-Demand Experten und Embeddings, sowie das Betriebssystem und seine Programme.
Ich wette man könnte ein derartiges System auch auf einer PCIe-Karte realisieren, sodass man quasi eine "AI-Karte" in jedem Rechner wie eine Grafikkarte nachrüsten könnte. Vorteil wäre, dass man mehr Kapazität hinbekommt als bei reinem HBM und wesentlich mehr Bandbreite für die Expert-Layer hat als bei reinem LPDDR.
 
  • Gefällt mir
Reaktionen: Jan
  • Gefällt mir
Reaktionen: interesTED und Jan
Danke für den Test. Wenn man das mehr an RAM nicht benötigt, kann man wirklich getroßt beim 395er bleiben und Geld sparen. Was ich auch schade findet, das bei dem ganzen Thema Bild&VIdeogenerierung ROCm immer noch so stiefmütterlich im vergleich zu CUDA berücksichtigt wird. Daher wurde es bei mir auch der Spark und kein AMD.
 
Im Vergleich zur Konkurrenz von NVIDIA (DGX Spark) und Apple (Mac Studio) ist das mit mehr RAM zwar günstiger, dafür an anderen Stellen auch deutlich langsamer unterwegs.
Ich denke mal privat stellt sich das keiner zu Hause hin. In dem Fall geschäftliche Nutzung wird der bessere Support durch NVIDIA und Apple auch die Preisdifferenz ausgleichen.
 
  • Gefällt mir
Reaktionen: Tom_01
Bedenkt man die RAM Größe ist der Preis wirklich gut !
Wahrscheinlich wird dieser aber auch in den nächsten Wochen deutlich steigen...
 
HerrRossi schrieb:
Welches große Modell, das 192GB RAM benötigt...

Mehr RAM ist immer gut, zum bsp. bei Videogenerierung ;-)
Nicht alles ist LLM´s wenn es um AI geht.
 
  • Gefällt mir
Reaktionen: HerrRossi
Billiger als eine 5090 derzeit -> geht also. :D
 
  • Gefällt mir
Reaktionen: Schumey und Jan
Danke für den Test.

Es ist in meinen Augen albern AI Max oder DGX zu den Preisen zu holen. Ich hatte auch überlegt.

Dann tun es auch AMD GPUs mit ordentlich RAM im System und notfalls Strata für Qwen 3.8 FN.
 
  • Gefällt mir
Reaktionen: Tom_01
Hmm als ich kenne lokale modelle die brauchen 400gb ram... da wäre eine 512gb Ausstattung besser
Ergänzung ()

Sherman789 schrieb:
Wenn du dauernd ans Limit deines 200€ Tarifs stösst und das am besten noch mehrfach, dann hat sich das Teil sehr schnell amortisiert.
Kommt drauf an wie schnell du antworten haben möchtest
 
  • Gefällt mir
Reaktionen: Tom_01
Alphanerd schrieb:
Sam ist ein Brokie und hat kein Geld.
Woher auch, wenn seine Firma bisher keines verdient und Investments entweder zunehmend abebben oder gleich aus Versprechungen künftig zur Verfügung stehender Rechenkapazität bestehen? xD
 
Sapphire Forum
Zurück
Oben