Strix Halo 32GB oder 128GB?

[ColinMacLaren]

Ich hatte den GPD Win 5 mit 32 GB bestellt, der sollte die nächsten Wochen in den Versand gehen. Für alles, was man sinnvoll darauf zocken kann, sollte die 32 GB Version genügen. Es gab alternativ nur 64GB und das hielt ich für Blödsinn, da da die 128 Milliarden Parameter Modelle eh nicht reinpassen.

Allerdings überlege ich mir aufgrund der steigenden RAM-Preise und der AI-Bubble, die 900 EUR draufzulegen und auf das neu hinzugekommene 128GB Modell upzugraden. Haltet ihr das für sinnvoll? Ich würde sicher hier und da mal eine lokale LLM laufen lassen, das ist jetzt aber nicht soo die Priorität. Kleine Modelle kriege ich auch auf dem Desktop zum Laufen und für den Alltagsgebrauch ist eher ein Pro-Abo eines Anbieters sinnvoll.

Andererseits könnte das Gerät aufgrund der RAM-Knappheit und seiner 128GB massiv im Wert steigen und dann einen deutlich besseren Wiederverkaufwert liefern.

Was haltet ihr für sinnvoll?

 

[Sykehouse]

Wenn du spekulieren willst, solltest du direkt in Aktien investieren, nicht in Hardware...

 

[blubberbirne]

Wer jetzt Systeme mit 128GB kauft, heult vermutlich 2x. Einmal bei der Anschaffung. Und dann wenn man das ganze zeug irgendwann mal wieder verkaufen will, weil zu alt. Wenn Du das System ~2 Jahre nutzt, wird der RAM Preis vermutlich wieder im Keller sein.

 

[Rock Lee]

Ich würde nicht auf Wiederverkaufswert spekulieren, aber mit den 128GB kannst du lokal mit LLMs schon ordentlich was anfangen, wenn du Dich auskennst. Auch wenn du das nicht gefragt hast. Wenn ich mir dein Setup anschaue und sehe, dass du bereits 128GB DDR5 Ram hast, würd ich eher schauen, nicht ganz aud den Strix Halo zu verzichten und einigermaßen kostenneutral von der 5080 auf eine gebrauchte 4090 zu upgraden. Die 8GB mehr VRAM tun dir schon ganz gut. So kannst du kleinere Modelle wie Flux oder Qwen direkt im VRAM laufen lassen und klar ist der LPDDR5X von Strix im Vorteil, aber wenn nicht Tokendurchsatz sondern Lauffähigkeit deine Prio ist, dann wäre das eine günstigere Alternative als dein sehr spezielles Strix Halo-Setup.
Dein DDR5-Setup liegt bei ca. 96GB/s Bandbreite. Strix Halo bei 256MB/s. Dafür ist die GPU in Strix aber auch deutlich weniger Leistungsfähig.

 

[shysdrag]

Ich würd auch bei dem bleiben was du für deinen Use Case benötigst.
Die Preise sind schon angestiegen, ein Handheld wird in keinem AI Usecase einen relevanten nutzen haben (da sinds eben Laptops wenn Unterwegs gearbeitet wird oder Mini PCs). Es kommen in den nächsten Monaten Refreshes von AMD, Intel Panther Lake mit 128gb ausbauten, wie schnell ROCM Industrieweiten Anklang findet ist noch unbekannt, Zeitgleich sind seitens der DRAM Hersteller riesige Fabs geplant, die Zukunft der großen AI Invests ist aktuell ungewiss.
Ums abzukürzen, bei Investitionen gehts um Riskmanagment, eine Spielekonsole hat a.) nix damit zu tun b.) gibts so viele externe Faktoren die du nicht beeinflussen kannst dass das Chance-/Risikoverhältnis keine spekulativen Investitionen rechtfertigt. Kauf also das was du heute brauchst.

Eventuell tuts ja auch ein billiger Handheld der dir 80% der Leistung bietet; zB aus dem MSI Refurbished store:

 

[AAS]

Ganz klar Team 128GB, mein 5 jähriger Rechner hat bereits 64GB und die reichen noch so knapp.

 

[SavageSkull]

Wie sieht denn deine Nutzung mit dem Handheld aus?
Ist das dein "Daily Driver"-PC und würdest du den dann auch in der Dockingstation stehen lassen um LLM drauf laufen zu lassen?

Wenn das Ding für mobiles zocken genutzt wird, halte ich mehr wie 32GB für verschwendet, weil die niemals benutzt werden. 99% der aktuellen Spiele kommen auch noch mit 16GB RAM klar. Mehr ist dann oft nur notwendig, weil man am PC eben noch mehr macht und noch andere Anwendungen gleichzeitig offen hat. Bei einem Gaming Handheld wird sich das bei der dafür gedachten Nutzung allerdings in Grenzen halten.

Bei meinem Steam Deck mit 16GB RAM fallen mir doch einige andere Dinge ein, für die ich mehr Geld ausgeben würden, lange bevor der RAM ein Thema wäre.

 

[Gohst]

Wenn du mit LLMs arbeiten willst, 128GB Ram.
Ich frage mich allerdings, wie gut so ein Handheld mit Dauerlast auskommen mag.

Ich hatte mal Hands-on an einem HP Zbook 14 mit dem Ryzen 395+ AI Max. Das Teil hatte gerade so durchgehalten aber war halt ein Düsenjet. Und dort ist eigentlich eine recht potente Kühlung verbaut.

Das ist wie Furmark + Prime 95 wenn du da richtig grosse LLMs rechnen lassen willst.
Vielleicht doch lieber ein Mini PC + Handheld (Rog Ally etc.)

 

[Azdak]

128GB als Grund für LLMs ab und zu mal ausführen und Spekulation, halte ich für fraglich. Große Dense-Modelle werden dann schon arg langsam. Sprich, man sollte den Use-Case gut kennen. 900€ um ab und zu mal ein größeres Modell laufen zu lassen, um dann zu merken, dass das doch arg langsam ist. Ich fürchte, das ist rausgeworfenes Geld. Ich besitzte ein HP ZBook 14 und fahre es mit 32Gb System, 32Gb VRAM als sweetspot wo alles gut geht und die geschwindigkeit auch bei LLMs noch akzeptabel ist.

 

[JumpingCat]

Also ich habe hier einen AMD Ryzen 7 8845HS mit 780M. Da laufen schon größere Modelle über 16 gemütlich langsam. Wenn da noch Kontext dazu kommt, dann möchte man das nicht mehr interaktiv ausführen. Ich müsste nochmal messen wie hoch der Stromverbrauch ist, der dürfte ab zwischen 40W bis 70W liegen.

Vergleich 780M zu 8060S: https://nanoreview.net/en/gpu-compare/radeon-8060s-vs-radeon-780m . Der 8060S ist pauschal ca doppelt so schnell.

Nachtrag:

ollama ls
NAME ID SIZE MODIFIED
mixtral:8x7b a3b6bef0f836 26 GB 9 days ago
ollama run --verbose mixtral:8x7b "genierere 100 zeilen python code"
[...]
total duration: 38.763783486s
load duration: 11.316863ms
prompt eval count: 20 token(s)
prompt eval duration: 760.657586ms
prompt eval rate: 26.29 tokens/s
eval count: 398 token(s)
eval duration: 37.92740899s
eval rate: 10.49 tokens/s

Bei 78W Gesamtverbrauch aus der Steckdose. Das System ist ein headless Linux. Im Bios ist leider nichts zum PowerLimit einstellbar.

@ColinMacLaren : Wie weit kannst du mit dem PowerLimit bei dem GPD Win 5 gehen?