News Nvidia DGX Spark 128 GB LPDDR5X: Der Preis der Founders Edition steigt um 620 Euro

[aLanaMiau]

Nicht nur sind die LLMs auf den AMD Chips merklich langsamer

Versteh ich nicht.

https://www.computerbase.de/artikel...-3#abschnitt_kianforderungen_und_benchmarking

 

[blubberbirne]

Mir fehlt da auch so ein bisschen der Usecase. Inferenz geht billiger und tbh ist ein Mac Studio mit M* Ultra und teils der M4 Pro Mac mini schlicht kosteneffizienter.

Nvidia liefert bei ihren DGX OS alles mit für einen sinnvollen Usecase. Man sollte sich so eine Kiste auch nicht kaufen ohne sich vorher schlau zu machen. Aber wie bereits geschrieben wurde, die Partner sind da viel günstiger unterwegs.

 

[aid0nex]

Arschteuer statt sackteuer, ist letztlich doch auch egal. Die KI Firmen und Rechenzentrumsbetreiber werden es trotzdem kaufen.

 

[person unknown]

Kannst du das ungefähr zahlenmäßig einordnen? Klar ist die 5070 im DGX schneller als die APU aber wie viel ist irgendwie schwer zu bezifferen weil die 5070 ja kein Wildtyp ist sondern elektrisch und thermisch ganz anders gedeckelt ist.

Die Grafikeinheit in einem AI395max nennt sich Radeon 8060S. Theoretische Werte wie zum Beispiel im Passmark verorten deren Leistung in den Dunstkreis von RTX4060mobil, RTX2080 aber auch der uralten GTX1080. Allein daran kann man schon erkennen, dass sie ganz offensichtlich nicht zum Spielen gedacht ist. Niemand kauft so ein System fürs Gaming. Vielmehr addiren sich im KI Bereich die CPU+GPU+RAM zu einem extrem leistungsfähigen System. Gaming und Heim-PC ist eine ganz andere Adresse.

 

[tomgit]

Versteh ich nicht.

Und Realität sieht bei mir anders aus. Ich nutze auch weder auf DGX Spark noch auf HP Zbook Ultra LM Studio, weil es zu viel Overhead benötigt. Und LM Studio ist auch keine "native" Binary unter Linux, sondern wird in AppImage ausgeliefert. Wie sehr sich das auf die Performance auswirkt, kann ich nicht sagen, höchstens testen.

Mein Server läuft auf über Ollama und als Frontend nutze ich Opencode. Das sind nochmal zusätzliche Layer.

 

[FrozenPie]

Ich nutze auch weder auf DGX Spark noch auf HP Zbook Ultra LM Studio, weil es zu viel Overhead benötigt.

Mein Server läuft auf über Ollama [...]

Interessant. Ollama hat eigentlich den Ruf eine der langsamsten LLM Runtimes zu sein, vor allem verglichen mit z.B. vLLM. Es ist allerdings schön einfach in der Bedienung und es ist außerdem möglich dort die LLMs on-the-fly zu tauschen, auch mid-chat ohne Neustart.

 

[tomgit]

vor allem verglichen mit z.B. vLLM

Natürlich geht es mit anderen Frameworks schneller. Llama.cpp oder vLLM haben halt weniger Bloat. Ollama ist auch nicht gleich Ollama, ich weitestgehend nur die CLI Variante