Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsNvidia DGX Spark 128 GB LPDDR5X: Der Preis der Founders Edition steigt um 620 Euro
Nvidia hat den Preis der DGX Spark Founders Edition angepasst: Statt 4.180 Euro werden für den „Mini-AI-Supercomputer“ mit 4 TB großer SSD und 128 GB LPDDR5X ab sofort 4.800 Euro aufgerufen. Das sind 620 Euro oder 15 Prozent mehr. Die aktuellen Bedingungen am Speichermarkt sind wenig verwunderlich die Ursache.
Ja, die OEM Modelle kriegst teilweise nachgeworfen, gerade Kundenrückläufer. Haben fürs Lab auch eine Thinkstation PGX unter 2500 € bekommen, die Nachfrage im "Prosumer Segment" scheint ja da zu sein, aber auch vieles dann wieder zurück zu gehen. Das ist wohl das einzige Nvidia "AI" Produkt das in großen Mengen verfügbar ist. Der Arm Push war vielleicht 1-2 Jahre zu früh, x86 Hardware mit den Specs würden die Kunden Nvidia mit Aufpreisen aus den Händen reissen.
Ich stell jetzt mal die blöde (und wahrscheinlich doch gar nicht so blöde) Frage:
Wofür braucht man das?
Beworben wird das Ding als Entwickler-Box mit vorinstallierter Software.
Die kann nun was gegenüber nem schnöden PC mit Grafikkarte?
Ist nochmal näher an der End-Hardware, auf der die entwickelte Software dann eingesetzt wird?
Richtig: Es ist die Arm-CPU-Blackwell-GPU-Linux-Basis, wie du sie auf Nvidia-AI-Servern in der Cloud hast. + 128 GB RAM, die fast vollständig auch VRAM sein können. Hier habe ich das alles probiert verständlich zu erklären:
Du hast einfach 128gb 256bit angebundenen 8000MHz RAM auf den die GPU direkt zugreifen kann. Das ist für alles was mit ML und AI zu tun hat Gold wert weil die Speicherbandbreite durch den PCIe x16 bei GPUs auf 64gb/s gedeckelt ist. Das sind etwa ein viertel der Bandbreite.
Ich habe den Lenovo Ableger (ThinkStation PGX) auf der Arbeit. Im Vergleich zum AMD Ryzen AI 9 MAX 395 ist es sehr, sehr schnell. Freue mich schon auf die Notebook-Ableger, wenn die auch mit 128GB (V)RAM kommen.
Der steigende Preis wurde aber auch schon von Lenovo angeteasert. Mal gespannt, wie es sich auf N1X Systeme auswirken wird.
Kannst du das ungefähr zahlenmäßig einordnen? Klar ist die 5070 im DGX schneller als die APU aber wie viel ist irgendwie schwer zu bezifferen weil die 5070 ja kein Wildtyp ist sondern elektrisch und thermisch ganz anders gedeckelt ist.
Wenn es einen schnelleren GMKtec EVO-X2 AMD Ryzen™ AI Max+ 395 Mini PC für 2500€ mit 128GB RAM gibt, wird die breite Masse keinen Nvidia DGX Spark kaufen wollen. Die meisten Heimanwender sind nicht auf CUDA angewiesen, die Auswahl an LLMs ist groß.
Quelle +1.
Beobachtung auf der Arbeit. OEM Hardware handelt man aber auch 30-60% unter den Listenpreis. Niemand zahlt Listenpreis.
- @blubberbirne und 1 weiterer Typ im Internet
blubberbirne schrieb:
Die nachfrage nach der Founders Edition ist erschreckend gering, bis nicht vorhanden.
Mir fehlt da auch so ein bisschen der Usecase. Inferenz geht billiger und tbh ist ein Mac Studio mit M* Ultra und teils der M4 Pro Mac mini schlicht kosteneffizienter.
Zum training ist es niedlich und skaliert super, aber zu dem preis kann man einige Spotinstanzen mieten
Ich kann mal schauen, dass ich die Tage zumindest ein Projekt auf beiden Systemen durchlaufen lasse, aber egal in welchem Bereich es ist, der GB10 Chip ist einfach schneller: Laden von Modellen, Verständnis von Prompt, Generation von Token.
aLanaMiau schrieb:
Die meisten Heimanwender sind nicht auf CUDA angewiesen, die Auswahl an LLMs ist groß.
Kann ich so definitiv nicht unterschreiben. Nicht nur sind die LLMs auf den AMD Chips merklich langsamer, auch gibt es weitere Bereiche (Bild-/Videogenerierung) welche auf AMD Chips erst seit ROCm 7 einigermaßen zuverlässig funktionieren - und selbst da ist es ein Gemurkse, es zum Laufen zu bekommen.
So wenig wie ich Nvidia mag, aber sie sind AMD nicht nur bei der Forschung sondern auch bei der Verwendbarkeit deutlich voraus. Bei meinem ZBook Ultra G1A kann ich ohne DDU nicht den variablen VRAM aktivieren, da der PRO Treiber von AMD das nicht zulässt - und AMDs eigenes Treiber-Purge-Tool hat mein Notebook in ein Bootloop gesendet. Unter Linux darf man zusätzliche Pages per grub-Parameter einrichten, letzeres ist in Nvidias Ubuntu-Abklatsch DGX OS bereits eingerichtet.
Selbst Apple ist was ML Inferenz anbelangt deutlich angenehmer zu verwenden als alles, was AMD liefert. Höchstens mit der Ausnahme des Adrenaline KI Toolkits.
Gemini hat gemeint bei den Parametern des Taalas HC1 Chips und der älteren Fertigungstechnik könnte die Produktion 200-500$ Kosten.
Als System mit USB Stecker dann vielleicht 3000-5000?
Damit sind dann aber ganz andere Anwendungen möglich.
Die Zeiten wo Nvidias mit 75% Marge verkaufen konnte gegen dieses Jahr vermutlich zu Ende.
LLM im Silizium wird der Weg für die Interferenz. Und mit Lora ist ja auch schon das Fine-tuning ohne Rechenzentren möglich.
