Test Nvidia DGX Spark im Test: Ein Blick auf den kleinsten KI-Supercomputer der Welt

[Dessi]

Ein Schnäppchen !
Die 128 GB kosten ja schon 2000€ - da ist der Rest ja recht billig zu haben.
Das Teil geht sicher weg wie geschnitten Brot.

 

[Hardware-Fan]

Es fehlt gänzlich der Hinweis auf AMDs AI Bundle und der Hinweis auf ROCm 7.2. Beide sollen ja gerade die "Ersteinrichtung" erleichtern (für Leute, denen das schwer fiel, wobei das Jammern auf hohem Niveau war, aber egal. Wer sich irgendwie sinnvoll mit KI beschäftigen will, muss sich sowieso einarbeiten. "Nur einschalten" reicht nicht).

 

[Jan]

Guter Punkt @Hardware-Fan - da hatte mich gestern überholt. Ich habe es in der passenden Passage beim Ausblick direkt noch verlinkt. Das ist ja genau das, was beim Dev Kit dann direkt mitkommt.

 

[nutrix]

Die 128 GB kosten ja schon 2000€ - da ist der Rest ja recht billig zu haben.
Das Teil geht sicher weg wie geschnitten Brot.

Gegenüber der FE Edition, wo ich fast 4500 € bezahlte, sind die 3000 € für das Asus Teil "günstig". Gut, ist nur 1TB SSD gegenüber der FE, aber das rechtfertigt so nicht die 1500 € Mehrpreis.

Was nervt, daß man die NVME SSD nicht so einfach erweitern kann:

1 TB sind für eine KI-Dev-Box nicht unbedingt viel und kann schnell zu Engpässen führen. Die DGX-Plattform lässt sich allerdings aufrüsten, denn die SSD sitzt in einem M.2-Steckplatz (PCIe 5.0 x4). Doch es gilt zu bedenken: Die maximale Länge ist auf das seltene Format M.2 2242 beschränkt. Die größte PCIe-5.0-SSDs im Format 2242 ist Anfang 2026 die Corsair MP700 Micro 4 TB (Test).

 

[tdbr]

Ein B2B Produkt bzw. Dev Kit - preislich deswegen sogar noch ziemlich erschwinglich. Beliefern die so viele Herrsteller, damit jeder das über seine Partner beziehen kann (Dell, Lenovo, HP, ...) kann oder warum macht man das nicht alleine?

 

[Hardware-Fan]

Guter Punkt @Hardware-Fan - da hatte mich gestern überholt. Ich habe es in der passenden Passage beim Ausblick direkt noch verlinkt. Das ist ja genau das, was beim Dev Kit dann direkt mitkommt.

Nicht nur beim Dev Kit, ROCm und das AI Bundle betrifft ja alle User (inkl. private Gelegenheitsnutzer).

Mit normalen Grafikkarten wie der 9070 XT lädt man sich ROCm + LMStudio, und legt los. Das war auch bisher schon problemlos (bei Anwendung und Installation). Für den Anwendungsfall "ComfyUI unter Windows" soll es mit AI Bundle + ROCm 7.2 deutlich schneller eingerichtet sein.

 

[Mills97]

"Supercomputer" Ja, nein. Wenn man nicht mal vernünftig da drauf spielen kann, dann ist die Bezeichnung: "Supercomputer" für Mich persönlich komplett verfehlt. Ich bin entsetzt vom technologischen Stillstand.

Spielen? Technologischer Stillstand? Autsch. Man ist eher entsetzt über deinen Horizont. 🙄

 

[Quixotte]

INT4-Fähigkeit (Quantifizierung)

Kniffliger Typo: Da ist Quantisierung gemeint.

Quantisieren ist etwas wie „Komprimieren“, quantifizieren ist eher Messen/zählen.

Bei LLMs werden die Gewichte/Paramter gestutzt (quantisiert) für bessere Performance - bei Abstrichen der Genauigkeit.

 

[R4nd0]

Nvidia kann nicht mehr klar denken. Zumindest der Lederjacken Typ. Das soll ein Supercomputer sein? 🤣 ICH BIN SUPERMAN!!!

Ergänzung (Donnerstag um 18:58)

Quantisieren ist etwas wie „Komprimieren“, quantifizieren ist eher Messen/zählen.

Ergänzung: Quantisieren heisst auf diskrete Stufen abbilden. zB 16 bit auf 8 bit Quantisieren.

Genau, mit Quantisierung geht immer ein Informationsverlust einher.

Ergänzung (Donnerstag um 19:04)

Für den Anwendungsfall "ComfyUI unter Windows" soll es mit AI Bundle + ROCm 7.2 deutlich schneller eingerichtet sein.

ROCm auf Windows laufen lassen? Geht das mittlerweile gut?

 

[Xes]

Sieht solide aus, danke für den Test. 👍
Das ist sicherlich ein cooles Produkt um kleinen Abteilungen oder einzelnen Mitarbeitern einen spezialisierten KI-Assistenten zur Verfügung zu stellen (z.B. Coding-Assistent oder ähnliches), wenn der Bereich aus Datenschutzsicht zu kritisch ist um die Daten an OpenAI, Google usw. zu übermitteln, man aber auch nicht gleich eine eigene richtig dicke KI-Serverfarm aufstellen will. So ein Teil passt im Zweifel auch in den Rucksack und lässt sich mit ins Homeoffice oder zum Kunden nehmen.
Mit 128GB RAM passt dann auch einiges ins Contextwindow was für RAG oder viel Code sicherlich nützlich wird und wo den klassischen "kleinen" Workstation-GPUs schnell der VRAM ausgeht.

Der Gamingbenchmark ist an der Stelle ein wenig albern, da das Gerät dafür überhaupt nicht ausgelegt ist. Man testet ja auch keinen Traktor auf Rennstreckentauglichkeit nur weil beide Reifen haben und fahren können...

 

[eastcoast_pete]

Leute... ich bin wahrlich kein Freund von Nvidia und auch nicht von KI gedöns, aber wer sich das Teil nur zum zocken kauft, ist halt einfach komplett banane.

Was soll denn dieses "zum Zocken kacke, also ist es sinnlos"? Ich schreib doch bei einem Test vom neuen Porsche auch nicht rein "also für den Familientrip mit viel Gepäck ist das aber nichts, also ist das scheiße." Schreibt ihr einfach nur sobald ihr Nvidia lest, irgendwas rein, nur um zu stänkern?

Ich hätte den Vergleich sogar noch etwas drastischer gemacht, zB der neue 911 Turbo ist eine lahme Kiste, weil er ein miserabler Möbelwagen ist.
Der Spark ist eben eine Kiste, mit der man als Entwickler auf einer Hardware arbeiten kann, die dann auch in großen Beschleunigern benutzt wird.
Für den Einsatz als normaler mini-PC ist ein Spark natürlich ein überteuerter Fehlkauf. Da ist man, je nach Budget und OS Präferenz, mit einem Würfel mit "Ryzen AI" APU - bis rauf zu Strix Halo- oder einem Mac Mini besser bedient.

 

[Mr.Uhu]

Da hatte ich mich auch für interessiert und angeblich setzen viele Modelle dedizierten VRAM voraus und können mit den 128GB RAM nichts anfangen, bzw. es eben gerade nicht als 128GB "VRAM" nutzen.

Ist Quatsch.
Ich betreibe viele meiner Modelle indem ich am VRAM vorbei die Modelle in die Graphics Transfer Table laden lasse. Performant ist das aber auch nur, wenn es wie bei mir eine iGPU ist.
System RAM ist da quasi vRAM.
Einen minimalen Overhead gibt es da. Merkt man aber durch die trotzdem recht kleine Bandbreite des DDR5 nicht.

 

[eastcoast_pete]

@Jan : Sind die Power Settings unter dem Custom-Ubuntu Build beim Spark genauso stark beschnitten wie bei anderen Linux Distris? Für eine normale GeForce gibt es nicht einmal die Möglichkeit die Spannungskurve anzupassen, weil die Nvidia-Treiber für Linux wesentlich restriktiver sind als unter Windows.

Das wäre in der Tat sehr interessant! Ich fand es schon (im Sinn des Wortes) bemerkenswert , daß Nvidia Spark ein Custom Ubuntu als OS verpasst hat. Natürlich macht das Sinn, aber Nvidia war ja lange nicht so "Linux-freundlich".

Mich würde auch interessieren, ob Nvidia das Custom-Ubuntu OS ähnlich offenlegen muss wie es AFAIK bei anderen Linux Derivaten der Fall ist? Ich dachte das dieses in den Lizenz-Bedingungen für die Verwendung von Linux drin steht, bin aber kein Experte in dem Bereich.

Ergänzung (Donnerstag um 20:40)

Meanwhile, back at the ranch, ahem, bench, und am anderen Ende der Preisspanne: wie gut/schlecht ist denn der Pi HAT mit dem Hailo H10? Diese NPU soll laut Angaben immerhin ~40 TOPs bei 4 Bit Sparsity schaffen, und dabei um die 3 W verbrauchen. Ein Test dazu wär doch auch interessant, und wahrscheinlich weniger kontrovers 😁.

 

[MuhSagtDieKuh]

Da hatte ich mich auch für interessiert und angeblich setzen viele Modelle dedizierten VRAM voraus und können mit den 128GB RAM nichts anfangen, bzw. es eben gerade nicht als 128GB "VRAM" nutzen.

Keine, das regeln die Frameworks drum herum. Wird oft als „CPU Offloading“ bezeichnet…der VRAM agiert dann im Prinzip als Cache und was gerade auf der GPU gebraucht wird, wird über PCIe aus dem System-RAM geladen.

Ist logischerweise langsamer und braucht mehr System RAM, funktioniert aber….so kann ich auch ein je 65 GB großes GPT OSS-120B oder Flux 2 dev in voller FP16 auf meiner 16 GB 5070Ti mit 96 GB DDR4 System-RAM laufen lassen.

Generell ist sowas aber wenig sinnvoll, der SweetSpot für inference sind hybride 4bit Quanten (meiste Layer 4bit, kritische aber auch nie Bedarf 8bit oder 16bit), die ca 1/3 so groß sind wie das ursprüngliche Modell….meist ohne wahrnehmbaren Qualitätsverlust.

Für Blackwell am besten noch native NVFP4 Quanten…die sind dann auch brutal schnell.

 

[Haldi]

Awww müssen die 40W Idle sein?
Das wäre in 3-5 Jahren ein ziemlich cooles system für Home Assistant wenns die dann gebraucht für 500.- gibt.

 

[fab.erg]

Die Ansicht teile ich vollkommen. Das ist der perfekte Einstieg um zu zeigen, dass etwas überhaupt funktioniert.

Mit 128GB RAM passt dann auch einiges ins Contextwindow was für RAG oder viel Code sicherlich nützlich wird

Ja in die Richtung gibt es einige Anwendungsfälle, gerade mit RAGs arbeiten, Daten die sensibel sind und wo man nicht alles im CoPilot Studio schieben will. Auch einfach lokal LLM mit viel Contextinfo sehe ich als praktische Anwendung, wenn auch Nische. Aber da lohnen sich u.U. 3000€ (Netto dann auch "nur noch" ca.2450€) schon mal !

 

[Biedermeyer]

Nachdem der Preis dieser Systeme im freien Handel zuletzt – entgegen dem allgemeinen Markttrend – bereits leicht gefallen ist...

Soll sagen, dass man das Ding unbedingt kaufen soll/muss? - 'neutral' wird das jedenfalls nicht geschrieben.

Oder bedeutet das nicht eher, dass der Ursprungspreis viel zu hoch war, und man jetzt - trotz dem allgemeinen Markttrend - zurueck rudert und den Preis senkt?

...der dann immer noch sehr/viel zu hoch ist...

 

[DerMond]

Hmm. Wir haben einen in der arbeit, aber bislang wusste ich nicht was ich damit anfangen soll

Das weiß die Redaktion mit Sicherheit selber nicht. Neben den Ausgaben für das weltweite Militär dürfte KI die wohl größte Geldverschwendung sein.

 

[CDLABSRadonP...]

@Jan
Gerade nicht alles durchgeschaut, sorry also, falls die Frage schon gestellt wurde:

Genutzt hat ComputerBase den DGX Spark auch zur Bildgenerierung mittels ComfyUI, dessen Installation als Playbook vorliegt. Der Vergleich auf Strix Halo wurde in diesem Fall nicht gezogen, die Installation und Optimierung auf dieser Plattform ist derzeit noch mit viel Aufwand verbunden.

Holt ihr das nun, da der neue Adrenalin ComfyUI optional mitliefert, nach?

 

[Nixdorf]

Ganz schön viel Gedröhne wegen einem Stück Hardware, das schon nächstes, spätestens übernächstes Jahr veraltet sein wird.

Das ist meiner Meinung nach das primäre Argument zugunsten der Strix-Halo-Rechner, Die sind auch abseits von KI als performante Windows-Workstation zu gebrauchen.