Test Nvidia DGX Spark im Test: Ein Blick auf den kleinsten KI-Supercomputer der Welt

[blubberbirne]

Einfache Bilder mit ComfyUI generieren kann jeder. Ich wäre für einen ComfyUI WAN2.1 Infinite Talk Test mit einen Videoauflösung von 1280x720p bei 25 Bilder und einer Länge von mind. 1min SeedVR mit Videoupscaler wäre auch eine Option.

 

[Bright0001]

GB10 Superchip vs. RTX 5070

Nicht, dass ich den Gamingtest nicht wertschätze: Aber an die Stelle hätte eigentlich auch der Inferenz-Vergleich hingehört!

Da hat einer im Marketing schlecht aufgepasst; Die Tabelle müsste mindestens umgekehrt sortiert sein, oder besser noch Leistung pro $ angeben - so siehts ja so aus, als ob die eigenen Produkte massiv hinterherhinken.

Ich finde die Diskussion über den Preis bei so einem Gerät nicht ganz passend. 3000 Euro für ein Arbeitsgerät mit guter Entwicklungsplattform sind doch fast geschenkt.

Geschenkt vielleicht nicht, aber wenn man den Usecase hat, auf jeden Fall die erwähnten "Preisbrecher" - gibt ja genug Bastler auf Reddit und Co, die sich da reihenweise 3090/4090/5090er für ein Heidengeld gekauft haben, obwohl der Einsatzzweck vielleicht schon mit so einer kleinen Kiste abgedeckt wäre.

so einen überteuerten Mist für die Cloud-App/Gaming Zukunft, die die große Mehrheit nicht will?

Äh, wie? Hältst du das Teil für eine Streaming-Box?

Ich werd nicht schlau daraus, wo du die Verbindung siehst, denn wenn ich Cloud-Gaming verkaufen will, dann tue ich das nicht über den Vertrieb von teurer Hardware für zuhause.

auch wenn Deine mangelnde Diskussionskultur vielleicht nicht mehr hergibt, was tief blicken lässt .

Dein Ernst?

Getan und darin wird die Gaming-Leistung getestet (überlesen, much?), hm ... wieso wohl (?)

Nur weil Du in Deinem Elfenbeinturm/Deiner Ignoranz davon

Du musst nicht von Dir auf alle andere schließen und vielleicht hast Du auch einfach zu viele Züge aus der Trump/Huang "Goldenes Zeitalter (für Tech Oligarchen)" Pfeife gezogen, dass es Dir schon zu Kopf gestiegen ist.

Für so einen patzigen Ton hast du in meinen Augen ne Verwarnung verdient - bei anderen auch noch die Diskussionskultur anzukreiden ist da die Kirsche aufm Eis.

 

[Gohst]

Lol. "Superchip".

Ich dachte auch erst das sei interessant bis ich gemerkt hab, dass das eine reine Dev-Büchse ist zum Pre-Testing obs auch aufm Cluster läuft was auch immer man deployen möchte. Die eigentliche Leistung ist kompletter Abfall und unbrauchbar ggü. selbst regulären Consumer GPUs solange der eigene Zweck ins VRAM passt.

Das ist wirklich auch der EINZIGE Case der für das Ding spricht und selbst da bin ich nicht sicher ob ich nicht lieber das Geld in die Hand nehmen würde um eine RTX6000 Blackwell zu holen wenns wirklich Not tut und nicht nur Spielzeug ist.

Naja, immerhin hat dieses Teil auch die Möglichkeit durch die vorhandenen "connect-x7" mit 200GBe Ethernet Bandbreite in ein Cluster verbunden zu werden.

Somit könnte man eine hochverfügbare oder eben ge-clusterte Umgebung nachbauen.
Das sind die feinen Spezialitäten die in die "hat sich gelohnt" Kasse einzahlen.

Das nächste besondere Merkmal sind die 128GB schneller Speicher - das ist in bestimmten Fällen (grosse Sprachmodelle) ein deutlicher Vorteil wie schon beim Ryzen AI Max+ 395 eben auch.

 

[Chismon]

Es ist ein Dev Kit. Und für 3K ist es da gar nicht mal schlecht. Du musst wissen was du damit machts
Ist bei der Strix-Halo-Box genauso.

Genauso ein Reinfall für Konsumenten, an die sich das hier ja, sorry - wie zuvor im Artikel zitiert - richten soll (wozu auch sonst die Gaming-Tests) und ja, ein 3000 Euro ARM-Mini-PCs für den zukünftigen Durchschnittskonsumenten ist für mich und andere, die so nicht an den aktuell geschürten KI Hype glauben, ein "für dumm verkaufen" mangels bisher sinnvoller KI Anwendungen für eben diese Verbraucher.

nVidia ist als größter KI-Hardware-Produzent für aus dem Boden spriessende, stromfressende Rechenzentren auch in großem Maße mitverantwortlich für diese ganze RAM-Verknappung (nicht nur OpenAI, diverse Speicherhersteller, usw.) und als daraus resultierende Konsequenz soll man jetzt diese überteuerten Geräte noch feiern und dafür werben oder besser noch kaufen?

Ja, das finde ich schon ziemlich verkehrte Welt aus Verbrauchersicht und wenn sich das an professionelle Nutzer richtet (im KI-, Cloud-, was auch immer Bereich), fein, aber ein zukünftiges "Consumer Produkt" ist es (für viele die Zweifel haben an dem was diese KI involvierten US Unternehmen aktuell treiben) mit Sicherheit nicht, genauso wie die CES dieses Jahr von vielen, allen voran Gamers Nexus, als "Nicht-Consumer" orientierte Show entlarvt wurde, sondern eher als KI-Marketing-BS Show von nVidia, AMD und Intel vordergründig.

In welcher abgehobenen Welt ist denn Strix Halo ein gängiges Verbraucher/Consumer (und kein Workstation-)Produkt bei den veranschlagten Preisen und Absatzzahlen?

Ja, ich würde mir wünschen, dass Ihr von dem gelegentlichen Elfenbeinturm-Trip einmal wieder herunter kommt und eben normale Verbraucher als Eure Zielgruppe (wieder) entdeckt/anerkennt, dann hätte ich auch keinen Grund für meine Kritik an dem knapp 3000 Euro teuren ASUS Mini-PC-Gerät bzw. der Werbung dafür oder es dann entsprechend einzugrenzen für eine Zielgruppe oder von mir aus auch im Bereich Machbarkeitsstudie/Vorreitertechnik.
Das war hier m.E. nicht der Fall, da es angeblicher Vorbote für Verbraucher sein soll (fragt sich, was das für Verbraucher/Consumer sein sollen?), daher auch mein angeblicher "BS"-Kategorie Kommentar.

Ein MLID Sympathisant (der auch viel Müll von sich gibt, gelegentlich aber auch richtig liegt) bin ich auch nicht (das dürfte eigentlich klar gewesen sein in meinem Kommentar), aber einer von Hardware Unboxed schon eher, die ich für deutlich glaubwürdiger und authentischer halte als die nachgenannten Konzerne.

Dass nVidia, ASUS, AMD, usw. alle nur Wohltäter für die PC Welt oder gar Menschheit sein sollen und nicht oft genug Kritik für deren z.T. dubiose Kundenpolitik verdienen, sehe ich eben auch anders (vielleicht auch, weil ich kein Geld mit Berichterstattung über diese Tech Konzerne und deren fragwürdiges Führungspersonal, als Influencer, Händler, Scalper, Investor, o.a. mit diesen Konzernen verdiene).

 

[Flutefox]

Bisher verstehe ich aber nicht, wieso es neben der DGX Spark aktuell von jedem großen Hersteller ein eigenes Derivat mit Branding gibt? Nirgends steckt was anderes drunter.

By the way, DGX OS ist auch nur ein vorkonfiguriertes Ubuntu.

 

[fab.erg]

Mal ganz abgesehen von der Entwickler Perspektive sehe ich in so einem kleinen Gerät durchaus auch Chancen für reine Business Anwendung in kleinen Firmen. Ich könnte für den ein oder anderen Workflow schon mal mehr VRAM als meine 16GB gebrauchen, sensible Dinge lokal verarbeiten, dafür ein anständiges System haben. Vielleicht werden sie ja nach der RAM Krise etwas günstiger.

 

[Yosup]

Genauso ein Reinfall für Konsumenten, an die sich das hier ja, sorry - wie zuvor im Artikel zitiert - richten soll (wozu auch sonst die Gaming-Tests)

So als freundschaftlicher Tipp, schalt mal einen Gang zurück. Beim Lesen Deiner Postings sieht man vor dem geistigen Auge, wie Dir förmlich schon der Geifer trieft. Das führt dann oft zu dem, zu dem es hier auch geführt hat: Besprochenes Produkt und Anwendungsfall nicht verstanden, aber jede Menge "Urteil".

Normalerweise würde ich sowas als Trollerei abtun, da Du aber hier seit 10+ Jahren dabei bist und mit 10.000+ Postings hast vermute ich einfach nur, dass Du Dich lediglich gehörig verrannt hast. Denn das, was Du schreibst, ist einfach nur hanebüchen und erzeugt den Eindruck von mangelndem Sachverstand. Nicht schlimm, passiert jedem Mal, aber besser - siehe oben - Gang zurückschalten und sich nicht weiter selbst demontieren...

 

[Chismon]

Besprochenes Produkt und Anwendungsfall nicht verstanden, aber jede Menge "Urteil".

Nicht verstanden, ich oder die Autoren des Artikels (mit Ihrem Ausblick oder vielleicht Wunschtraum von nVidia und deren Partnern) nicht?

Ein Blick auf GB10 ist damit auch weiterhin ein Blick in die Consumer-Zukunft.

Ich habe selten so eine groben Unsinn auf CB wie diesen obigen gelesen, auch angesichts dessen, was dieses Gerät (alles) nicht kann für den abgerufenen Preis. An den gemeinen Consumer/Verbraucher richtet sich dieses Gerät mit Sicherheit (auch in Zukunft) nicht (insbesondere, wenn die KI Blase doch platzen sollte).

Und ja, ich bin da wohl mit meiner Ansicht/Meinung und Verbrauchersicht eher bei den Ahnungslosen wie Stephen (Gamers Nexus) und Tim (Hardware Unboxed) unterwegs als wie hier bei CB (nVidia, ASUS, etc.).

 

[GroundZeroX]

Ich habe selbst das Dell Gerät hier auf dem Tisch stehen. Es ist erschreckend wieviel Speicher es benötigt für simple Anfragen zu generieren. Kein Wunder das die KI Rechnenzentren alles leer kaufen an RAM...

 

[sikarr]

Ist ja alles gut und schön aber die wichtigste Frage wurde noch gar nicht gestellt:

"But can it run Crysis?"​

 

[Yosup]

Nicht verstanden, ich oder die Autoren des Artikels nicht?

Du scheinst das Produkt und dessen Anwendungsfälle nicht verstanden zu haben. Es ist kein General-Purpose-Gerät, sondern ein Spezialist für eine spezifische Anwendung.

 

[Chismon]

Es ist kein General-Purpose-Gerät, sondern ein Spezialist für eine spezifische Anwendung.

Deswegen wurde es als "General Purpose" Gerät von CB getestet und als (Ausblick auf) die Zukunft der Verbrauchergeräte angesehen?

Wenn man in die suggerierte KI Zukunft von Jen-Hsun Huang/nVidia und Co. einkauft (Abschaffung von Consumer-Grafikkarten, Abo-Computer, usw.) vielleicht, nur wer möchte das schon, ich (und viele andere) jedenfalls nicht und daher werde ich so ein Narrativ auch nicht kritiklos durchgehen lassen, da ich nicht von nVidia, ASUS, oder wem auch immer einnahmentechnisch abhängig bin.

 

[Yosup]

Deswegen wurde es als "General Purpose" Gerät von CB getestet und als (Ausblick auf) die Zukunft der Verbrauchergeräte angesehen?

Und selbst wenn CB da jetzt einen Nagel mit in die Wand gekloppt hätte wäre es immernoch von NVidia nicht als Schlagwerkzeug konzipiert worden.

CB hat - vermutlich aus Gründen der Schaffung eines Alleinstellungsmerkmals (die AI-Tests der verschiedenen Redaktionen ähneln sich naturgemäss sehr stark) und weil sie als Spiele-orientierte Plattform da auch einen thematischen Impakt zu haben - zusätzlich Spieletests aufgenommen, ja. Ich habe das als ein "Just for the LOL"-Experiment wahrgenommen. Mehr nicht.

Ein Toaster, auf dem Doom läuft, ist immer noch ein Toaster.

Dieses Gerät stellt die mit Abstand preiswerteste Möglichkeit dar, Modelle mit 200B Parametern auf einer CUDA-Platform auszuführen. Wer das nicht möchte, weil er a) gar kein AI verwendet, b) kein CUDA benötigt oder c) mit deutlich weniger RAM zufrieden ist der ist mit dieser Platform P/L-technisch sehr schlecht bedient.

Wenn Dein Modell bspw mit nur 32 GB RAM auskommt, dann bist Du mit einer ähnlich teuren 5090er besser bedient, denn diese zieht Kreise um den Spark. Aber wehe Dein Modell braucht 33 GB... oder eben 100 GB. Da guckt man mit einer 5090 blöd aus der Wäsche. Für GENAU DIESEN Fall ist der Spark gedacht.

Schnelle GPU, wenig RAM: RTX 5090 für 3000€
Lahme GPU, viel RAM: DGX Spark für 3000€
Schnelle GPU, viel RAM: Profilösungen für >8000 €

Anzunehmen, dass ein System mit 200 GBit Ethernet irgendwie für Consumer gedacht sein könnte ist doch wirklich albern.

 

[pmkrefeld]

Ehrliche Frage: was nutzt mir der RAM, wenn die Inferenz so langsam ist? Hatte mir damals Benchmarks zum 395er MAX angesehen, und die großen LLMs lahmten mit so ~3tokens/s, ähnlich übrigens die MACs. Bin zwar euf meiner 5090 mobile vom VRAM her recht eingeschränkt, aber Devstral2-small rennt mit 80-90tokens/s....

 

[TriceO]

Halt primär nur ein Entwicklungs-Kit, damit die Entwickler vortesten können, was dann letztlich auf nem großen DGX GB200/GB300 laufen soll, wo die Geschwindigkeit dann kein Problem mehr ist.

 

[TheInvisible]

Anzunehmen, dass ein System mit 200 GBit Ethernet irgendwie für Consumer gedacht sein könnte ist doch wirklich albern.

CB schreibt ja sogar im Text das die Consumer-Variante erst kommt aber ja ich weiß lesen...

 

[Chismon]

... wäre es immernoch von NVidia nicht als Schlagwerkzeug konzipiert worden.

Ob die Testinhalte für den Artikel von nVidia teilweise vorgegeben/gewünscht wurden und der Ausblick, dass es ein Vorbote des "General Purpose" Gerät der Zukunft sei, oder eben von CB so angedacht war, kann ich nicht beurteilen.

Es gibt nur diese beiden Testfelder (KI- und Spieleleistung) für Anwendungen im Artikel, sonst nichts weiter und im Gegensatz zu anderen Testseiten (wie bspw. Igor's Lab rühmlicher Weise bei Grafikkarten) ist es auf CB i.d.R. auch nicht üblich professionelle Hardware (auf Spieleleistung hin) zu testen.

Nicht ohne Grund hatte ich das Video von Gamers Nexus zur fragwürdigen KI-Ausrichtung bei nVidia vorher verlinkt und mit der zwar offiziell bestrittenen aber einleuchtenden Verknappung von Grafikkarten seitens nVidia (und ggf. auch nachziehend von AMD), ist das nur ein weiteres Indiz für einen möglichen Umbau des Geschäftsfelds, zumal aktuell alles fast schon sektenhaft dem profitableren KI Ausbau untergeordnet wird.

vermutlich aus Gründen der Schaffung eines Alleinstellungsmerkmals (die AI-Tests der verschiedenen Redaktionen ähneln sich naturgemäss sehr stark) und weil sie als Spiele-orientierte Plattform da auch einen thematischen Impakt zu haben - zusätzlich Spieletests aufgenommen

Das kann ich nicht beurteilen, aber ich finde es dennoch falsch das als Vorbote für die Zukunft von Verbraucherprodukten anzuführen bzw. dafür als solches zu werben, denn welchen Mehrwert (abseits von LLMs und ähnlichem wegen den verbauten 128GB RAM) bietet das teure Gerät schon (auch wenn das aufgrund massiv gestiegener Speicherpreise aktuell nicht mehr so erscheint) und natürlich wird es mit der vorhandenen Leistung aktuell keine Gamer wirklich ansprechen (da es dafür überlegene Alternativen, wie eben Gaming-Laptops, gibt).

Der (speicher-lastige) Ansatz erinnert mich an Koduris Zeiten bei AMD, SSDs oder ähnliches direkt auf Grafikkarten zu packen bzw. anzubinden, um massiv Speichervolumen für spezifische Anwendungen (etwa in der Filmbranche) bereit zu stellen. Ob das AMD großartig weiter entwickelt und damit irgendwie Fuß gefasst hat, ist mir nicht bekannt.

 

[SKu]

@Jan : Sind die Power Settings unter dem Custom-Ubuntu Build beim Spark genauso stark beschnitten wie bei anderen Linux Distris? Für eine normale GeForce gibt es nicht einmal die Möglichkeit die Spannungskurve anzupassen, weil die Nvidia-Treiber für Linux wesentlich restriktiver sind als unter Windows.

 

[Nixdorf]

der im Test verglichene Beelink oder der im Link verglichene Framework Desktop?

So riesig sind die Unterschiede beim Framework Desktop nicht, der mit 128GB/1TB kostet 2919€. Der GX10 liegt bei 2969€. Lediglich der Beelink GTR9 Pro mit 128GB/2TB ist spürbar günstiger.

 

[interesTED]

Mal ganz abgesehen von der Entwickler Perspektive sehe ich in so einem kleinen Gerät durchaus auch Chancen für reine Business Anwendung in kleinen Firmen. Ich könnte für den ein oder anderen Workflow schon mal mehr VRAM als meine 16GB gebrauchen, sensible Dinge lokal verarbeiten, dafür ein anständiges System haben. Vielleicht werden sie ja nach der RAM Krise etwas günstiger.

Die Ansicht teile ich vollkommen. Das ist der perfekte Einstieg um zu zeigen, dass etwas überhaupt funktioniert.