Test Nvidia DGX Spark im Test: Ein Blick auf den kleinsten KI-Supercomputer der Welt

[Spawn182]

Ich finde die Diskussion über den Preis bei so einem Gerät nicht ganz passend. 3000 Euro für ein Arbeitsgerät mit guter Entwicklungsplattform sind doch fast geschenkt.

Spannendes Thema und ich bin gespannt, ob da die Leistung bei der nächsten Generation auch weiter nach oben gehen wird oder ob Nvidia eine deutliche Grenze zwischen ihren Datacenter Produkten und solch vor Ort Lab Hardware ziehen möchte.

Der beschränkende Faktor neben der Leistung ist ja eben der Arbeitsspeicher, da ist das schon eine schöne kleine Box.

 

[NameHere]

@Jan ein Vergleich bei der Leistungsaufnahme haben wir nicht direkt. Könntest du bitte die Daten vom Ryzen System dazu packen?

 

[Wurstpeller]

"Supercomputer" Ja, nein. Wenn man nicht mal vernünftig da drauf spielen kann, dann ist die Bezeichnung: "Supercomputer" für Mich persönlich komplett verfehlt. Ich bin entsetzt vom technologischen Stillstand.

 

[Ayo34]

Hmmm eher doch 4500 ohne MwSt

Ich hab mich die Tage etwas umgeschaut gehabt und nichts unter 4400 gefunden + MwSt

Oder kennst Du eine Bezugsquelle für < 3000? das wäre cool.

Im Artikel stand: "... sind DGX-Spark-Partnerdesigns inzwischen ab knapp unter 3.000 Euro zu bekommen."

 

[Uzer1510]

Ahso schade - hätte ja sein können dass Du was kennst.

3000 wäre nämich schon nett keine Frage.

 

[SKu]

Sehr stark in dem Bereich sind auch Apple M3 (Ultra) und M4 - zumiondest bei LLM und nicht grafiklastigen Modellen.

Apple glänzt eher bei der reinen Inference-Leistung dank höherer Bandbreite. Der Spark ist eher für das Füttern von KI-Modellen gedacht. Die FP4/INT4 Performance dürfte beim Spark wesentlich höher liegen. Dazu kommt die breitere Kompatibilität, weil eigentlich jede Bibliothek (PyTorch, TensorFlow, bitsandbytes, AutoGPTQ, etc.) zuerst für CUDA entwickelt werden. Apples MLX Framework ist nicht derart "optimiert" wie TensorRT und cuDNN.

Der M3 Ultra glänzt bei der reinen Inference-Leistung, ist aber keine Konkurernz für das Training oder Fine-Tuning von Modellen.

Das Spark ist allerdings nicht dafür gedacht Modelle lokal für den Produktivzweck laufen zu lassen.

Unterm Strich ist der Spark schon speziell, eben halt primär für KI-Entwickler.

 

[SVΞN]

Wenn man nicht mal vernünftig da drauf spielen kann, dann ist die Bezeichnung: "Supercomputer" für Mich persönlich komplett verfehlt.

Auch wenn der Zwerg hier für mich definitiv auch kein „Supercomputer“ ist, hat diese Bezeichnung ja mal so gar nichts damit zu tun, ob ein System spieletauglich ist.

Auf einem Supercomputer wird selbstredend nicht gespielt. Warum auch? Verstehe deinen Einwand mal so gar nicht.

 

[Ayo34]

Ahso schade - hätte ja sein können dass Du was kennst.

3000 wäre nämich schon nett keine Frage.

Aber unter dem Link sind doch einige Preise zwischen 3000 und 3500€ incl. Mehrwertsteuer? Wie kommst du auf 4500€ ohne Mehrwertsteuer?

 

[Ceberus]

Bin gespannt wann die AI blase platzt, angeblich hat Bill Gates das groß ihrer Microsoft Aktien und Warren Bufet sein Groß an Apple Aktien abgestoßen.
Hab da auch ein interessantes Video gesehen das Microsoft NV Open Ai und die ganzen AI Firmen sich gegenseitig das Kapital zuschieben und es im ende auf ein Potemkinsches Dorf hinausläuft.

 

[Ayo34]

@Ceberus Wenn ein Rentner Microsoft Aktien (kein KI Unternehmen) und Apple (verweigert sich ja KI) abstößt, ist das ein Signal, dass eine mögliche KI-Blase bald platzt? Das sind doch zwei der Unternehmen, die sehr hohe Gewinne einfahren?

 

[Chismon]

Der Blick auf den kompakten Asus Ascent GX10 zum Preis ab 2.958 Euro ....

Für den Preis ist das ASUS Ascent GX10 für das im Artikel geteste Gaming einfach nur eines ... ungenügend, vor allen Dingen im Vergleich mit einem weit überlegenen, deutlich günstigeren RTX 4070/5070 Gaming-Notebook (dafür braucht es auch kein Razer Blade/Enthusiastenmarken-Aufpreis Notebook).

So einfach ist das, aber ja, nVidia ist wohl kurz davor die Preise für Grafikkarten (per Bausätzen/BOM-Kits an Boardpartner) um 30% zu erhöhen, wenn man MLID/Tom glauben darf/will (auch wenn ich dessen oft großkotziger Art zugegeben eher wenig abgewinnen kann), zumal nVidia/Huang sich in letzter Zeit (nicht nur von MLID sondern auch von Hardware Unboxed kritisiert) unglaubwürdiger als vorher darstellt (bspw. was den Grafikkartennachschub angeht):

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Wieso sollte man dann diese vollkommen überteuerte nVidia Hardware kaufen wollen bzw. wieso wird diese hier auf CB beworben (weil man so dick mit ASUS ist)?

 

[Yosup]

Die mit Abstand preiswerteste Möglichkeit, 128GB unified RAM mit einer NVidia GPU und CUDA in die eigenen Griffel zu bekommen. Wem das nichts sagt oder wer da keine Verwendung für hat, für den ist die Kiste maximal uninteressant. Für alle anderen ein Schnäppchen.

 

[TriceO]

Unified RAM ist ja VRAM von der Schnittstelle her nur "etwas" langsamer.

Stimmt, kann auch sein, dass das Problem einzig die im Verhältnis lahme Bandbreite war. Es passen zwar große Modelle rein, aber wegen der 273GB/s dauert es ewig.

 

[HAse_ONE]

Für den Preis ist das ASUS Ascernt GX10 für das im Artikel getweste Gaming einfach nur eines ... ungenügend, vor allen Dingen im Vergleich mit einem weit überlegenen, deutlich günstigeren RTX 4070/5070 Gaming-Notebook.

Leute... ich bin wahrlich kein Freund von Nvidia und auch nicht von KI gedöns, aber wer sich das Teil nur zum zocken kauft, ist halt einfach komplett banane.

Was soll denn dieses "zum Zocken kacke, also ist es sinnlos"? Ich schreib doch bei einem Test vom neuen Porsche auch nicht rein "also für den Familientrip mit viel Gepäck ist das aber nichts, also ist das scheiße." Schreibt ihr einfach nur sobald ihr Nvidia lest, irgendwas rein, nur um zu stänkern?

 

[Krümel-Hamster]

Wenn ein Rentner Microsoft Aktien (kein KI Unternehmen)

MS hält 27% der Anteile von OpenAI und stellt Cloud-Rechenleistung (Azure) iin hohem Umfang für OpenAI zur Verfügung.
Wenn die hops gehen kann MS einiges abschreiben...

 

[BAR86]

Hmm. Wir haben einen in der arbeit, aber bislang wusste ich nicht was ich damit anfangen soll

 

[Ceberus]

@Ayo34 Normal schon aber Warren Buffet hat schon über 50% seiner Aktien in Apple und der hat sicher Insider Wissen. Nicht umsonst ist er einer der größten in Sachen Finanzen auf er Welt.

 

[trouble]

Super interessanter Artikel. Vielen Dank!

@Jan Typo im Fazit "Grundgedankte"

 

[Ayo34]

MS hält 27% der Anteile von OpenAI und stellt Cloud-Rechenleistung (Azure) iin hohem Umfang für OpenAI zur Verfügung.
Wenn die hops gehen kann MS einiges abschreiben...

Natürlich, aber wenn ich darauf wette, dass die KI-Blase bald platzt, dann würde ich doch gegen die richtigen KI-Firmen wetten, die Milliarden Verluste einfahren und bei einem Platzen quasi weg wären? Microsoft wird es auch weiterhin geben. Und wenn OpenAI nicht mehr Rechenleistung bei Micrsoft kauft, dann wird Microsoft eben eigene/andere Modelle anbieten.

Es gibt ja kein Szenario wo wir alle wieder ohne LLMs auskommen werden.

@Ayo34 Normal schon aber Warren Buffet hat schon über 50% seiner Aktien in Apple und der hat sicher Insider Wissen. Nicht umsonst ist er einer der größten in Sachen Finanzen auf er Welt.

Verkauft er Apple, weil Apple zu wenig auf KI setzt?

 

[Spawn182]

Ahso schade - hätte ja sein können dass Du was kennst.

3000 wäre nämich schon nett keine Frage.

Wie @Ayo34 schreibt, ist doch im Artikel ein Preisvergleich-Link, in dem mehrere Geräte zu dieser 3000 Euro Marke lieferbar aufgelistet sind.

Also nichts schade.

Bei den anderen Geräten zahlt man dann für eine 4TB NVMe 2500 Euro Aufpreis oder wie muss ich das verstehen?