Test Nvidia DGX Spark im Test: Ein Blick auf den kleinsten KI-Supercomputer der Welt

[TheInvisible]

Im Idle-Verbrauch ist Nvidia hier klar hinterher (laut Benchmark sogar bei den LLM Tokens/Sekunde leicht hinterher).

Idle Verbrauch interessiert hier keinen. Im real usecase außerhalb benchmarks zieht die nv kiste davon. und der noch größere vorteil ist das ökosystem, wenn nötig schiebt man die workloads einfach 1:1 auf einen größeren NV Cluster.

Ergänzung (Heute um 10:17)

Ja, man kann AMD problemlos für LLMs oder die Comfy-Bildgeneration o.ä. nutzen.
Da ich derzeit auch mit Nvidia experimentiere, muss ich sagen, da ist das auch nicht wirklich einfacher, da man genau die passende CUDA-Version und torch-Version und Python-Version haben muss, damit die Zeug wie flash-attn läuft, oft nicht im wheel vorhanden, etc. Vom Stress das Zeug lauffähig zu bekommen und zu halten geben sich da beide nichts.

Ka was du machst aber hab noch nie was manuell konfigurieren oder installieren müssen bei nv, alles ootb. auch bei pinokio installieren und läuft. Da ist auch der Vorteil das es die meisten Sachen nur für NV gibt bzw unzählige "NVIDIA Only" Tags...

Ergänzung (Heute um 10:22)

Ohne jetzt die Problem und den Abstand klein zu reden, aber soll auch Progression geben. Also nur der Vollständikeits halber mal erwähnt.

Wäre ja auch schlimm wenn nicht, wer am wenigsten Probleme und das beste Ökosystem haben möchte kauft aber einfach NV wie auch 90% am Markt

 

[Syranite]

Kanste alles vergessen. Die wirklich guten Modelle brauchen schon 1TB Ram. Supercomputer

 

[SirKhan]

Kanste alles vergessen.

Ja. Nein. Vielleicht.
Wenn man ein Modell haben will, was alles kann, ja.
Aber zum Beispiel muss eine Code-Assistant-KI nicht alle vergangenen Bürgermeister von Paris kennen. Für spezialisiertere KIs taugen auch LLMs mit weniger Parametern.

 

[hippiemanuide]

Kanste alles vergessen. Die wirklich guten Modelle brauchen schon 1TB Ram. Supercomputer

Dann brauchst du eben min 9 Sparks oder 2x M3 Ultra mit 512 bzw nun halt 4x M3 Ultra, weil es die 512er Konfig nicht mehr gibt.

Ne aber mal im Ernst.
Dafür ist der DGX Spark ja auch nicht gedacht/gemacht. Der Sinn vom Spark ist es das man das Entwickeln finanziell erschwinglich macht wo man ggf. nicht gleich 100K+ riskiert oder im schlimmsten Fall in so in die Knie zwingt, dass solche cluster offline geht, wegen eines kleinen Fehlers. Ich finde man kann mit 128 GB unified schon eine Menge anstellen und auch wenn es nicht die Leistung einer 5090/Pro 6000 in t/s hat, hat es in meinem Fall gezeigt, dass es der Spark zwar nur 1/4 der Geschwindigkeit eines Cloud-Modells was ich zum Vergleich für Tests verwendet hatte (~4h Cloud zu 16h lokal bei ~40-50W), wird es sich dennoch, je nach meinem Anwendungszweck und Aufgabe, relativ schnell amortisieren, wenn ich die API Kosten für manche Zwecke gegenüberstelle (z.B. Media Content).

Der wichtigste Punkt für mich war und ist aber, ich habe und besitze all die Daten und habe diese bei mir lokal, nix geht an die big Tech Corps, wenn ich es nicht brauche/entscheide. Und mMn sind die 100+b Modelle lokal ziemlich gut geworden zumindest erfüllen sie meine Anforderungen soweit.
Würde ich einen 2. 3. oder 4 Spark zusagen (je nach Zweck klustern)? Ja definitiv. Je nachdem wenn ich diese dann benötige (benötigen würde).
Ich hoffe, das "Vera Rubin" ebenfalls in diesem Formfaktor kommt, wenn die "neue" Architektur wirklich das hält was sie verspricht, könnte es wirklich mal in die Richtung Pocket Super Computing Home A.I. gehen.
Bisher scheint Nvidia (wie bereits beim Jetson Orin (nano, nano super) immer wieder und weiter nachzubessern mit Firmware und Treibern, wird man jemals diese "240 Watt" Leistung erhalten? Vielleicht, vielleicht auch nicht, da werde ich mich einfach mal überraschen lassen.

 

[ghecko]

War so klar:
Das böse Wort mit W darf im Hause Nvidia nicht ausgesprochen werden.