Notiz Nvidia DGX Spark Software Update: Mehr Leistung und viele Verbesserungen für Peripherie

[Jan]

Nvidia hat ein Software Update für den „Mini-KI-Supercomputer“ DGX Spark mit GB10-SoC veröffentlicht, das auch auf den Partner-Designs wie Asus Ascent GX10, Lenovo ThinkStation PGX, HP ZGX Nano AI Station und Co installiert werden kann. Nvidia verspricht mehr Leistung und viele Verbesserungen im Umgang mit Peripherie.

Zur Notiz: Nvidia DGX Spark Software Update: Mehr Leistung und viele Verbesserungen für Peripherie

 

[fab.erg]

Würde mal gerne Hände an so ein System legen, leider zu teuer, um uns mal auszuprobieren, auch wenn Preisleistung gut ist

 

[Yogi666]

Ich hab drei davon für die Arbeit benutzt (ältere nvidia embedded teile). Schrecklich damit zu arbeiten. Mit den ganzen nvidia Binärblobs im System ist das ganze sehr fragil. Geht laufend kaputt und muss dann neu aufgesetzt werden von image oder snapshot.

 

[interesTED]

@Yogi666
Kannst du das erläutern? Mich würde schon interessieren, ob das ein guter Einstieg zum lokalen Testen in der Firma ist.

 

[Yogi666]

@interesTED
Paketverwaltung war relativ wackelig. Es gab alle möglichen vorinstallierten cuda pakete. Wenn man jetzt sowas einfaches wie updates macht zerbröckelt alles weil nvidia driver und cuda sdk nicht mehr exakt zusammenpassen. Das braucht also admin seitig einiges an Mehraufwand weil das Nvidia Linux Zeug einfach super schlecht ist. Die Jetson sachen konnte man aber auch nicht aus einer Paketquelle bekommen teilweise. Da musste man dann auf uralt stand zurück mit image.

Wir haben damit vor allem ein paar unified memory experimente gemacht für cpu gpu coprocessing. Funktioniert auch eher schlecht als recht. So einfach dass man cuda managed mem allocated und auf cpu und gpu arbeitne kann ist dann doch nicht gewesen. Wir haben da einige work arounds gemacht mit pinned memory etc. Der Treiber im Hintergrund zerbricht dann gerne mal und wirft random nicht deterministische segfaults hier und da.

Damit zu arbeiten war mies. Die Performance war mies. Der Preis ist absurd hoch für die gebotene hardware.
Hab verschiedene devkits von günstig bis sehr teuer gehabt. Damit ich den Unfug nochmal anfasse müsste mir mein Arbeitgeber doch recht viel Schmerzensgeld bezahlen^^.

Wenn du es ausprobieren willst kauf dir einfach das billig dev kit und fertig.

 

[interesTED]

Und das ist so auch direkt auf die Spark übertragbar? Ich hab in den wenigen Tests die ich kenne dazu noch keine Beschwerden gehört. Hat hier jemand konkrete Erfahrung damit?

 

[Chaosbreed]

Mal gucken was das Teil in 2 Jahren noch gebraucht kostet.... Vielleicht kann man es sich dann zum rumspielen kaufen

 

[Yogi666]

Keine Ahnung ob sich das signifikant mit Spark gebessert hat. Erwarten würde ich es nicht. Das baut ja auf deren embedded platform auf was hardware und software angeht. Aber hey versuch macht klug oda so ^^

 

[oicfar]

Das hier

sind noch alte Werte. Bin gespannt, was jetzt kommt. Der Preis ist hoch und die Performance bei einem 70b Modell mau.

 

[strex]

Keine Ahnung ob sich das signifikant mit Spark gebessert hat. Erwarten würde ich es nicht. Das baut ja auf deren embedded platform auf was hardware und software angeht. Aber hey versuch macht klug oda so ^^

DGX hat mit Jetson so viel zu tun wie Luft und Liebe. Zeugt schon mal von Kompetenz.

Damit zu arbeiten war mies. Die Performance war mies. Der Preis ist absurd hoch für die gebotene hardware.
Hab verschiedene devkits von günstig bis sehr teuer gehabt. Damit ich den Unfug nochmal anfasse müsste mir mein Arbeitgeber doch recht viel Schmerzensgeld bezahlen^^.

Ich glaube das sollte man weniger der HW/SW zuschieben, als die Leute welches es genutzt haben. Hatten mit der Thematik wohl nix am Hut und kein Schimmer..

 

[konkretor]

Ich habe gerade so ein Teil in den Fingern. Naja geht so.

 

[interesTED]

Was die Tokens pro Sekunde angeht, oder inwiefern? :-)