Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
TestNvidia DGX Spark im Test: Ein Blick auf den kleinsten KI-Supercomputer der Welt
Naja, immerhin hat dieses Teil auch die Möglichkeit durch die vorhandenen "connect-x7" mit 200GBe Ethernet Bandbreite in ein Cluster verbunden zu werden.
Somit könnte man eine hochverfügbare oder eben ge-clusterte Umgebung nachbauen.
Das sind die feinen Spezialitäten die in die "hat sich gelohnt" Kasse einzahlen.
Das nächste besondere Merkmal sind die 128GB schneller Speicher - das ist in bestimmten Fällen (grosse Sprachmodelle) ein deutlicher Vorteil wie schon beim Ryzen AI Max+ 395 eben auch.
Ist sicher ein Punkt, aber was fürn schneller Speicher ???:
Hätten se NVLink auf der RTX 6000 gebracht wie sichs gehört für ein 8k€+ Produkt, dann würde jeder eher dazu greifen. 192 GB Memory Pool wo 96GB individuell locker jenseits der 2TB/s drücken + 900GBs via NVLink.
Dann braucht auch keiner die Shitbox hier. Hausgemachte Gierprobleme.
Hm, ich sehe das Produkt interessiert, aber zwiespältig. Die schlechte Performance bei der Inference (verglichen mit der 6000 Pro oder auch einer 5090 bei kleinen Modellen) ist sicherlich ein Punkt (der auch den Preis erklärt) - man muss das aber auch in Relation zu den Alternativen sehen.
Eine 5090 mit passendem PC dazu. Bis 32GB sehr schnell, darüber wird es sehr langsam oder läuft garnicht. Vernünftig ausgestattet reden wir vermutlich von rund 6k Wert.
z.B. ein M4 Max mit 128GB unified RAM. Damit kann man LLMs samt Kontext in maximal rund 112GB quetschen, ohne das die Systemstabilität leidet. Das ist bei MOE Modellen auch recht OK in der Performance. Bild/Videogenerierung ist auf dem Mac unfassbar langsam. Manches dauert 2, 3, 4 oder 10 Mal so lange oder noch mehr. Manches läuft auch garnicht. Der RAM hilft hier null und ist auch nicht der limitierende Performance-Faktor (also die Bandbreite ist nicht das primäre Problem) - es fehlt einfach an Compute. Und eben dem NVIDIA Stack. So ein Gerät kostet so grob ab 6k als Notebook.
Eben die DGX Spark. Bei größeren LLMs vermutlich ähnlich schnell wie der Mac. Bei Bild-/Videogegenerierung zwar deutlich langsamer als die 5090 (so alles in den VRAM passt) aber DRAMATISCH schneller als ein Mac. Und es läuft vor allem alles. Und kostet ab 3k
PC mit 6000 Pro. Schnell, großer VRAM, alles bis 96GB wird sehr schnell laufen. Karte kostet aber auch 8k. Plus die Workstation drum herum. Sind wir schnell bei 12k in etwa.
AMD AI - Performance irgendwo in der Größenordnung des Mac vermutlich. Relativ günstig - um die 2k vermutlich? Läuft aber auch nicht alles.
Im Gesamtkontext (und wenn man den NVIDIA-Stack mit einpreist) ist die DGX Spark eigentlich garnicht so teuer. Neben(!) der Funktion als Dev-Box für das NVIDIA-Enterprise-Ökosystem - was alleine den Preis rechtfertig - ist sie auch(!) für alle AI-Anwendungen interessant, wo ich mehr als 32GB VRAM und weniger als ~110GB VRAM benötige (der Unified Ram wird ja nicht komplett als VRAM verfügbar sein können - ähnlich wie beim Mac) benötigt werden und reine Performance nicht kriegsentscheidend ist. Wobei die Spark ja noch nichtmal die langsamste Lösung ist. In vielen Usecases (Bild/Video) wird sie z.B. massiv schneller als mein doppelt so teurer Mac sein. Und für mittlere Teams, die eine datenschutzkonforme LLM-Lösung suchen, ist sie auch interessant, da die Spark ja anscheinend vor allem im Multiuser-Betrieb Stärken zu haben scheint.
Bei mehr Speicherbandbreite und vielleicht auch etwas mehr Rechenleistung wäre das ein totaler No-Brainer - so halt nicht. Zeit ist eben auch Geld und da sind wir wieder bei der höheren Performance einer 6000 Pro im Anwendungsfenster von 32-96GB VRAM. Darüber wird dann aber auch erstmal wieder die Spark interessanter. Ein Paar von denen ist immer noch billiger und man hätte nochmal mehr Speicher zur Verfügung.
Und für mittlere Teams, die eine datenschutzkonforme LLM-Lösung suchen, ist sie auch interessant, da die Spark ja anscheinend vor allem im Multiuser-Betrieb Stärken zu haben scheint.
Ich denke gerade der Punkt des Datenschutzes ist nicht zu unterschätzen:
Wenn es um sensible Kundendaten oder kritische Geschäftsgeheimnisse geht, will man sich eventuell nicht unbedingt auf die Datenschutzversprechen einer Branche verlassen die aktuell auf finanziell fragwürdigen, ggf. bald wackeligen Beinen steht. Inbesondere nicht wenn diese Firmen fast alle aus einem Land kommen, deren Staatsoberhaupt auch nicht unbedingt für Verlässlichkeit gegenüber Partnern steht...
So ein Teil wie dieses hier (was man in einer abgeschotteten Umgebung einrichtet) erscheint mir dahingehend deutlich weniger kritisch und ist, sofern die Leistung für den Usecase reicht, deutlich günstiger als ein richtiger KI-Server. Wenn ich da an meine Ausbildungszeit bei einem kleinen IT-Dienstleister damals zurück denke wäre das heute vermutlich eine passende Lösung für zweckgebundene interne Unterstürzungs-Chatbots für z.B. kleinere Anwaltskanzleien, Arztpraxen, lokale Behördenbüros, Startups usw.
Die lokalen Modelle sind halt extrem eingeschränkt, wenn es um um nicht sehr spezifische Aufgaben geht - lokal machen eigene Modelle oder selbst (oder von Dritten) fine getunede Modelle Sinn - wird aber sicher noch bei den meisten Unternehmen nicht gemacht - vielleicht langsam bei Dokumentationsmaterial.
Ausserhalb dieser beiden Fälle hat man lokal den doofen Schulabbrecher statt in der Cloud das System das einen Schulabschluss hat
Aber ich meinte das anders. Die Vor/Nachteile von KI sind mir bewusst. Ich benutze diverse LLMs ja ab und zu, nur für mich persönlich macht es noch keinen Sinn/Vorteil mich mit der Konfiguration eines lokalen LLMs oder anderen Modellen zu beschäftigen obwohl ich's in der Arbeit habe.
Dass manche meiner Kollegen schon seit einiger Zeit fleißig damit herumspielen verstehe ich, aber ich persönlich hab noch nicht den unmittelbaren Nutzen gesehen.
Kommt sicher noch.
Für unseren Arbeitgeber ist der Nutzen natürlich klar. Neben Datenschutz und langfristig theoretisch sogar Kostenersparnis wenn man eigene Hardware verwenden kann, hilft es natürlich wenn man eine eigene Forschungsabteilung für KI hat, dass man solche Spielereien kauft
Es lassen sich ja 2 DGX Sparks zusammenschalten, so daß sie zusammen über 256 GB RAM verfügen. Wäre jetzt mal zu klären, ob das nur innerhalb eines Herstellers funktioniert oder auch mit einer DGX FE zu einer Asus DGX.
Da die Platinen diegleichen sind bei allen, sollte das überall klappen. Die Hersteller dürfen ja nur ihr Gehäuse drum bauen, das Innere liefert alles Nvidia (also außer die SSD).
Frage von einem Laien:
Wäre das nicht eine gute Basis für eine offline-Deepseek-Variante, die mit eigenem Material trainiert wird? Gibt's einen mit diesbezüglichen Erfahrungen?
Welche Quantisierung / Q-Faktor wurde denn bei den Modellen jeweils genommen? Und welche Context Length? Spielt das nicht eine Rolle bei der Geschwindigkeitsmessung? So könnte man die Werte etwas mit anderen Rechnern vergleichen.
