Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsSapphire × Ryzen AI Max+ 395: Zusammenschaltbare Mini-PCs mit Strix Halo für riesige LLMs
Zur #ew26 zeigt Sapphire seine Strix-Halo-Lösungen, die beliebig* koppelbar sind. Das ganze zielt auf zusammengeschaltete Nvidia DGX Spark, die für noch größere Projekte geeignet sind. Bisher ist AMD diesen Weg nicht offiziell gegangen.
Frage mich, wie das mit Daisy Chain funktionieren soll, müssen die Geräte sich dann ja die Bandbreite irgendwo teilen. Je nachdem wie viele man da verbinden will, wird das ja zunehmend problematischer.
Das per Ethernet? Selbst wenn zwei Lan-Anschlüsse verbaut werden, dann können auch nur der erste und der letzte mit dem Netzwerk verbunden werden. Für die da zwischen heißt es dann wieder Bandbreite teilen. Klingt für mich jedenfalls nicht so sonderlich sinnig. Bei Zwei ist es ja kein Problem bei drei mag es noch relativ gut funktionieren aber je mehr es werden...
Da hätte Marketing und Ingenieure aber mal besser zusammenarbeiten müssen.
Ein langweiliger USB oder LAN-Anschluss, das gab es schonmal cooler 😉
Trotzdem interessante Idee und sicher auch so bis ~5 Geräten praktikabel umsetzbar mit 2x10Gbit-LAN. Danach kauft die Zielgruppe eh Systeme in Richtung Server.
Haben die Sapphire Strix Halos denn Thunderbolt 5 oder (und ?*) die Möglichkeit, über eine M2 Schnittstelle einen OcuLink Adapter anzuschließen? Mit entweder TB5 oder OcuLink käme man schon etwas näher an den schnellen Verbund ran, den man für KI schon gerne hätte.
* Wenn beides möglich ist, könnte man damit dann zumindest theoretisch auch 3 oder mehr von den schnellen Kisten zusammen schalten.
@Redaktion - Inwiefern ist die Anzahl USB-C Anschlüsse ein Problem? Genau dafür gibt es doch schon immer USB-C Hubs?
Ohne näherer Erläuterung wirkt die Aussage damit sehr "fraglich".
Das Problem dürften wohl die Kommunikationskosten über Netzwerk und USB im Vergleich zur geringeren Bandbreite sein. Ähnliches wurde ja auch schon mit Mac Studios und Exo, also bereits optimierten Protokollen, versucht, ging aber selbst mit weniger Overhead und TB5 Bandbreite mit massiven Performance Tradeoff einher. Beim DGX Spark funktionierts ja auch nur weil der komplette Layer (Hardware, Netzwerk, Software..) auf einheitlichen daten zentrischen Nvdia Stack zusammen arbeiten; Nvlink / Infiniband / GPU Direct Memory usw.
Also wenn ich bedenke, dass die Rechenleistung meiner 4070 Ti bei Stable Diffusion-Modellen um etwa das 10 bis 15-fache abnimmt, wenn der VRAM mal voll ist und dann über PCIe 4.0 x16 auf den RAM zugegriffen werden muss, würden mich die technischen Details interessieren, wie man diesen Bandbreitenverlust bei der Kommunikation zwischen mehreren PCs kompensieren will. Das Einsatzgebiet dürfte sehr eingeschränkt sein oder einfach darauf abzielen, dass beide PCs getrennte Aufgaben übernehmen und diese dann irgendwie zusammenführen. Vermutlich mehr Marketing als realer Nutzen, aber lassen wir uns überraschen. Bin auf unabhängige Tests gespannt.
Was juckt mich der ganze A.I. Krempel, aber Sapphire Mini-PC mit Strix Halo = lecker😊.
Bin gespannt was Sapphire im Mini-PC Bereich und an der Mainboard Front noch so bringt die nächsten Monate.
Damit nicht sinnlos Rechenleistung des Clients verschwendet wird, benötigt man eigentlich mindestens Thunderbolt 5 mit mit 80 GBit/s synchron oder 120 / 40 GBit/s asynchron (bei Master -Slave muss nicht zwingend in beide Richtungen die selbe Geschwindigkeit vorherrschen). Oder aber schnelles LAN mit mehr als 100 GBit/s (sogenanntes "Terabit-Ethernet" => Glasfaser).
Also wenn ich bedenke, dass die Rechenleistung meiner 4070 Ti bei Stable Diffusion-Modellen um etwa das 10 bis 15-fache abnimmt, wenn der VRAM mal voll ist und dann über PCIe 4.0 x16 auf den RAM zugegriffen werden muss, würden mich die technischen Details interessieren, wie man diesen Bandbreitenverlust bei der Kommunikation zwischen mehreren PCs kompensieren will
In deinem Beispiel passt das Modell nicht in den VRAM, sondern muss ständig nachgeladen werden. Bei der Verbindung mehrerer GPUs (was das hier ja effektiv ist), wird das Modell aufgeteilt, so dass jede GPU einen Teil des Modells enthält (typischerweise sind das ja mehrere "Layer", das kann man gut aufteilen). Durchgereicht werden dann nur die Token, dafür reicht weniger Bandbreite als wenn man ständig Modellparameter nachladen müsste.
Hm noch ein wenig mehr Arbeit und sie hätten eine realistische Demo auf die Beine stellen können?!
Wirkt sehr schnell zusammengeschustert 🫣.
Genau mit solchen Technologien, wie hier schon mehrfach angesprochen wäre erst komplett sinnig.
First of all, AMD's support for their AI stuff is... okay. But not great. And that means I spent more time in my testing debugging ROCm driver and library issues than actually testing.
