News Intel Arc Pro B60: 8-GPU-„Battlematrix“ zeigt im AI-Test Stärken und Schwächen

[Wolfgang]

Intel will wie Nvidia und AMD in Zukunft auf den eigene Arc-GPUs auch AI-Programme im professionellen Umfeld laufen lassen. Dabei geht es nicht um das AI-Training, sondern um AI-Inference, also das ausführen zuvor trainierter neuronaler Netzwerke. Die „Battlematrix“ für besonders große Modelle wurde jetzt einem Test unterzogen.

Zur News: Intel Arc Pro B60: 8-GPU-„Battlematrix“ zeigt im AI-Test Stärken und Schwächen

 

[konkretor]

Schön zu sehen, das Produkt ist Marktreif geworden.
Da würde ich auch mal etwas Benchen wollen :-)

 

[incurable]

Ich kann mir ehrlich nicht vorstellen, dass solche Bastelbuden, bei denen 7/8tel des Speichers nur mit kombiniert maximal PCIe 5.0 x8 Bandbreite und über viele Zwischenstationen zugänglich sind, gegen Lösungen mit direkt angebundenem Speicher gleicher Größe erfolgreich in der Leistung konkurrieren können.

Also bleibt nur mit günstigen Preisen gegenzusteuern, was bei 100% extern produzierten Produkten im Prinzip dem Modell Bargeld als Feuerholz gleichkommt.

 

[Besuz]

Auf dem PCB sieht man auch keinen PCIe-Switch, sprich die laufen wirklich als zwei eigene GPUs, nur eben auf einem Board und das Mobo müsste x8/x8 Bifurcation auf dem x16-Slot können. Kenne mich da nicht so aus, ist das üblich, dass die Mobos das können?

 

[CDLABSRadonP...]

Fände einen Vergleich mit Strix Halo und einem Mac Studio M4 Max mit 128 GiB interessant. Kann mir glatt vorstellen, dass die jeweils performanter wären, zum Auskontern ergo eine Aktualisierung auf aktuellen LPDDR5X reichen würde. (dann hätten sie auch 192 GiB)

 

[clarkathome]

Wunderschönes PCB, die könnten es ja mal mit so einer Gaming Grafikkarte versuchen, um deren Treiber-Team endgültig in den Wahnsinn zu treiben 🤣

 

[LinuxTux]

Auf dem PCB sieht man auch keinen PCIe-Switch, sprich die laufen wirklich als zwei eigene GPUs, nur eben auf einem Board und das Mobo müsste x8/x8 Bifurcation auf dem x16-Slot können. Kenne mich da nicht so aus, ist das üblich, dass die Mobos das können?

Die Graka ist nicht für den Desktop gedacht, sondern für Server. Die Serverboards können das in der Regel.

 

[CDLABSRadonP...]

Auf dem PCB sieht man auch keinen PCIe-Switch, sprich die laufen wirklich als zwei eigene GPUs, nur eben auf einem Board und das Mobo müsste x8/x8 Bifurcation auf dem x16-Slot können. Kenne mich da nicht so aus, ist das üblich, dass die Mobos das können?

Steht auch so im Test:

The Maxsun Arc Pro B60 Dual 48G Turbo exemplifies Intel’s density strategy: two complete GPUs mounted on a single dual-slot card, connected independently via PCIe 5.0 x8 interfaces. Unlike traditional dual-GPU designs that bridge chips to act as a single GPU, each B60 GPU presents as a discrete device to the system, requiring motherboard support for PCIe x8/x8 bifurcation. A single x16 slot splits electrically into two x8 connections, with each GPU receiving dedicated bandwidth.

 

[stefan92x]

Die Graka ist nicht für den Desktop gedacht, sondern für Server. Die Serverboards können das in der Regel.

Desktopboards können aber auch oft x8/x8. Nicht alle, aber ungewöhnlich ist das nicht.

 

[Besuz]

x8/x8 können auch einige Desktop/Consumer Boards, ich weiß allerdings nicht ob auch auf nur einem Slot.

 

[AAS]

Die Graka ist nicht für den Desktop gedacht, sondern für Server. Die Serverboards können das in der Regel.

Server und Workstation seit über einem Jahrzehnt.

Ich kann mir ehrlich nicht vorstellen, dass solche Bastelbuden, bei denen 7/8tel des Speichers nur mit kombiniert maximal PCIe 5.0 x8 Bandbreite und über viele Zwischenstationen zugänglich sind, gegen Lösungen mit direkt angebundenem Speicher gleicher Größe erfolgreich in der Leistung konkurrieren können.

Also bleibt nur mit günstigen Preisen gegenzusteuern, was bei 100% extern produzierten Produkten im Prinzip dem Modell Bargeld als Feuerholz gleichkommt.

Wieso? Modell einmal in den Speicher laden, dann ist es drin. Das sind keine Games wo ständig Texturen geladen werden müssen.

 

[stefan92x]

Wieso? Modell einmal in den Speicher laden, dann ist es drin. Das sind keine Games wo ständig Texturen geladen werden müssen.

Jein. Wie auch angedeutet, dieses Konstrukt wird nicht schneller, kann die gleiche (begrenzte) Menge Token aber durch größere Modelle schicken, wenn in jede GPU ein Teil geladen wird und die Token dann von GPU zu GPU gehen

 

[aLanaMiau]

1200$ für 48GB?
Also 4800$ für 196GB?

Hm, so viel sind mir Firmengeheimnisse dann doch nicht wert. Und wie viel bräuchte das neue Deepseek? 750GB? Puh.

 

[fab.erg]

Fühle nur ich mich an das PCB der Voodoo 6000 erinnert ?

 

[incurable]

Wieso? Modell einmal in den Speicher laden, dann ist es drin.

Weil von den "192 GB" Speicher in diesem Konstrukt nur 24 GB lokal angebunden sind, und der Rest über mehrere Sprünge und PCI Express zur Verfügung steht, was die Latenz im Vergleich zu Produkten mit vereintem Speicher erhöht.

 

[AAS]

Jein. Wie auch angedeutet, dieses Konstrukt wird nicht schneller, kann die gleiche (begrenzte) Menge Token aber durch größere Modelle schicken, wenn in jede GPU ein Teil geladen wird und die Token dann von GPU zu GPU gehen

Hat aber nichts mit der Bandbreite zu tun sondern mit der Latenz.

Weil von den "192 GB" Speicher in diesem Konstrukt nur 24 GB lokal angebunden sind, und der Rest über mehrere Sprünge und PCI Express zur Verfügung steht, was die Latenz im Vergleich zu Produkten mit vereintem Speicher erhöht.

Das ist der Punkt, Latenz =/= Bandbreite.

Wenn man ein grosser Modell haben will und sparen will, ist das eine echte Alternative, ich sehe da ein paar Anwendungen:

• Risikobewertungen über grosse Datenmengen
• Bulk-Indexing für Vektordatenbanken oder semantische Suche auf grossen Datenbeständen vorberechnen
• Dataset-Labeling und Qualitätskontrolle
• Offline-Audiotranskription
• Grosse Bildmengen generieren (z. B. 10.000 Produktbilder)

 

[incurable]

Das ist der Punkt, Latenz =/= Bandbreite.

Hab ich behauptet, der Nachteil sein ein reines Bandbreitenproblem?

 

[AAS]

hier stand mist

 

[stefan92x]

Wenn man ein grosser Modell haben will und sparen will, ist das eine echte Alternative, ich sehe da ein paar Anwendungen:

Das ist ja der Punkt. Große Modelle kann man sinnvoll aufteilen, so dass das Bandbreitenthema kein Problem wird. Kleine Modelle kann man so hingegen nicht beschleunigen, für diese wird ein solches Array also nicht interessant sein.

 

[fox40phil]

Irgendwie dachte ich beim Lesen, dass hier 4x DUAL GPUs auf einem PCB zu finden sind?! ... das wäre unfassbar!
Aber es sind einfach 4x Dual GPUs in Reihe geschaltet? Also vebrauchen sie relativ viel Platz für die 192GB VRam?!

Ansonsten finde ich das Projekt sehr gut! Darauf kann man aufbauen und zügig die Verbindungen beschleunigen etc.^^