Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsIntel Arc Pro B60: 8-GPU-„Battlematrix“ zeigt im AI-Test Stärken und Schwächen
Intel will wie Nvidia und AMD in Zukunft auf den eigene Arc-GPUs auch AI-Programme im professionellen Umfeld laufen lassen. Dabei geht es nicht um das AI-Training, sondern um AI-Inference, also das ausführen zuvor trainierter neuronaler Netzwerke. Die „Battlematrix“ für besonders große Modelle wurde jetzt einem Test unterzogen.
Ich kann mir ehrlich nicht vorstellen, dass solche Bastelbuden, bei denen 7/8tel des Speichers nur mit kombiniert maximal PCIe 5.0 x8 Bandbreite und über viele Zwischenstationen zugänglich sind, gegen Lösungen mit direkt angebundenem Speicher gleicher Größe erfolgreich in der Leistung konkurrieren können.
Also bleibt nur mit günstigen Preisen gegenzusteuern, was bei 100% extern produzierten Produkten im Prinzip dem Modell Bargeld als Feuerholz gleichkommt.
Auf dem PCB sieht man auch keinen PCIe-Switch, sprich die laufen wirklich als zwei eigene GPUs, nur eben auf einem Board und das Mobo müsste x8/x8 Bifurcation auf dem x16-Slot können. Kenne mich da nicht so aus, ist das üblich, dass die Mobos das können?
Fände einen Vergleich mit Strix Halo und einem Mac Studio M4 Max mit 128 GiB interessant. Kann mir glatt vorstellen, dass die jeweils performanter wären, zum Auskontern ergo eine Aktualisierung auf aktuellen LPDDR5X reichen würde. (dann hätten sie auch 192 GiB)
Auf dem PCB sieht man auch keinen PCIe-Switch, sprich die laufen wirklich als zwei eigene GPUs, nur eben auf einem Board und das Mobo müsste x8/x8 Bifurcation auf dem x16-Slot können. Kenne mich da nicht so aus, ist das üblich, dass die Mobos das können?
Auf dem PCB sieht man auch keinen PCIe-Switch, sprich die laufen wirklich als zwei eigene GPUs, nur eben auf einem Board und das Mobo müsste x8/x8 Bifurcation auf dem x16-Slot können. Kenne mich da nicht so aus, ist das üblich, dass die Mobos das können?
The Maxsun Arc Pro B60 Dual 48G Turbo exemplifies Intel’s density strategy: two complete GPUs mounted on a single dual-slot card, connected independently via PCIe 5.0 x8 interfaces. Unlike traditional dual-GPU designs that bridge chips to act as a single GPU, each B60 GPU presents as a discrete device to the system, requiring motherboard support for PCIe x8/x8 bifurcation. A single x16 slot splits electrically into two x8 connections, with each GPU receiving dedicated bandwidth.
Ich kann mir ehrlich nicht vorstellen, dass solche Bastelbuden, bei denen 7/8tel des Speichers nur mit kombiniert maximal PCIe 5.0 x8 Bandbreite und über viele Zwischenstationen zugänglich sind, gegen Lösungen mit direkt angebundenem Speicher gleicher Größe erfolgreich in der Leistung konkurrieren können.
Also bleibt nur mit günstigen Preisen gegenzusteuern, was bei 100% extern produzierten Produkten im Prinzip dem Modell Bargeld als Feuerholz gleichkommt.
Jein. Wie auch angedeutet, dieses Konstrukt wird nicht schneller, kann die gleiche (begrenzte) Menge Token aber durch größere Modelle schicken, wenn in jede GPU ein Teil geladen wird und die Token dann von GPU zu GPU gehen
Weil von den "192 GB" Speicher in diesem Konstrukt nur 24 GB lokal angebunden sind, und der Rest über mehrere Sprünge und PCI Express zur Verfügung steht, was die Latenz im Vergleich zu Produkten mit vereintem Speicher erhöht.
Jein. Wie auch angedeutet, dieses Konstrukt wird nicht schneller, kann die gleiche (begrenzte) Menge Token aber durch größere Modelle schicken, wenn in jede GPU ein Teil geladen wird und die Token dann von GPU zu GPU gehen
Hat aber nichts mit der Bandbreite zu tun sondern mit der Latenz.
incurable schrieb:
Weil von den "192 GB" Speicher in diesem Konstrukt nur 24 GB lokal angebunden sind, und der Rest über mehrere Sprünge und PCI Express zur Verfügung steht, was die Latenz im Vergleich zu Produkten mit vereintem Speicher erhöht.
Das ist ja der Punkt. Große Modelle kann man sinnvoll aufteilen, so dass das Bandbreitenthema kein Problem wird. Kleine Modelle kann man so hingegen nicht beschleunigen, für diese wird ein solches Array also nicht interessant sein.
Irgendwie dachte ich beim Lesen, dass hier 4x DUAL GPUs auf einem PCB zu finden sind?! ... das wäre unfassbar!
Aber es sind einfach 4x Dual GPUs in Reihe geschaltet? Also vebrauchen sie relativ viel Platz für die 192GB VRam?!
Ansonsten finde ich das Projekt sehr gut! Darauf kann man aufbauen und zügig die Verbindungen beschleunigen etc.^^
