Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsNvidia Rubin CPX: Kleinere Rubin-GPU mit GDDR7 für noch mehr Leistung/Rack
Nvidia enthüllt heute die neue AI-Lösung Rubin CPX, offiziell ein „processor purpose-built to accelerate long context processing“. Aber warum braucht es das? Nvidia erklärt, dass selbst Rubin in Extremszenarien nicht ausreiche, um Millionen-Token-Anfragen zu bearbeiten. Rubin CPX ergänzt Vera-Rubin-Systeme, bleibt also optional.
Zusätzlich zu den schon bekannten GPUs werden noch weitere kleine GPUs per PCIe angebunden? Und wie geht die Software damit um? Was läuft auf den kleinen GPUs, während die großen GPUs KI-Modelle berechnet und die CPU die großen GPUs mit Daten füttern? Was ist die Aufgabe der kleinen PCIe-GPU?
Oder sollen zwei KI-Modelle Parallel laufen? Große KI-Modelle auf den großen GPUs mit viel Speicher und kleinere KI-Modelle parallel auf den kleinen GPUs mit weniger Speicher? Und warum müssen die kleinen GPUs im gleichen System mit den großen GPUs sein? Wenn es sowieso andere KI-Modelle für kleine GPUs sind, könnte man ja auch einfach direkt ein kleineres System, nur mit kleinen GPUs aufbauen.
So richtig verstehe ich nicht, warum der CPX mit GDDR7 schneller sein soll. Bis jetzt war doch immer das Inferencing der AI Modelle massiv durch die verfügbare Speicherbandbreite limitiert. HBM ist doch viel schneller als GDDR.
Das wird wohl das DIE sein, das die Nachfolge vom GB202 antritt. Die 5090 ist dort ja bereits bloß ein Abfallprodukt der Produktion der RTX Pro 6000 Blackwell...
18 Einschübe im Rack bieten nicht nur Platz für 18 Vera Rubin – je zwei CPUs und vier GPUs mit je zwei Dies –, sondern eben auch 144 CPX-Chips – acht pro Tray, jeweils vier in der Nähe der vier Netzwerkchips.
36 sind es. Das ist halt ihre neue gaga Rechnung die sie aufmachen. Was bisher NVL72 war ist ja nun NVL144. Weil sie alle Gpus immer doppelt zählen. Vera Rubin ist ja eine CPU und 2 GPUs mit jeweils 2 Dies, davon gibt es 2 pro Tray. 4 GPUs in einem Tray sind wiederum 8 GPU-Dies pro Tray .. Mal 18 hast deine 144.
@FrozenPie Volker hat die Anzahl der Vera Rubin Boards gezählt, das sind 36. Vera CPU +4 Rubin (2 Packages a 2 GPUs).
Die Vera Rubin in der Konfiguration sind ja nur Referenzboards und es könnte durchaus auch andere Konfigurationen geben, wie bei Blackwell.
Ich würde aber wenn dann auch Nvidias Anzahl der GPU Nomenklatur nehmen, bevor es noch mehr durcheinanders alles wird. Das ist zwar auch schon verwirrend, aber so solange für Nvidia nen Reticle Size Chip als 1 GPU gilt, gehts für mich noch. Schlimmer wirds, wenn es dann irgendwann evtl kleinere Multi-Gpus z.B. im Consumerbereich gibt.
Ah ja, jetzt seh ich's auch
Danke für die Klarstellung
Habe nicht ganz mitbekommen, dass mit Vera-Rubin ein ganzer Halb-Einschub gemeint ist. Dachte wir reden von einem Tray, der aus zwei dieser Halb-Einschübe besteht. Auf dem Bild links daneben sind halt auch 18 Einschübe bestehend aus jeweils zwei Halb-Einschüben dargestellt.
