MLPerf Training Benchmarks: Cloud-Anbieter übernehmen mit bis zu 8.192 GPUs

Hunderte AMD Instinct, aber sogar tausende Nvidia-GPUs: Die Skalierung übernimmt bei den MLPerf-Training-Benchmarks samt neuen Testreihen. Die dominante Figur bleibt natürlich Nvidia, 19 Firmen nutzen Nvidia-Lösungen für eigene Testwerte. Aber auch AMD mausert sich deutlich.

MLPerf Training v6.0 unterstützt dabei erstmals DeepSeek V3 und GPT-OSS 20B, denn sowohl Low-Precision-Formate boomen, aber auch andere mit schierer Größe. Dabei beobachten die Ersteller der Suite, dass sich das Prozedere in die Cloud verlagert und Multi-GPU-Systeme die Oberhand gewinnen.

Viele namhafte Partner wie OCI, Dell, HPE, Asus, Cisco, Supermicro, MiTAC, MiTAC mit Akash, KRAI und Vultr liefern in der neuen Ausgabe der MLPerf Training Benchmarks Testwerte mit AMD-Hardware unterschiedlichen Kalibers. OCI, also die Oracle Cloud Infrastructure, skaliert dabei erstmals 512 AMD Instinct MI300X hoch. Weitere Tests berücksichtigen bis zu 64 AMD Instinct MI325X, auch die neueren MI355X sind vertreten. Hier zeigt AMD mit Partnern vor allem die laufende Optimierung, gegenüber den letzten MLPerf-Training-Runs in Version 5.1 erzielen die MI355X nun in Version 6.0 19 Prozent mehr Leistung in Llama2-70B LoRA und 13 Prozent mehr Performance in Llama3.1-8B, erklärte AMD vorab.

Nvidias große Cloud-Partner skalieren massiv

In am Ende doch noch einer ganz anderen Liga sind Nvidias Partner unterwegs. CoreWeaves Flaggschiff-Einsendung trainierte DeepSeek-V3-671B als Benchmark in 2,02 Minuten auf 8.192 GB300-GPUs. Der Blick galt dabei hier auch explizit der Skalierung, die Nvidia stets als überragend verkauft: Mit stetiger Verdoppelung von 2.048 auf 4.096 auf 8.192 GPUs, verringerte sich die Trainingszeit von 5:54 auf 3:09 auf 2:02 Minuten und demonstrierte dabei, dass CoreWeaves Optimierungen durch den ganzen Aufbau mit nahezu perfekter Skalierung extrem gut umgesetzt sind.

Azure wiederum nutzte in Llama 3.1 405B insgesamt 8.192 GPUs in GB200-NVL72-Systemen. Diese Testreihen verdeutlichen ebenfalls, dass in großen Cloudumgebungen Nvidias Versprechungen zur Skalierung auch umgesetzt werden können.

Nvidia betont dabei stellvertretend für die vielen Partner auch noch einmal die Optimierung und Skalierung von Blackwell zu Blackwell Ultra, also GB200 zu GB300. In der Realität und je nach Test kommen hier bis zu 60 Prozent mehr Leistung an, betont der Hersteller der AI-Lösungen. Unterm Strich dominiert Nvidia deshalb weiterhin die Testreihen beinahe nach Belieben. AMD wird eventuell in der nächsten Ausgabe etwas dagegensetzen können: Nicht nur Helios als Rack sondern auch Instinct MI455X könnte dann in skalierter Form debütieren.