News KI-Benchmarks: Nvidia Rubin bis zu doppelt so schnell wie Blackwell

Volker

Ost 1
Teammitglied
Registriert
Juni 2001
Beiträge
20.541
Die neue Runde der MLPerf-Benchmarks widmet sich dem Training. Dabei geht es um große Skalierungen und neue GPUs, aber auch fehlende Chips. So sind zum Beispiel Nvidia Vera Rubin und Google Ironwood ganz offiziell dabei, AMD Instinct MI455X hingegen wird vermisst. Für Aufsehen sorgen aber die Skalierungen mit älteren Chips.

Zur News: KI-Benchmarks: Nvidia Rubin bis zu doppelt so schnell wie Blackwell
 
Doppelt so schnell klingt zwar toll aber wenn der Markt das Vertrauen in NVIDIA verlieren sollte und die Preise genauso abgehoben sind wie die aktuelle PR-Taktik, wird das nur die Tür für die Konkurrenz öffnen.
 
Würde mich nicht wundern, wenn nvidia die Geforce Sparte nicht einfach verkaufen würde.
Zwar beeindruckende Steigerung, aber Heimnutzer/Spieler ist komplett aus dem Fokus geraten.
 
  • Gefällt mir
Reaktionen: Serandi.87
Die versuchen jetzt nochmal vor den heutigen Quartalszahlen etwas das Vertrauen durch die Technik an sich (natürlich begründet) zurückzugewinnen und das PR-Disaster der letzten 10 Tage soweit es geht zu dämpfen.
Die vormals prognostizierten Zahlen werden bestimmt stimmen aber ich bin gespannt auf die jetzt kommenden Prognosen - und wie die meisten hier wissen, sind die Aktienkurse ein Blick in die prognostizierte Zukunft...

Abseits davon (und vorausgesetzt, die/der neue CEO dumpt den kompletten Gaming-GPU-Anteil nicht eh mittelfristig in den Abfalleimer, weil zu unlukrativ) - kann man daraus die Performance einer kommenden Gaming-GPU ableiten? Eher nicht, oder?
 
  • Gefällt mir
Reaktionen: stefan92x
p4z1f1st schrieb:
kann man daraus die Performance einer kommenden Gaming-GPU ableiten? Eher nicht, oder?
Stimmt, kann man nicht. Denn dafür ist die wichtigste Frage, wie groß Nvidia die Chips für Consumer macht

Robert. schrieb:
Würde mich nicht wundern, wenn nvidia die Geforce Sparte nicht einfach verkaufen würde.
Zwar beeindruckende Steigerung, aber Heimnutzer/Spieler ist komplett aus dem Fokus geraten.
Warum sollte man einen Bereich abgeben, der technisch enorme Synergieeffekte zum restlichen Geschäft hat, in dem man Marktführer ist und in dem man gutes Geld verdient? Und der zudem immer noch für lokale AI die "Einstiegsdroge" in Form von GPUs, auf denen man einfach mal LMStudio und Co ausprobieren kann, darstellt.
 
  • Gefällt mir
Reaktionen: TeeKayEV und ETI1120
Wird nicht passieren. Damit würden sie auch wissen verkaufen und das ist ihr höchstes gut und fliesst in alle Produkte hinein. Und irgendwann kommt der KI Markt an einen Sättigungspunkt. Dann werden die umsätze und der Produktbedarf stagnieren und Gaming wird wieder in seiner relevanz steigen.

„Nachtrag“ Den Punkt das sie quasi ein Monopol im Gamingmarkt halten ist ebenso wichtig. Man verkauft kein Monopol.

Die Frage ist eben, wann der Bedarf an Trainingskapazitäten sink. Den dieser benötigt einen üppigen Teil der KI Kapazitäten. Wenn dieser frei wird, weil es keinen sinn mehr macht grosse allrounder modelle zu trainieren das sich mit seiner masse an falscher Daten selbst im weg steht, dann könnte dieser Sättigungseffekt früher greifen.

Die Frage die ich mir bei all diesen verbesserungen immer stelle. Wo ist der Wert des geschätzen Bedarf und wie stark sinkt der Hardware bedarf durch die verbesserte Hardware. Wenn man ursprünglich bei 10000KI Zentren mit je 100.000 Beschleunigern war, dann müsste dieser Wert mit jeder Verbesserten Iteration sinken. Aber hierzu habe ich noch nie zahlen gesehen.
 
  • Gefällt mir
Reaktionen: stefan92x
Cabranium schrieb:
Wenn dieser frei wird, weil es keinen sinn mehr macht grosse allrounder modelle zu trainieren das sich mit seiner masse an falscher Daten selbst im weg steht, dann könnte dieser Sättigungseffekt früher greifen.
Noch ein Aspekt dabei: Kleinere Modelle, die dann wieder auf GPUs laufen, bedeuten auch, dass GeForce für AI nicht an Bedeutung verlieren wird. GeForce einstellen würde also auch bedeuten, dass Nvidia seine Position bei "Home/Edge-AI" aufgeben würde.
 
Natürlich, vielleicht 82347234fach besser.

Jubelmeldungen die immer mehr verhallen, da die Situation im KI-Markt klar erkennbar recht desaströs ist.

Hyperscaler & KI-Firmen (die Großteils nur von Nvidias-Gnaden lebten) sind doch schon jetzt in heftigen finanziellen Nöten. Haben dazu noch oft noch Lager voller BlackwellChips voll, weil die Rechenzentren eben nich so kommen.

1794908786044.png


Und dann sollen sie die neue Generation jetzt noch kaufen?

Tja, nur zu dumm das Nvidia selbst den Geldhahn zudrehen muss, weil 30% ihres Umsatzes illegal war. Dieser stammt aus dem Geschäft mit Singapur, deren Chips dort aber dann nach China gingen.
Es ist ein reines Pyramidensystem gewesen mti Nvidia an der Spitze.

Das ist vorbei. Nvidia wird nun derart kontrolliert werden, das sie diese illegalen Geschäfte nicht mehr machen werden können.
Oder anders ausgedrückt: "party is over", dabei egal welche Jubelmeldungen Nividia noch bringen kann.
 
  • Gefällt mir
Reaktionen: Cavalera90
Bin gespannt, ob und wann KI-Hardware sich so stark von Endverbraucher HW unterscheidet, dass der Einfluss auf den Konsumermarkt abnimmt.
 
  • Gefällt mir
Reaktionen: Che-Tah
Crifty schrieb:
und die Preise genauso abgehoben sind
Die Preise müssen (aus Sicht der Unternehmen) oben bleiben. Wenn es jetzt bei KI-Beschleunigern/GPUs einen Preisverfall geben würde, müssten die Hardware-Hoarder und RZ-Betreiber massive Abschreibungen vornehmen und das kann/will gerade niemand in der Industrie da keiner (außer der HW-Hersteller) Geld verdient. Wertverlust der Hardware-Investments würde on-top richtig reinballern.

Siehe auch: https://isaiprofitable.com/

Daher vermutlich auch diese ganzen zirkulären Investments, alles bleibt teurer, man hält sich die potentielle Konkurrenz durch hohe Einstiegspreise fern und die Preis relativiert sich, da NVidia "zurückinvestiert". Alles eine riesen Shitshow.
 
Es ist ein Kosten/Nutzen-Thema. Ich habe Frigate am laufen mit einem Google Coral. Finde das Teil arbeitet super bei dem Stromverbrauch und der Leistung was es machen sollte.
Für diese Objekterkennung brauch ich keine Tesla oder andere Grakas die schon im Idle mehr verbrauchen als das Google-Teil in Volllast. Ist halt etwas, das speziell dafür läuft.
Hoffe das gerade in dem Thema die Konkurrenz doch ein wenig anzieht und so Nvidia das Leben wieder etwas schwerer macht und auch die Preise wieder etwas normaler.
 
Topas93 schrieb:
Bin gespannt, ob und wann KI-Hardware sich so stark von Endverbraucher HW unterscheidet, dass der Einfluss auf den Konsumermarkt abnimmt.
GDDR ist DRAM. HBM ist DRAM. Solange das genutzt wird, wird es Probleme geben.

Die einzige Hoffnung, die ich da sehe, wären zum einen Systeme wie die Wafer Scale Engine von Cerebras, die alles in SRAM auf dem Wafer packt, oder solche wie von Taalas (kürzlich von AMD übernommen), die einfach Modelle fest in den Chip brennen wollen.

Die brauchen dann zwar auch Fertigungskapazitäten bei TSMC und Co, aber da kann man sich aus dem Weg gehen (AI in N2, GPUs für Gamer in N3, also in anderen Fabs z.B.)
 
@0xffffffff
Die Preise müssen zwar hoch bleiben aber trotzdem konkurrenzfähig zu den Mitbewerbern. NVIDIA hat ein riesen Problem, ihre Produkte sind „State of the Art“ aber ohne Jensen wird es schwierig diese Erfolgsspur zu halten. Holen sie jedoch Jensen zurück, wird man in den hochmoralischen USA massivst Vertrauen verspielen, denn Jemand der so wie Jensen in den USA Mist baut, ist in der Branche verbrannt, egal wie gut er ist.
 
Robert. schrieb:
Würde mich nicht wundern, wenn nvidia die Geforce Sparte nicht einfach verkaufen würde.
Zwar beeindruckende Steigerung, aber Heimnutzer/Spieler ist komplett aus dem Fokus geraten.
Sie werden einfach die Kategorien weiter verschieben. Heute wird ja als 5090 verkauft, was früher die 470 war. (der Salvage vom BigChip einer missglückten Gen)
Das kann man über die Generationen hinweg noch weiter auf die Spitze treiben und das, was ehemals die 1050 Ti war, als künftige 8090 Ti verkaufen...
 
Doppelt so schnell klingt erstmal toll. Dabei stieg aber die TDP von 1400 W auf 2300 W. D.h. die Rohperformance der Architektur stieg nur um 21%, trotz Wechsel von 5nm auf 3nm. Der Rest wird durch 61% mehr Transistoren, die mehr Strom verbrauchen, rausgeholt. Berücksichtigt ein Rechenzentrumsbetreiber die nötigen Um- oder sogar Neubauten, um den fast 2/3 höheren Stromverbrauch zu bewältigen, dann könnte Vera Rubin ineffizienter sein als Blackwell. Da der Vera Rubin Nachfolger nochmals mehr Strom verbrauchen soll, wäre das Überspringen von Vera Rubin aus Sicht des Betreibers eines schon bestehenden Rechenzentrums mit B200 oder B300 vermutlich rational, obwohl Vera Rubin doppelt so schnell ist.
Ergänzung ()

Cabranium schrieb:
Die Frage die ich mir bei all diesen verbesserungen immer stelle. Wo ist der Wert des geschätzen Bedarf und wie stark sinkt der Hardware bedarf durch die verbesserte Hardware. Wenn man ursprünglich bei 10000KI Zentren mit je 100.000 Beschleunigern war, dann müsste dieser Wert mit jeder Verbesserten Iteration sinken. Aber hierzu habe ich noch nie zahlen gesehen.
Ein Frontier Modell des Jahres 2026 hat größeren Hardwarebedarf als ein Modell des Jahres 2024. Wenn alle Kunden Modelle von 2024 benutzen würden, dann sänke der Hardwarebedarf drastisch.
 
stefan92x schrieb:
Warum sollte man einen Bereich abgeben, der technisch enorme Synergieeffekte zum restlichen Geschäft hat, in dem man Marktführer ist und in dem man gutes Geld verdient? Und der zudem immer noch für lokale AI die "Einstiegsdroge" in Form von GPUs, auf denen man einfach mal LMStudio und Co ausprobieren kann, darstellt.

Sehe ich genauso.

Bei dem Geld das NVIDIA momentan scheffelt ist es vollkommen irrelevant dass die Client Aktivitäten weniger Marge abwerfen.

Wie Du schreibst passt
Das Know-how für Server und Client zusammen.

Es ist nicht nur Einstiegsdroge ohne Client GPUs hätte NVIDIA keine Entwicklungsgungsumgebung mehr für die Server. Keine Client Entwicklungsgungsumgebung zu haben hat AMD bei ROCm sehr geschadet. Deshalb wäre es ein Witz das während AMD dabei ist das Fiasko auf Client Seite zu beheben NVIDIA ihr Angebot von Client über Embedded zu Server ohne Grund zerstören würde.

Außerdem würde NVIDIA sowohl Knowhow als auch Ressourcen an jemanden abgeben der dies dann auch gegen NVIDIA im Servermarkt einsetzen würde.

Außerdem wäre so ein Deal ohne Lizenzen zu geben oder Patente zu übertragen nicht möglich.
 
  • Gefällt mir
Reaktionen: stefan92x
ETI1120 schrieb:
Es ist nicht nur Einstiegsdroge ohne Client GPUs hätte NVIDIA keine Entwicklungsgungsumgebung mehr für die Server
DGX Spark stellt diese Entwicklungsumgebung heute dar. Das ist tatsächlich der einzige Aspekt, der nicht mehr so schwerwiegend ist wie noch vor drei oder vier Jahren. Bei allem anderen sind wir uns völlig einig.
 
Sapphire Forum
Zurück
Oben