News (G)B300 vs. (G)B200: Blackwell Ultra nimmt Steroide und beherrscht PCIe 6.0

[SKu]

Das ist eine Datacenter GPU, welche fünfstellig kostet. Begrenzter Hardwareeinsatz ist da kein Fokus [...]

Warum sollte durch die Nutzung von FP4-Frameworks für das KI-Training kein Fokus auf den Hardwareeinsatz gelegt werden? Die geringeren Rechenanforderungen durch die Nutzung von FP4 dürften auch zu geringerem Energiebedarf bei großen KI-Farmen beitragen, was wiederum die Energieeffizienz vorteilhaft beeinflusst. Das Hauptproblem dürften nämlich auch die vorhandenen Stromnetze sein, die nicht einfach so hochskaliert werden können. Warum sonst sollte Nvidia die Leistung für FP4 um 50% anheben wollen? Am Ende landet so eine GPU in irgendeinem KI-Center und die dürften ein relatives hohes Interesse an den Gesamtbetriebskosten der Systeme haben.

 

[ascer]

Warum sollte durch die Nutzung von FP4-Frameworks für das KI-Training kein Fokus auf den Hardwareeinsatz gelegt werden?

FP4 wird nicht für Training genutzt, selbst für finetuning ist das selten. Training ist idR FP16/BF16/TF32/FP32. Allenfalls mal FP8, aber das ist dann meistens nur finetuning - da ist die Effizienz relativ egal, da das ohnehin nicht lange läuft.

FP4 wird für inferencing genutzt. Inferencing wird optimiert, weil das den größten Kostenfaktor darstellt. Und auch das größte bottleneck.

Unabhängig davon ist "kein Fokus auf Hardwareeinsatz" ein anderes Argument als "begrenzter Hardwareeinsatz". Begrenzter Hardwareeinsatz ist ja das Gegenteil von so groß und schnell wie möglich. Allein die Kosten pro Token sollen runter, aber das hat nichts mit "Fokus auf lokale Nutzung" oder "begrenzter Hardwareeinsatz" zu tun, sondern schlichtweg damit, wie man Gigafactories am besten skalieren kann.

Das Hauptproblem dürften nämlich auch die vorhandenen Stromnetze sein, die nicht einfach so hochskaliert werden können.

Token pro Watt ist auch interessant, aber parallel sichern sich die Gigafactories ja derzeit Atomkraftwerke, um das "Problem Strom" zu lösen - exklusiv gleich ein ganzes für das jeweilige Datacenter.

 

[Chismon]

Die "Ultra" Bezeichnung kehrt zu nVidia zurück, doch nicht im Gaming-Bereich (siehe u.a. PCIe 6.0 und angeblich 6-fach höherer Durchsatz des Blackwell Ultra Chips gegenüber dem Vorgänger in Deep Seek R1).

Inwiefern das (wieder) Marketing(lügen) von nVidia sind bzw. das mehr Wert/Wahrheitsgehalt haben wird als die Ankündigung von Chris Roberts, dass Star Citizen in 2027/2028 offiziell an den Start gehen könnte, bleibt abzuwarten.

Ob die nächste Grafikkartengeneration des Quasi-Monopolisten dann "Rubin Gaming" werden wird?

Schauen wir' mal, momentan ist es aber noch eine ganze Weile hin bis voraussichtlich nVidias RTX 6000er und AMDs RDNA5/UDNA1 aufschlagen werden allen kursierenden Gerüchten/angeblichen Leaks dazu zum Trotz.

 

[Jan]

https://developer.nvidia.com/blog/n...rameter-llm-training-and-real-time-inference/

Hm. Das ganze aktuelle Whitepaper spricht nur (G)B300 PCIe 6.0 zu. Ich denke, da hatte sich NV damals selbst verrannt, weil der Chip es kann, Blackwell aber noch nicht darauf zurückgegriffen hat?

 

[elefant]

Viel Text aber keine Name einer Grafikkarte? Kommt da noch was? Viel mit TFlops aber nix mit FPS.
Kein Preis, kein Release Datum...
PCIe 6.0 Mainboards finde ich nun auch irgendwie nicht.

Zusammengefasst: Noch keine News für Gamer. Schade

 

[Kadett_Pirx]

...Wurde im Dev Forum so auch erwähnt: die FP64 Einheiten wurden massiv reduziert, weil das für AI nicht interessant ist und die TensorCores wurden massiv upscaled, um FP4/8 und INT8 zu beschleunigen....

Dann wäre es doch ein komplett anderer Chip.

 

[Atkatla]

Seit wann kann man Nividia denn wieder etwas glauben ? Ehrlich ???

Dir ist schon klar, dass in dem Segment erstmal gerne PoCs gemacht werden, bevor da für x-Millionen große Umgebungen gekauft werden? D.h. die Großkunden testen erst mal selbst, ob das Produkt das Versprochene einhält. Das was Leute in Foren schreiben ist in dem Bereich bedeutungslos. Selber messen und prüfen bevor man sich ein paar Racks mit dem Zeug holt. Und diese Community tauscht sich auch untereinander aus...

 

[LamaMitHut]

Der Sprung der letzten Jahre ist schon irgendwie beängstigend groß.

Hopper (H100) war 2022 die stärkste Lösung, verglichen mit B300 ist das ein Mückenschiss.

NVL72 kommt noch dazu.

Krass.

 

[basix]

Im Text und in der Tabelle hat es noch drei Fehler:

• Text: GB300 macht keine 30 PFLOPS FP4 inkl. Sparsity, sondern nur 20 PFLOPS (in der Tabelle ist das richtig)
• Tabelle: GB200 hat "normale" und deutlich höhere INT8 TOPS, auf selber Höhe vie FP8
• Tabelle: GB200 hat 192 GByte HBM Kapazität

https://resources.nvidia.com/en-us-blackwell-architecture/blackwell-architecture-technical-brief

 

[Besuz]

Hm. Das ganze aktuelle Whitepaper spricht nur (G)B300 PCIe 6.0 zu. Ich denke, da hatte sich NV damals selbst verrannt, weil der Chip es kann, Blackwell aber noch nicht darauf zurückgegriffen hat?

Keine Ahnung, kenne auch nur die verlinkte Seite von nV.

 

[Sweepi]

Meine Tabelle, hoffe die Werte stimmen soweit:

Metrik​	Submetrik​	Unit​	GB100U​	GB100	​
			1/2 GB300	1/2 GB200
FP4​	Dense​	10^15 FLOPS​	15​	10​	50%​
-​	Sparse​	10^15 FLOPS​	20​	20​	0%​
FP8/FP6​	Dense​	10^15 FLOPS​	5​	5​	0%​
-​	Sparse​	10^15 FLOPS​	10​	10​	0%​
INT8​	Dense​	10^15 FLOPS​	0.1575​	5​	-97%​
-​	Sparse​	10^15 FLOPS​	0.315​	10​	-97%​
FP16/BF16​	Dense​	10^15 FLOPS​	2.5​	2.5​	0%​
-​	Sparse​	10^15 FLOPS​	5​	5​	0%​
TF32​	Dense​	10^15 FLOPS​	1.25​	1.25​	0%​
-​	Sparse​	10^15 FLOPS​	2.5​	2.5​	0%​
FP32​	-​	10^12 FLOPS​	80​	80​	0%​
FP64​	-​	10^12 FLOPS​	1.3​	40​	-97%​
HBM​	-​	GiB​	288​	186​	55%​
Speicherbandbreite​	-​	TB/s​	8​	8​	0%​
NVLink-Interface​	-​	TB/s​	1.8​	1.8​	0%​
PCIe-Interface​	-​	GB/s​	256​	128​	100%​
TDP​	-​	W​	1400​	1200​	17%​
SM​	-​	Anzahl​	160​	144​	11%​
Transistoren​	-​	10^9​	208​	208​	0%​
Attention acc.​	SFU EX2​	10^12 Exponentials/s​	10.7​	5​	114%​