Unseriöses 600W vs. 600W Battle (5090 vs. 6000 Pro)

Zhan

Commander Pro
Registriert
Juni 2006
Beiträge
2.390
Was wird hier getestet:
Dual-Setup mit 5090 OC LC und einer RTX 6000 Pro (Workstation-Variante 600W). Zudem welchen Einfluss ECC ein/aus auf die 6000 Pro hat, wie die RTX 6000 Pro sich mit nur 300W schlägt und wieviel man verliert, wenn man zusätzlich zur RTX 6000 Pro eine zweite Karte im System hat. Die Testwerte in der Tabelle quasi von links nach rechts lesen, da ich immer Bezug zur Spalte davor nehme (ausser beim letzten Run, da zur vorletzten Spalte).Die zweite Karte nicht im System zu haben bringt der 6000er jedenfalls zwischen nix und 17% (TTFT bei LLM) mehr Speed - die teilweise hohen Zahlen haben mich bei dieser Testreihe ebenso überrascht, wie der ausbleibende Gewinn bei T/s.

3. Update 2.6.26 19:16: So, jetzt hab ich die 5090 ausgebaut und die 6000 Pro ist alleinige Karte im System. Hab daher nochmal einen Run mit dieser gemacht - nun mit voller PCIe x16 Anbindung und minimal besserem Airflow. Diese letzte Reihe ist ein bissel ausser Konkurrenz bzgl. des Vergleichs zur 5090 - mit der habe ich vor dem Einbau der 6000 leider keine passenden Werte für diese Testreihe gezogen. Man sieht aber so zumindest, was man bei der 6000 Pro verliert, wenn eine zweite Karte mit im System ist (und man nur ein Consumer-Board hat an Stelle einer richtigen Workstation).
2. Update 2.6.26 15:54: Habe mal zusätzlich die 300Watt-Variante der 6000 Pro simuliert. 50% weniger Strom bringen grob zwischen 5% und 40% weniger Leistung (und rund 24° weniger Hitze in der GPU (im Peak von 88° auf 64° runter!) - respektive bis zu knapp 60% längeren Rechenzeiten z.B. in Comfyui (was 37,5% weniger Leistung entspricht). Wie schlimm die 300W weniger sind, hängt also am konkreten Usecase.
1. Update 2.6.26 14:30: Habe zusätzlich ECC an/aus bei der 6000 Pro verglichen -> 0-5% Performance-Gewinn bei ECC aus.


Ursprungstext:
Derzeit ersetze ich meine Asus ROG Astral LC OC 5090 gegen eine Nvidia RTX 6000 Pro (600 Watt, Blackwell). Warum zur ... ich das mache? Tja, weil wegen AI. Ich hab damals die 5090 auch schon primär wegen lokaler AI gekauft (32GB VRAM, statt der 24 meiner 4090). War rückblickend eine dumme Entscheidung, ich hätte gleich das Geld für ne RTX 6000 Pro zusammen kratzen sollen. Gegamed wird trotzdem auch und da glänzt die 5090 mit Wakü und OC natürlich deutlich. Konstant bei 60 Grad - bei voller Last - und halt auch recht schnell. Zwei Highend-Monster im PC machen nun selbst für AI auch wenig Sinn (ausser sie sind identisch - also zwei Mal 32GB VRAM oder halt zwei Mal 96GB VRAM - wobei es auch Szenarien mit Parallelbetrieb mehrerer LLMs o.ä. gibt - aber die sind so selten. Lassen wir das. Jedenfalls habe ich aktuell beide Karten parallel in meinem PC und dachte ich kann mal Benchmarken.

Da ich jetzt keine echte Workstation habe, gelten ein paar Einschränkungen für das Testszenario - zu den Specs:

AMD 9950x3d (AIO Wakü)
192GB DDR5 Ram
Asus ProArt Creator X870E Mainboard
Asus ROG Astral LC OC 5090 (AIO Wakü)
Nividia RTX 6000 Pro (Workstation Edition, 600W, Luftkühlung)
beQuiet Dark Power Pro 13 (1600W)

Aktueller NVIDIA Studio Treiber, ECC für die 6000 aktiviert (für die 5090 ist Studio Treiber sicherlich auch nicht optimal)
Auf dem Asus Board laufen beide Grafikkarten mit PCIe5 aber eben nur mit x8 (und sind damit limiert)

Die 5090 hängt zudem an einem PCIe5 Risercable, da das thermisch sonst einfach nicht funktioniert hat mit beiden Karten gleichzeitig im System (konnte die 6000 nur mit 400 Watt betreiben, sonst war da nicht genug Raum zum Hitze wegtransportieren. Das ist alles nicht ideal, aber ich wollte die beiden Karten einfach Mal direkt gegeneinander antreten lassen ohne immer allzu viel rumbauen zu müssen. Weitere Einschränkung: Seit die 6000 Pro ECC aktiv hat, mag mein Graka-Tuning Tool nicht mehr. Mein fein ausgetüfteltes Undervolting etc. für die 5090 ist also nicht mehr aktiv. Da die Karte verkauft wird, hatte ich aber keine Lust das wieder zu aktivieren. Beide Karten laufen also mit Default-Werten. Das ist jetzt kein wissenschaftlicher Vergleich - immer gut möglich, dass ich was übersehe oder die Temps doch noch nicht wieder genug runter waren - ich hab mir aber Mühe gegeben einen fairen Vergleich hinzubekommen. Habe bei allen Tests einfach den ersten Run genommen. Also kein Warmup etc.pp. Und wie gesagt - das aktuelle Setup kann beide Karten vergleichen, wird aber dem eigentlichen Leistungsvermögen der beiden Karten nicht ganz gerecht - aber darum ging es mir auch nicht.

Die Tests:
12345
Testinhalt5090 OC LC
600 Watt
PCIe5x8
6000 Pro
600 Watt PCIe5x8
ECC
6000 Pro
600 Watt
PCIe5x8

ohne ECC
6000 Pro
300 Watt
PCIe5x8
ohne ECC
6000 Pro
600 Watt
PCIe5x16

ohne ECC
Anmerkung
ComfyUI mit LTX 2.3 Videorendering (persönliche Settings).
Angabe in Sekunden (niedriger also besser)
441,34s334,28s324,48s
-2,93% (zu Spalte davor)
528,95s
+58,23% (zu Spalte davor)
289,04s
-10,92%!
(zu Spalte 3)
Erstaunlich deutlicher Vorsprung der 6000 Pro, erstaunlich großer Sprung bei x16 Anbindung
Timespy Steel Nomad
Punkte (mehr ist besser)
150231577715950
+1,1% (zu Spalte davor)
9604
-39,71% (zu Spalte davor)
15973
+0,14%
(zu Spalte 3 - Messtoleranz)
Erstaunlich, dass die 6000 Pro hier überhaupt vorne liegt
Cinebench R26
Punkte (mehr ist besser)
167344157945166094
+5,15% (zu Spalte davor)
157981
-4,9% (zu Spalte davor - aber minimal besserer Wert als bei 600 Watt mit ECC!!)
171678
+3,36%
(zu Spalte 3)
Funfact: Beide Karten zusammen erreichen 292478 Punkte 🤤 Der Test ist übrigens IMHO eher fragwürdig in Sachen maximale Auslastung einer Graka (die 6000 Pro wird nur mit 230 Watt statt der vollen 600 ausgelastet. Eigentlich sollte die 6000 Pro hier auch deutlich vorne liegen - keine Ahnung, wo es im Benchmark klemmt. Wenn ich auf 10 min Lasttest gehe, erzielt die 6000 auch deutlich höhere Werte.
Cyberpunk 2077 Benchmark
Aller Zirkus an (Pathtracing, 2x MFG, DLSS etc. - genaue Settings egal, dient ja nur dem direkten Vergleich)
FPS (mehr ist besser)
123,34 FPS126,56 FPS126,58 FPS
1,29
82,31 FPS
-35% (zu Spalte davor)
127,69 FPS
+0,87%
(zu Spalte 3)
Hab beide Karten an meinem LG 42" OLED TV - die 6000 Pro mit nem DP zu HDMI Adapterkabel - keine Ahnung, ob das ggf. auch Leistung kostet - die Synchronisierung mit 120Hz und HDR war reichlich hakelig.
LLM Test - Qwen 3.6 27B Q6_K mit 40k Kontextfenster
Analyse einer kruzen Übersetzung
TTFT (Promptprozessing)
In Sekunden (weniger ist besser)
1,311,271,291,92
+48,83% (zu Spalte davor)
1,21
-6,2%
(zu Spalte 3)
Womöglich im Rahmen der Messtoleranz (bis auf 300W)
LLM Test - Qwen 3.6 27B Q6_K mit 40k Kontextfenster
Analyse einer kurzen Übersetzung
Tokengenerierung
Token/s (Mehr ist besser)
58,6157,4959,2845,22
-23,71% (zu Spalte davor)
59,19
-0,71%
(zu Spalte 3 - Messtoleranz?)
Womöglich im Rahmen der Messtoleranz
(bis auf 300W)
Gemma4 31B, F16
(gefinetuned, ca. 70 GB VRAM-Bedarf), ansonsten gleicher Test wie die beiden eben davor
18,41s TTFT
1,39 T/s

2,12s TTFT
23,07 T/s


(ca.9x besser bei TTFT und 16x bei T/s verglichen mit 5090OC!)
2,12s TTFT
23,37 T/s
2,27s TTFT +7%
22,2 T/s -5%
1,76s TTFT -16,98%
23,05 T/s +0,8%
(zu Spalte 3)
Hab bei der 5090 nur teilweisen GPU Offload laufen lassen können, da die halt nur 32GB VRAM hat. Sowas ist halt der Grund für eine 6000 Pro.

Weitere Erkenntnisse - egal welche Last die 5090 OC mit AIO bleibt bei knapp über 60°C. Für die 6000 Pro musste ich erheblich umbauen um sie vom permanenten Throttling abzuhalten. Hab sie jetzt bei maximal 88°C mit vollen 600 Watt. Für lang laufende Trainingsruns würde ich sie aber doch eher drosseln auf so 450 Watt oder so. Am schönsten war Cinebench mit beiden Karten zusammen. Knapp 300k Punkte 😍

Ansonsten liegen die Karten erstaunlich unspektakulär zusammen - außer es wird viel VRAM verlangt, aber das ist ja auch der Grund für die 6000 Pro.

Aber so als Fazit: Ich bin eher erstaunt, dass die 6000 Pro in Spielebenchmarks nicht total abstinkt gegen die OC 5090, aber es gibt dennoch nur einen validen Grund für 6000 Pro: Man braucht wirklich 96GB VRAM und das in guter Geschwindigkeit. Wenn man nur den VRAM braucht, dann ist man mit einem Mac mit 128GB+ unified RAM oder einer DGX Spark besser beraten. Die kosten beide dramatisch weniger - sind halt aber auch deutlich langsamer (den Test hatte ich neulich auch mal hier gepostet: 5090 vs. DGX Spark vs. M4 Max MBP)
 
Zuletzt bearbeitet: (Weitere Testreihen hinzugefügt)
  • Gefällt mir
Reaktionen: Mac_Leod, flashg0d, iron_monkey und 11 andere
jo, eine geile kiste hast da....;)
 
  • Gefällt mir
Reaktionen: lazsniper und Aduasen
Ich denke hier sind einige mit deutlich dickeren Systemen unterwegs, aber ich bin in der Tat grad recht happy (auch wenn ich mich jetzt schweren Herzens von der 5090 trennen muss)
 
Danke für den Vergleich. Mich würde ja 300w vs 450w interessieren. Ich habe es so verstanden, dass nur die RTX6000pro so weit gedrosselt werden darf.

Wie lange es wohl dauern wird, bis Leute im Mainstream eine derart hohe Leistung haben werden?
 
Naja, sei froh, dass du die Karte gerade noch bekommen hast. Nvidia hat die Preise für alle Workstation Karten letzte Woche erst deutlich nach oben "korrigiert". Und wenn man das nicht wirklich gewinnbringend produktiv braucht und einsetzt, dann gibt keiner mal eben über 12.000 Euro für so ne Karte aus. Das lohnt sich einfach nicht. Die war vorher ja schon teuer...
 
Ein Tipp: ECC kannste Dir bei Deinem Workflow wohl sparen. Dann bekommste nochmals etliche GB VRAM frei und schneller isses auch.
 
  • Gefällt mir
Reaktionen: Zhan
  • Gefällt mir
Reaktionen: aluis
Hab mir auch schon den Kopf wegen der RTX Pro 6000 Blackwell zerbrochen. Ich habe aber davon abgesehen. Wenn ich die 80b Modelle laufen lassen könnte, würde ich mich wieder ärgern, keine 400b Modelle ausführen zu können. Irgendwo muss man auch mal die Grenze ziehen. Schließlich kann ein kleines Modell per Agent aufs Internet zugreifen, und weiß damit im Prinzip auch alles.
 
  • Gefällt mir
Reaktionen: lazsniper
Zhan schrieb:
Aber so als Fazit: Ich bin eher erstaunt, dass die 6000 Pro in Spielebenchmarks nicht total abstinkt gegen die OC 5090
Das wurde schon bei Launch festgestellt, z.b. durch Tests von der8auer und ist auch nicht verwunderlich.
Weniger Takt wird durch mehr Shader ausgeglichen.

@Zwirbelkatz mit 300W hat er auch getestet:
 
  • Gefällt mir
Reaktionen: Zwirbelkatz und floTTes
lazsniper schrieb:
gab's die nichtmal für um die 7000 euro?
Nein. Eher um die 8000 Euro.

Der Vorgänger, die RTX 6000 Ada lag so bei ~6000-7000 Euro.
 
  • Gefällt mir
Reaktionen: MeisterJoda
@BDR529 ah, ok... bei ada wär ich fast schwach geworden, aber meine 5090 reicht mir für die lokalen ki sachen. die großen modelle laufen eh bei anthropic, so viel hardware könnte man sich nie zuhause hinstellen ;)
 
Es kam oben der Hinweis auf, dass ECC aus bissel Performance bringen würde - ich hab das mal verglichen. Was aus meinem Test nicht hervorgeht - mein primärer Usecase ist Finetuning - da bietet sich die Nutzung von ECC schon an. Leistungsunterschied in meinem Test liegt jedenfalls zwischen 0 und 5% Mehrleistung bei deaktiviertem ECC für die 6000 Pro.

Edit: Und noch ein Nachtrag - ich kann jetzt nicht jeden Test machen, aber zumindest die 300Watt habe ich mal durchlaufen lassen - zwischen 5% und 40% weniger Leistung verglichen zu 600Watt. @Zwirbelkatz - die 5090 kann ich nur bis 400 Watt drosseln, den Test wollte ich jetzt aber nicht auch noch machen.

Nochmal Edit: Jetzt noch eine Testreihe ohne die 5090 zusätzlich im System. Die Resultate sind überraschen!
 
Zuletzt bearbeitet: (Testreihen ergänzt.)
Was Du auf alle Fälle machen kannst: An die 6000er keinen Monitor anschließen! Du hast ja noch Deine andere GPU oder interne. Ich habe an einer meiner 6000er zwei 4K Monitore und diese GPU ist, zumindest solange ich auf den Monitoren noch andere Dinge mache, dann in Comfyui je nach Workflow bis zu 10% langsamer; zumindest unter Windows und Volllast An jede GPU nur einen Monitor bringt auch nicht viel. Die beste Leistung bringen meine GPUs dann, wenn die Monitore aus sind :)
ECC zieht Dir halt wertvollen VRAM ab. Und da Deine anderen Komponenten ja nicht ECC "sicher" sind, bringt das meiner Meinung nach nicht wirklich was.
*Edit: Ein Kollege sagt mir gerade, dass es doch durchaus sinnvoll sein kann, ECC bei der GPU aktiv zu lassen. Ich hatte da bisher nie Probleme ohne ECC, zumindest keine Auffälligkeiten, aber falls Du nicht das letzte GB VRAM brauchst, widerrufe ich hiermit meine ursprüngliche Empfehlung .) Evtl. kostet es auch nur Performance und der verfügbare VRAM bleibt voll erhalten. Ich finde da keine eindeutigen Angaben im Netz. Angeblich hat man mit der neusten Generation keinen VRAM-Verlust mehr.

Die Ki spuckt mir das aus:

1. Das "On-Die ECC" (GDDR7-Standard) – Kostet keinen VRAM
Du hast absolut recht mit deiner Vermutung, dass die neueste Generation eine integrierte Fehlerkorrektur besitzt, die keinen Speicherplatz kostet. Der neue GDDR7-Speicher deiner RTX 6000 Blackwell besitzt ein sogenanntes On-Die ECC.
  • Das bedeutet: Direkt auf den Speicherchips ist eine grundlegende Fehlerkorrektur fest verbaut.
  • Diese Korrektur läuft vollautomatisch im Hintergrund und dient dazu, dass der Speicher bei den extrem hohen Blackwell-Taktweiten überhaupt stabil läuft.
  • Hierbei verlierst du keinen einzigen Megabyte deines VRAMs, da dieser Zusatzplatz in der Hardwarearchitektur der Chips integriert ist.

2. Das "System-Level ECC" (NVIDIA Treiber-Level) – Kostet immer noch VRAM
Wenn du jedoch im NVIDIA Control Panel oder über nvidia-smi den Schalter für ECC manuell auf „An“ stellst, aktivierst du das softwaregesteuerte System-Level ECC (auch Command/Address/Data ECC genannt).
  • Dieses schützt nicht nur den Speicherchip selbst, sondern die gesamte Übertragungsstrecke (den Datenbus) zwischen dem Grafikprozessor (GPU-Die) und dem VRAM.
  • Da GDDR7-Speicher auf Desktop-Platinen (anders als teurer HBM-Speicher in Rechenzentren) keine separaten, physischen Zusatz-Leitungen für diese Art der Fehlerkorrektur besitzt, muss NVIDIA dafür Speicherplatz abknapsen.
  • Aktivierst du diesen Haken, reserviert der Treiber einen Teil deiner 96 GB VRAM als reinen Prüfsummen-Speicher. Deine in ComfyUI nutzbare Kapazität schrumpft dadurch sofort im System.

Fazit für deinen Workflow:
Da das On-Die ECC von GDDR7 ohnehin immer aktiv ist und deine Karte hardwareseitig vor Bit-Flips schützt, bist du bereits deutlich sicherer unterwegs als auf älteren Grafikkartengenerationen.
Du kannst den ECC-Schalter im NVIDIA-Treiber also bedenkenlos deaktiviert lassen. So profitierst du vom kostenlosen Schutz der neuen Speichergeneration, behältst aber die vollen 96 GB VRAM ohne künstliche Einbußen für deine ComfyUI-Workflows.

... naja. Ob sich dieses On-Die ECC dann von dem auf dem normalen DDR5-RAM unterscheidet? Das klinkt hier so toll. Ich vermute, die KI übertreibt hier ...grr. Ich werde es die Tage auch mal testen, wieviel das bei mir ausmacht.
 
Zuletzt bearbeitet:
lazsniper schrieb:
@BDR529 ah, ok... bei ada wär ich fast schwach geworden, aber meine 5090 reicht mir für die lokalen ki sachen. die großen modelle laufen eh bei anthropic, so viel hardware könnte man sich nie zuhause hinstellen ;)
Die RTX Pro 5000 Blackwell hat auch 48GB, wenn es dir darum geht, und die kostet in etwa 5500-6000 Euro. Falls du über eine berechtigte Institution bestellen kannst, gibt es aber für die Pro 5000 und die Pro 6000 jeweils einen EDU Rabatt in Höhe von $650 bzw. $1400. Für die Ada Generation und frühere gibt es den leider seit einiger Zeit nicht mehr.
 
Zurück
Oben