News Nvidia RTX Pro 5500: Grafikkarte mit 84 GB Speicher und Doppel-Turbinen-Kühler

9t3ndo schrieb:
irgendwelche Gerüchte
DIE gibt es immer ^^
 
  • Gefällt mir
Reaktionen: sightseeer, 9t3ndo und Zocker1996
Jan schrieb:
Meinst du stichhaltig, oder MLID? ^^
fucking hell.
Ich muss dann jetzt den Bildschirm, Schreibtisch und Tastatur putzen..

Aber alles in allem nin ich da ein bisschen hin und her gerissen.
Nette Karte und der Preis ist OK, wenn man CUDA braucht, oder mehrere fuers Training Clustern will.

Bei Inferenz sehe ich die MI355X mit 288GB VRAM @ ~25.000$ und GB200 mit 384GB @ ~35.000$ schon irgendwie vorne
 
  • Gefällt mir
Reaktionen: alxfu
Abrexxes schrieb:
Wenn ich nicht schon den Porsche bestellt hätte....vieleicht nächsten Monat. /s
Wenn du dir einen Porsche leisten könntest, dann würden die paar tausend Euro auch nicht mehr weh tun.
 
@BDR529 Ich gehe halt klug mit meinem Geld um. Nächstes Jahr will ich meinen ersten Bentley Bentayga. ;)
 
  • Gefällt mir
Reaktionen: Zocker1996
madmax2010 schrieb:
Bei Inferenz sehe ich die MI355X mit 288GB VRAM @ ~25.000$ und GB200 mit 384GB @ ~35.000$ schon irgendwie vorne
Und wo gibts die? Ein GB200 Rack mit 72 GB200 kostet 9,6 Mio Euro - also 130.000 Euro pro GB200. Und ein Server mit 8 MI355X kostet 780.000 Euro, also knapp 100.000 Euro pro MI355X.
 
  • Gefällt mir
Reaktionen: Mac_Leod und Jan
TeeKayEV schrieb:
Und ein Server mit 8 MI355X kostet 780.000 Euro, also knapp 100.000 Euro pro MI355X.
Wir haben 270k gezahlt.. Niemand zahlt Liste.

Deckt sich auch mit Preisen bei distributoren und supermicro.
https://moyanhardware.com/gpu-accelerators/amd-instinct-mi355x-oam
TeeKayEV schrieb:
Ein GB200 Rack mit 72 GB200 kostet 9,6 Mio Euro -
Gb300 eher ;)
Gb200 lag eher um die 3 Millionen
Siehe u.a
https://finance.yahoo.com/sectors/technology/articles/price-nvidias-vera-rubin-nvl72-100000086.html

Und auch die sind halt viel teurer als supermicro.

Nicht sicher wo die Nvidia eigenen racks stehen, aber ich sehe im echten Leben eher Dell und supermicro Hardware mit weniger Gold und bling bling.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: drmaniac, alxfu und Jan
Das Schaubild in den News ist falsch, habe jetzt nicht nachgeschaut aber es gibt keinen GB203 mit der Konfiguration wie sie bei der 5000 Pro beschrieben wird ;-), das ist ein stark beschnittener GB202.
 
  • Gefällt mir
Reaktionen: Tzk
Doenereater schrieb:
Anfangs war die Vermutung, dass jemand die im großen Stil nach Asien schafft um den VRAM zu tauschen/upzugraden, jedoch denke ich ist die Ursache eher der Release der Pro 5500.
In China lötet man schon seit längerem die GPUs runter und verbastelt die auf eigenen PCBs ggf. sogar mit mehr VRAM. Alles nur um die Zölle und Exportverbote zu umgehen. Nicht ohne Grund werden die blanken 5090 Platinen (ohne GPU und ram) auf dem deutschen Markt langsam häufiger, weil Scammer die Dinger kaufen und als „echte“ Grafikkarte weiterverkaufen.
 
Mojo1987 schrieb:
auf den normalen 5090 Supply hat.
nie im leben hat das einen Einfluss!

1789555149966.png


:evillol::evillol::evillol:
1789555429427.png
1789555489313.png



Man muss halt nur etwas mehr hinlegen. Damit sinkt etwas die Nachfrage, und es sind mehr Chips für die 5500 verfügbar. :evillol:
 
Zuletzt bearbeitet:
lynx007 schrieb:
Der Preis zeigt, dass ne ganze Menge Leute Cloud AI nicht vertrauen. Wirklich viel kann ne RTX 5090 mit 32 GB nicht machen und in der Cloud kann ich sie mir für 65 Cent die Stunde mieten. D.h. ich könnte mir die 4 Jahre lang 200 Tage im Jahr 12h am Tag mieten und das würde nur soviel kosten, wie die Karte zu kaufen. In der Zeit würde der Computer aber auch mehr als 4000 kWh Strom verbrauchen, die dann nochmal ein Jahr Cloud-Computing auf einer gemieteten RTX 5090 wert wären. Die Karte für 6000 Euro zu kaufen, ergibt also nur Sinn, wenn ich Cloud Computing nicht vertraue.
 
@TeeKayEV Hmm... ja, wobei ich den vergleich, der herleitung schwierig finde...

Die 5090 ist halt eine Gamer GPU... die man auch für andere Sachen eignet... Gaming, Videoschnitt oder auch umlöten, wie sie zu einem kleinen armen Sanktionierten Land gehören, sie keine andere Wahl haben und Strom nichts kostet, bzw über ein ein Parteisystem Staatsache ist.

Aber die Aussage ich können gar ncihts damit machen, ist halt so auch nicht richtig. Sie säuft nur für das Produktiv Feld zu viel. Und sie b ekommen für den gleichen Preis halt ähnlich schnelle oder sogar schnellere Alternativen. Aber die 5090 kostet jetzt nicht 6k weil sie Schrott ist und sie außer für Gaming nichts zu gebrauchen ist.... wobei... vleicht schon... aber ich dann muss es schon viele Wahnsinige zu gleich reiche Gamer geben... ausschließen will ich es jetzt auch nciht...
Weil wen es jetzt wirklcih nur um LLM geht, bist du vermutlich mit nem M5Max, oder mit Strix die in ähnlichen regieonen Spielne wohl besser bedient.

Aber ja, das Ding adressiert ganz klar OpenWeights... und ja, da ist ne 5090 abseits des Hobby LLM_Devs , der mehr Zockt als sich auf LM Studio und darunter zu bewegen, wohl die falsche wahl.

1789556108761.png


Bin da ganz klar auf Tests von Ziskind gespannt. Weil 1,4 TB/s sind halt schon eine Hausnummer... aber 84GB sind halt auch wenig... wie schnell läuft den das "SLI" von denen ? als die Interconect Bridge... mal angenomme ich knall mir nen stack aus 4 in nen Tower... und will nicht über den Langsamen PCI Buss... oder läuft dann M4Max wieder kreise drumm herum???
 
lynx007 schrieb:
nie im leben hat das einen Einfluss!

Anhang anzeigen 1760983

:evillol::evillol::evillol:
Anhang anzeigen 1760985Anhang anzeigen 1760986


Man muss halt nur etwas mehr hinlegen. Damit sinkt etwas die Nachfrage, und es sind mehr Chips für die 5500 verfügbar. :evillol:
Als die ersten limitierten 5090 Jubiläumspreiskannfürsammlerniehochgenugsein gefährlich nah an die Preisregion der RTX6000 vorgestoßen sind, schob Nvidia die RTX 5000 mit 72 GB nach um den Preisverfall zu stoppen. Seitdem geht die RTX6000 durch die Decke. Zur Markteinführung kostete die RTX5000 mit 72 GB mehr als die RTX6000.

Gestartet für 9000 Euro
https://www.computerbase.de/preisvergleich/?phist=3687804&age=9999

als die RTX6000 noch unter 8000 Euro lag
https://www.computerbase.de/preisvergleich/?phist=3476784&age=9999

Damit war klar wohin die Reise geht. Auf ein neues Preiskarussell sobald die ersten RTX5090 Richtung 9000 Euro marschieren.
 
Zuletzt bearbeitet:
lynx007 schrieb:
wie schnell läuft den das "SLI" von denen ? als die Interconect Bridge... mal angenomme ich knall mir nen stack aus 4 in nen Tower... und will nicht über den Langsamen PCI Buss... oder läuft dann M4Max wieder kreise drumm herum???
Nvidia hat NVLink mit der RTX 40 gestrichen. Das gibts nur noch bei den Datacenter-Produkten. Auch die RTX Pro müssen über PCIe kommunizieren. Das ist besonders bitter, weil die Desktop-Lösungen von AMD und Intel kaum Lanes bereitstellen und die aktuellen Workstation-Lösungen mit mehr Lanes zwingend RDIMM benötigen. Da kostet das GB RAM dann min. 30 Euro.
 
Zuletzt bearbeitet:
@TeeKayEV

Das schrankt die verwendung ja leider weiter ein... aber man muss auch zugeben... nen stack aus 4x M5 Max kosten nochmal viel viel mehr....

RAM kannst du bei LLM vergessen.. zumindest im profesionellen ansatz... Weil du mustt ja davon ausgehen, selbst bei Interfering, das du ja mehrer agenten zusammenschaltest... und dann die Token / s expotenziell nach unten schraubt....

, da ist Speicher plus Bandbreite KING!!! Man hat in Open Weights ja sein "neuronales Gehirn" in Form von optimierten "Nummern" im speicher... die gelesen werden... und das will man auch über Agenten verknöpfen... was die Anforderungen dann noch Potenziert... Agent = eine spezialisierte LLM
Und dies Paramete will man abfragen, aber auch kobinieren... was dann pro sekunden die übermittelten daten, die gelesen werden expotenziell nach oben springen lassen...

jetzt wen ich pro GPU nen Agenten knall... der so drauf passt... habe ich diese ultra slowe pcie dazwischen... die Bandbreite bleibt gleich... sprich 4 gpus... 4 agenten... schnell hat man nen Overhead aus der hölle... Sprich alles muss praktisch auf dem Ding selber laufen.... sprich man kannst schon nen cluster bauauen... wo die abfragen, inputs auf die GPUs verteilt werden... aber untereinander wird kaum oder wenige informationsaustausch stattfinden... weil der overhead der hölle wäre...

Korregiert mich aber gerne wen ich da total falsch liege... Aber Tensorparelizm kannst du auf diesen Dingern total vergessen... oder? Und damit ist auch MoE, auch drausen. Sprich Mixture of Experts, von dem alles jeder redet... ist damit die 5500 nicht eignetntlich nen "Scam"(extreme nische...)? weil es günstiger, besser und flexibler, sicherer geht?=
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: MoonTower
lynx007 schrieb:
...
Korregiert mich aber gerne wen ich da total falsch liege... Aber Tensorparelizm kannst du auf diesen Dingern total vergessen... oder? ...
Da ich nur sehr wenig in dem Bereich mache, weiß ich nur, dass bei mir LM Studio autom. "Layer-Splitting" bei meinen beiden 6000er ausgewählt hat; weiß erst dank Dir jetzt, dass man da auch "Tensor parallism" auswählen kann, werde ich mal bei Gelegenheit testen. Ich vermute aber, dass LM Studio schon die richtige Wahl getroffen hat.
 
@MoonTower

das stimmt ! Weil weil NV bewusst die entscheidung getroffen hat, das Tensor Parallism auserhalb des Datencenters nicht (skalierbar) funktioniert. Die wollten halt ihren Datencenter lösungen nicht das wasser abgraben. So wie sie gamer vor den Zug geworfen haben. Haben sie halt auch Workstation, Smal und Medium Busines für die Datencenter vor den Zug geworfen.
1789562957880.png

In den Graben springen halt jetzt Apple, AMD Halo Strix und vermutlich früher oder spaeter, da nehm ich gift drauf, auch


Vermutlich auch deshlalb der LocalLM-ist-böseAufschrei, als die Chinesen mittel GLM, Quen, Kimi und MoE um die Ecke gebogen sind... ist schon lustig... Die Chineses wissen das wir ihnen unsere Daten genauso wenig wen den Amerikancer geben wollen. So machen sie , wie auch die Europäer, aus der Not eine

Und hauen Softwarestacks als LocalLLMs heraus die auch Lokal laufen und sich mit Cloudlösungen aus US messen können.

https://artificialanalysis.ai/agents/coding-agents

bin auf jedenfall gespannt wie es weiter geht... aber MoE , damit will NV noch kein Geld verdienen. Was halt auch zeigt welche Marktmacht NV mitlerweile hat.... und MoE hat halt nen extremes Potenzial hat... aber vermutlich hat sich selbst NV verschätzt... oder ihnen waren auch die Hände durch die Poltik gebunden.

Um zurück auf Thema, RTX Pro 5500 zu kommen, sie wird sich wohl sicher verkaufen... plus dgx habe ich auch noch vergessen... als NV ist ja denncoh bei allem dabei...
 
Zuletzt bearbeitet:
Sapphire Forum
Zurück
Oben