Zukunft: ServerGPU zuhause?

[Hito360]

Bissl Hirnmatsch zum Abdriften bei der Arbeit:

Wie wahrscheinlich ist die Annahme, dass die AI Blase platzt und 90% der AI DataCenter GPUs neue Besitzer finden muessen/koennen und den Endnutzer-Markt damit fluten?

Oder wird eher ein AI Konzern diese einfach aufkaufen?
Wie anfaellig waere ein solche vermutete lauffaehige aber gebrauchte GPU?
Welche aktuellen ServerGPUs haben ueberhaupt noch Displayausgaenge?
Muesste man dann ein RackSystem zusammenstellen?

 

[lazsniper]

Wie wahrscheinlich ist die Annahme, dass die AI Blase platzt und 90% der AI DataCenter GPUs neue Besitzer finden muessen/koennen und den Endnutzer-Markt damit fluten?

ich gebe der annahme eine wahrscheinlichkeit von 0,1%

 

[Helpmaster5000]

Endnutzer-Markt damit fluten?

Die liegen eher so lange rum bis sie irgendwann verschrottet werden, bevor da irgendein Rechenzentrum anfängt Rechnungen zu schreiben und auch noch Gewährleistung geben zu müssen.

 

[Xes]

Die profi KI-Beschleuniger sind gerade bei den größeren Playern idr. keine normalen GPUs mehr die du einfach in deinen Desktoprechner stecken und damit daddeln kannst.
Da wird auch nichts "platzen" dafür wird KI in vielen Bereichen schon zu viel produktiv genutzt. Es wird eine Phase kommen wo das ganze Thema wirtschaftlich werden muss, was sicherlich einige Unternehmen nicht schaffen werden, deren Hardware wird aber sicherlich nicht irgendwo beim privaten Endkunden hier irgendwo in Europa landen.

Schon nach den Kryptominingphasen hoffent viele darauf, dass die ganzen (dort tatsächlich meist ganz normalen) Grafikkarten die dafür verwendet wurden, hier irgendwann super günstig auf dem Gebrauchtmarkt landen würden. Meines Wissens gab es diese Schwemme an billigen gebrauchten Grafikkarten hier aber nie, jedenfalls habe ich davon nie etwas nennenswertes mitbekommen. Als das Mining hier aufgrund der höheren Strompreise nicht mehr rentabel war, gingen diese Rigs soweit ich weis irgendwo nach Südostasien oder andere Regionen mit billigeren Strompreisen und laufen dort noch immer, oder sind irgendwann auf dem Schrott oder dort lokalen Gebrauchthandel gelandet.

Selbst wenn wider erwarten die großen KI-Player "platzen" würden, würde deren Hardware bei irgendwelchen anderen Unternehmen versickern (für eigene lokal gehostete KI-Systeme wie Chatbots für Firmendaten, Coding-Assistenten usw.) Das wenigste davon dürfte bei irgendwelchen Privatkunden landen.

 

[blablub1212]

Auch wenn die Blase platzen sollte. Die eingesetzten GPUs (NVIDIA H100, H200 etc.). Kosten ein Vielfaches von normalen Gaming GPUs. Verbrauchen sehr viel mehr Strom und sind auf ganz andere Aufgaben optimiert. Also werden sie auch dann nicht den Weg in deinen privaten Gaming Rechner finden.

 

[BDR529]

Warum fragst du nicht ChatGPT, Gemini und Co...

Man man man, ganz im Ernst, was ne Frage... eigentlich mit gesundem Menschenverstand und einem Hauch von Logik von jedermann einfach selbst erklärbar.

Kannst dir gerne ne H200 NVL in deinen privat PC reinknallen, und mit nem Kabelbinder 2x 40mm Server-Lüfter mit jeweils 25.000rpm (ja, 25 tausend) und einem Schalldruckpegel von >120dB anbringen. Die müssen dann aber auch permanent auf 100% laufen, weil dein Mainboard überhaupt keine Temperatur-/Lüfterüberwachung und -Regelung über das (nicht vorhandene) BMC hat. Und dann hat dein PWM Anschluss auf dem Mainboard auch nicht genug Saft um den Lüfter zu befeuern, und du grillst dir die Elektronik...

Kann mir echt nur an den Kopf fassen bei solchen Threads.

Und ja, das mit den 40mm Lüftern funktioniert tatsächlich. Kannst die Lüfter auch in die Schraublöcher für die Kartenhalterung hinten reinschrauben. Aber sinnvoll ist es nicht.

 

[Garmor]

Kann man dann endlich Crysis spielen? 😳

 

[cunhell]

Die sind fast immer darauf ausgelegt, in einem Servergehäuse mit kanalisierter Lüftung von vorne nach hinten eingesetzt zu werden. Und das bei entsprechend hohen Lüfterdrehzahlen. Außerden haben die auch gerne keine Stromanschlüsse wie normale Grafikkarten sondern welche die für Server passen.

Und zu guter letzt haben die normalerweise auch keine Monitoranschlüsse und oft nicht mal die dafür nötigen Hardwareeinheiten.

Cunhell

 

[nurmalsoamrande]

Soweit ich weiß, besitzen diese KI-Beschleunigerkarten doch auch keine Monitoranschlüsse. Sprich es sind technisch zwar Grafikkarten, können aber kein Bild ausgeben. Das war doch zuletzt auch bei den minigkarten das Problem, dass man diese Karten erst physisch umbauen müsste, bevor man die als Endverbraucher wirklich nutzen kann. Im Besten Falle sind die Lötpunkte für HDMI/DP vorhanden und es muss nur die Frontblende getauscht, der Port aufgelötet werden und wahrscheinluich müsste das BIOS noch geflashed werden, damit die Karte Bildsignale ausgibt und dein rechner sie als Videoanzeigegerät erkennt.

Das ist relativ Aufwändig, daher wird das wahrscheinlich nicht gemacht werden. Wenn du bei diversen Chinaseiten suchst, kannst du jedoch immer mal wieder auf Ex-miningkarteb bzw. in Zukunft dann Ex-KI-Karten stoßen, die von irgendwem in zumindest Kleinserien auf Grafikausgabe umgerüstet und verkauft werden.

Du darfst aber nich vergessen, dass diese Karten dann technisch 3 oder 4 Generationen alt, und damit für Spieler wieder eher unattraktiv sein werden.

Außerdem werden diese Karten Speicherkonfigurationen besitzen, die so nie von Nvidia ausgeliefert worden sind im Sinne als Grafikkarte. Das heißt vor jeder Teiberinstallation müsste du erstmal manuell den treiber Modifizieren, dass diese Karte vom treiber akzeptiert wid.

 

[Rickmer]

In der neusten Generation von KI Servern sind die mittlerweile doch eh alle als SXM Modul aufs Board geklatscht und mit Wasser gekühlt, weil die Leistungsdichte im Rack zu hoch ist für Luftkühlung...

Auch dürfte bei den dedizierten AI Karten mittlerweile alles aus der Architektur entfernt sein, was nicht für Training / Inferenz notwendig ist. Ich bezweifel, dass da noch De-/Encoder für Video und andere solche Beschleuniger drin sind.

edit: Die nvidia B200 hat wohl 7 Decoder und 0 Encoder. Vermutlich werden die bei Video-Trainingsmaterial benötigt um das effizient zu verarbeiten?

 

[Bartmensch]

...Schon nach den Kryptominingphasen hoffent viele darauf, dass die ganzen (dort tatsächlich meist ganz normalen) Grafikkarten die dafür verwendet wurden, hier irgendwann super günstig auf dem Gebrauchtmarkt landen würden. Meines Wissens gab es diese Schwemme an billigen gebrauchten Grafikkarten hier aber nie, jedenfalls habe ich davon nie etwas nennenswertes mitbekommen. Als das Mining hier aufgrund der höheren Strompreise nicht mehr rentabel war, gingen diese Rigs soweit ich weis irgendwo nach Südostasien oder andere Regionen mit billigeren Strompreisen und laufen dort noch immer, oder sind irgendwann auf dem Schrott oder dort lokalen Gebrauchthandel gelandet....

Jein. Diese Hardware tauchte vor allem in den chinesischen Billigrechnern auf, die Du auf verschiedenen Plattformen wie Ebay oder Amazon finden konntest.
Sehr oft wurden dort Frankenstein Monster mit umgelöteten VRAM oder gar im BIOS runtergetakteter GPU gefunden. Siehe YT Hardwaredealz #Gamingschrott.

 

[Khorneflakes]

Wie wahrscheinlich ist die Annahme, dass die AI Blase platzt und 90% der AI DataCenter GPUs neue Besitzer finden muessen/koennen und den Endnutzer-Markt damit fluten?

In diesem konkreten Umfang, eher unwahrscheinlich.

Oder wird eher ein AI Konzern diese einfach aufkaufen?

Denkbar. Irgendwann wird alte Hardware aus Rechenzentren aber immer auf den freien Markt kommen und dann, oft für kleines Geld, einen Abnehmer finden.

Dass diese GPUs dann irgendwann mal in großer Menge zur Verfügung stehen, auch ohne dass eine Blase platzt, ist wahrscheinlich.

Wie anfaellig waere ein solche vermutete lauffaehige aber gebrauchte GPU?

Nicht besonders. Nicht anfälliger als GPUs, die für Mining benutzt wurden, oder auch GPUs, die intensiv für Spiele benutzt wurden.
Die Chips nutzen nicht wirklich ab. Es sind eher andere Komponenten auf dem PCB. Betrieb in klimatisierten Umgebungen spricht eher für die Server-GPUs, Mining haben viele ja auch in nicht richtig klimatisierten Umgebungen betrieben, wo Temperatur und Temepraturschwankungen und Feuchtigkeit ein Thema sein können.
Und Wartung ist natürlich auch ein Thema, irgendwann ist es vielleicht mal an der Zeit die Pads und Paste (oder das PTM7950) zu erneuern. Wenn man das nicht macht, dann erhöht sich die Chance natürlich, dass die GPU irgendwann nicht mehr richtig performt und im Worst Case dann auch eher einen Schaden davontragen könnte.

Welche aktuellen ServerGPUs haben ueberhaupt noch Displayausgaenge?

Keine. Auch nicht mehr aktuelle haben keine.

Muesste man dann ein RackSystem zusammenstellen?

Jein. Es würde sicherlich helfen und diesen Rackserver würde man dann irgendwo abseits aufstellen, um Wärme und Lärm vom Arbeitsplatz fernzuhalten. Aber man kann sich da auch was frankensteinen. Das Problem ist nur, dass die Server-GPUs auf den Luftstrom in Servern optimiert sind. Das bedeutet, dass da Heatsinks verbaut sind, die für einen normalen Desktop-PC nicht geeignet sind. Man müsste, wenn man keinen Rackserver baut, den Heatsink modifizieren und/oder das Lüftungskonzept anpassen, was wiederum wahrscheinlich in sehr hoher Lautstärke resultieren würde, die man für einen Desktop-PC eher nicht bereit wäre zu akzeptieren.

Das alles gilt natürlich nur für die Generation an "KI"-Beschleunigern, die noch als PCIe-Karte ausgeführt wurden. SXM-Module, oder vergleichbare Bauformen, machen den Betrieb außerhalb des eigentlich dafür vorgesehenen Systems praktisch unmöglich, sodass man dann eher darüber reden würde, dass man den ganzen Server mit dann z.B. acht GPU-Modulen kauft.

 

[sikarr]

Wie wahrscheinlich ist die Annahme, dass die AI Blase platzt und 90% der AI DataCenter GPUs neue Besitzer finden muessen/koennen und den Endnutzer-Markt damit fluten?

eher unwahrscheinlich

Wie anfaellig waere ein solche vermutete lauffaehige aber gebrauchte GPU?

eher unanfällig

Welche aktuellen ServerGPUs haben ueberhaupt noch Displayausgaenge?

keine, das sind in dem Sinne auch keine GPUs mehr, die basieren im Kern evtl. noch darauf aber das ist nicht mit einer klassischen GPU zu verwechseln.

Muesste man dann ein RackSystem zusammenstellen?

Nicht nur das, du musst dir auch Gedanken um Strom und Kühlung machen. Die Systeme sind dicht gepackt und auf Rechenzentrenumgebung optimiert.

Aber das alle größte Problem für Dich wird eher sein die Dinger zum laufen zu bekommen.

 

[Sykehouse]

Hier beschäftigt sich ein Homelaber damit, eine Nvidia V100 im SXM2 Format in einem normalen PC zum Laufen zu kriegen:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Fazit, es geht, relativ gut sogar. Anwendungszweck aber natürlich eher Local LLMs und nicht Gaming.

 

[BDR529]

keine, das sind in dem Sinne auch keine GPUs mehr, die basieren im Kern evtl. noch darauf aber das ist nicht mit einer klassischen GPU zu verwechseln.

Falsch.

RTX Pro 6000 Blackwell Server Edition, die hat 4x displayPort.

Erst erkundigen. Dann posten.

 

[JumpingCat]

Falsch.
[...]
Erst erkundigen. Dann posten.

Klar die Datacenter GPUs sind auch luftgekühlt mit normalen PCIe Anschluss....

Nvidia stellt custom Racks mit Wasserkühlung her. Nur um diese Hardware geht es hier.

 

[Xes]

Erst erkundigen. Dann posten.

Die Blackwell Pro 6000 Karten sind wenn man es so sieht, bessere RTX 5090 (gleicher GB202 Chip nur weniger beschnitten) mit mehr VRAM + ECC und daher eher auf Workstations und "kleine" Server ausgelegt. Damit könntest du tatsächlich sogar zocken und hättest die aktuell schnellste Gaming-Grafikkarte, wenn Geld absolut keine Rolle spielt:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Das sind aber nicht die Karten, die aktuell in so extremen Massen gefertigt werden und den ganzen RAM fressen: In den "richtigen" KI-Systemen (H100, B200 usw.) wie sie bei den großen Playern wie OpenAI und co. in den gigantischen Rechenzentren zum Einsatz kommen, findest du deutlich spezialisiertere Hardware, die du nicht mal eben in einen Desktop stecken kannst.

 

[R O G E R]

Wieviele Miningkarten sind nach der Blase auf den Markt gekommen?

 

[bikerider]

Ich würde mich bereits freuen, wenn bei Google die erste Antwort nicht KI-generiert wäre, da diese leider oft auch inhaltlich falsch ist. Darauf darf man sich also nicht verlassen, was viele leider tun.

 

[sikarr]

RTX Pro 6000 Blackwell Server Edition, die hat 4x displayPort.

Erst erkundigen. Dann posten.

An so etwas habe ich bei der Frage ehrlich gesagt nicht gedacht, ich war schon eine Ebene weiter. In meinen Augen sind das eher Workstationkarten als echte Datacenterkarten, alleine der Bauhöhe und Kühlung schon.