Gebrauchte 3090 für KI Training?

[jonnym]

Hallo Zusammen,
ich brauche glaube ich eine neue GPU. Meine jetzige AMD 6700xt ist einfach zu schwach und oft zu inkompatibel mit gängigen Tools und das immer viel extra gebastet bedeuet ...
Mein Ziel ist eine eigene KI offline zu trainieren und zu betreiben. Training wahrscheinlich aber auch außerhalb im Rechenzentrum. Hauptsächlich sollen Texte und pdfs verabeitet werden als Trainingsdaten. Das wären in Summe ca 1gb TXT Dateien.
Meine Hardware Basis ist eine 14600 mit 64gb Ram und mein MAinboard GPU Steckplatz kann nur PCIe4.
Mein NEtzteil ist ein Corsair 850W.
Ich überlege eine RTX3090 zu kaufen. Die kostet gerade gebraucht ca 650-750€.
Gibt es von der Hardwareseite Gründe gegen eine gebrauchte RTX3090 24GB? Worauf sollte ich beim Kauf achten? Igor hatte ja damals viel Kritik zur 3000 Serie. ...
Oder lieber mehr Geld ausgeben. ...?
Es ist alles nur Hobby und ich verdiene kein Geld damit ...
Danke für eure Hilfe

 

[Fujiyama]

Mir wär das zu heiß, viele Grafikkarten Leben nicht lange. Dafür wär mir das Risiko zu groß bzw das Geld Zuviel.

 

[SavageSkull]

Ich hatte meine 3090 FE vor kurzem für sehr viel Geld verkauft. Die Nachfrage nach der Karte ist gerade wegen KI/CUDA Support und 24GB VRAM sehr gefragt.
Aber man erhält halt genau das, wofür du sie brauchst.

Grundsätzlich ist die Karte in Ordnung, aber wenn du den VRAM nicht brauchst, kannst du auch bei zb einer neuen 5070Ti für 750€ (wenn sie gerade mal im Angebot ist) zugreifen.
Es gab ja noch Gerüchte, ob 5000er Super Karten mit mehr VRAM kommen. Die wären dann wahrscheinlich die besser Wahl. Aber die gibt es noch nicht und den Preis weiß heute auch noch niemand.

Ist halt ein Einzelschicksal, ob du eine gebrauchte Karte erwischst, die noch Jahre problemlos durchläuft oder eine erwischst, die morgen kaputt geht, so wie bei jeder gebrauchten Hardware.

 

[Chesterfield]

Was deine Karte auf jeden Fall können sollte, ist eine hohe Speicherbandbreite und viel VRAM mitbringen. Blackwell bietet im Gegensatz zu Ada zwar nur wenige sichtbare Optimierungen, dafür aber einen klaren Vorteil: FP8-Unterstützung, die dir in Deep-Learning-Workloads doppelte Rechen- und Speicher-Effizienz gegenüber FP16 bringt – und das ohne spürbare Qualitätseinbußen. Wenn dir das wichtig ist, solltest du bereit sein, etwas mehr zu investieren.

 

[madmax2010]

Nimm zum Training eine h100

 

[jonnym]

Nimm zum Training eine h100

Lieber direkt 2

Was deine Karte auf jeden Fall können sollte, ist eine hohe Speicherbandbreite und viel VRAM mitbringen. Blackwell bietet im Gegensatz zu Ada zwar nur wenige sichtbare Optimierungen, dafür aber einen klaren Vorteil: FP8-Unterstützung, die dir in Deep-Learning-Workloads doppelte Rechen- und Speicher-Effizienz gegenüber FP16 bringt – und das ohne spürbare Qualitätseinbußen. Wenn dir das wichtig ist, solltest du bereit sein, etwas mehr zu investieren.

Ohja, Danke, guter Hinweis.


Danke allen für eure Einschätzungen. Ich schau mal wie lange ich das kaufen einer neuen GPU noch herauszöger kann/möchte ... bzw die 5090 wäre schon geil, aber ohne damit Geld zu verdienen im Moment nicht zu rechtfertigen, 32gb Vram sind halt auch nur 32gb Vram %)
Ggf kommt ja ein neues AMD AI System in Frage. Da kann ja entspannt der Ram mitgenutzt werden und auch die großen LLM geladen werden ... aber halt kein CUDA %) Da gibt es bestimmt wieder aufhaltendes gefummel damit alles läuft ... %)