Gaming + AI

[TheOptimizer]

Moin

Meine RX6600XT muss ersetzt werden. In Spielen reicht sie noch, aber ich kriege keine AI Bildmodelle Lokal zu laufen. Scheint alles auf CUDA optimiert zu sein

1. Wie viel Geld bist du bereit auszugeben?
Bis zu 500€.

2. Möchtest du mit der Grafikkarte spielen?

• Welche Spiele genau? Rust, Fortnite, Company of Heros2, GTA V, Overwatch, ..
• Welche Auflösung? Genügen Full HD (1920x1080) oder WQHD (2560x1440) oder soll es 4K Ultra HD (3840x2160) sein? … 1440p
• Ultra/hohe/mittlere/niedrige Grafikeinstellungen? … gerne Hoch
• Genügen dir 30 FPS oder sollen es 60 oder gar 144 FPS sein? … 120+

3. Möchtest du die Grafikkarte für spezielle Programme & Anwendungen (z.b. CAD) nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
... Ich würde gern mehr mit lokaler Bild/Videobearbeitung-/generierung arbeiten können.

4. . Wieviele und welche Monitore möchtest du nutzen? Wird G-Sync/FreeSync unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
...MSI MAG274QRF

5. Nenne uns bitte deine aktuelle/bisherige Hardware:

• Prozessor (CPU): 5700X3D
• Aktuelle/Bisherige Grafikkarte (GPU): 6600XT
• Netzteil(Genaue Bezeichnung): 500W Bequeit
• Gehäuse: Fractal Design Define R2

6. Hast du besondere Wünsche bezüglich der Grafikkarte? (Lautstärke, Anschlüsse, Farbe, Hersteller, Beleuchtung etc.)
... Gerne leise.

7. Wann möchtest du die Karte kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
... sofort, würde auch warten können doch da nVIDIA bereits alle neuen 5000er released hat, macht warten wohl eher weniger Sinn?

Prinzipiell stellt sich die Frage ob 5060ti oder 3080ti. Leistungstechnisch liegt die 3080ti etwa 10-20% vor der 5060ti. Dagegen spricht jedoch12GB VRAM und der Hohe Stromverbrauch. Wie entscheidend ist die VRAM Menge im Vergleich zum Durchsatz beim AI-Modellen?

Gibt es noch andere Alternativen, die ich übersehe?

 

[Azghul0815]

VRAM Über allem.
Der Unterschied bei AI Szenarien zwischen einer 5060 ti und einer 5080 durften überschaubar sein.

 

[Zwirbelkatz]

Wenn du nicht so lärmempfindlich bist, angel dir eine 5060ti 16GB für 450€. (Bevor jemand kreischt: Gestern gab es die zu dem Kurs)

Die 5060ti bringt dein Netzteil nichts ins Schwitzen und hat Garantie.

Gibt es noch andere Alternativen, die ich übersehe?

Nicht in diesem Preisbereich.


DDR4 Ram ist günstig. Falls es dort bei dir mangelt.
(Laut Signatur 32GB, ok)

 

[midwed]

angel dir eine 5060ti 16GB für 450€. (Bevor jemand kreischt: Gestern gab es die zu dem Kurs)

Heute auch noch 😉

 

[Rickmer]

Wie entscheidend ist die VRAM Menge im Vergleich zum Durchsatz beim AI-Modellen?

Extrem. Alles was nicht in den VRAM passt ist saumäßig langsam.

Die meisten Modelle bekommst du auch in 12GB gezwängt, aber dann hast du ziemlich deutliche Einschränkungen bezüglich Auflösung und Komplexität (controlnets usw. brauchen auch alle zusätzlichen VRAM).

Da eine gebrauchte RTX 3090 deutlich über deinem Budget ist (und ein neues Netzteil bräuchte) wäre der einfachste Einstieg die neu vorgestellte RTX 5060 Ti.

 

[madmax2010]

Meine RX6600XT muss ersetzt werden. In Spielen reicht sie noch, aber ich kriege keine AI Bildmodelle Lokal zu laufen. Scheint alles auf CUDA optimiert zu sein

funktioniert hier mit allem ab einer 6600XT ohne Probleme

Wie entscheidend ist die VRAM Menge im Vergleich zum Durchsatz beim AI-Modellen?

Was nicht in den VRAM passt, kannst du nicht nutzten. Hatte das warum die Tagemal grob urissen:

Je nach Architektur und Format braucht es für jeden generierten Token 2-3 Forward passes durchs Modell. Bei einem 160b q8 Modell sind das dann 500GB die aus dem RAM gelesen werden müssen um ein einzelnes (Teil-)Wort zu erzeugen. Ein Satz mit ~20 Token sind dann schon 10TB und das ist noch vor MoE, Resoning, usw..
Desktop RAM schafft pro kanal so ~50 GB/s. Macht mit Ryzen dann ~100GB/s und mit Threadripper ~400GB/s . Der HBM3 auf einer B100 liegt bei ~3.5TB/s

Die Speicherbandbreite ist der relevanteste Faktor für die Perormance von LLMs.
Bei LLMs liegt die Untergrenze halbwegs brauchbarer Modelle bei ca 32GB (V)RAM, gut sind 80GB oder mehr.

 

[tomgit]

Meine RX6600XT muss ersetzt werden. In Spielen reicht sie noch, aber ich kriege keine AI Bildmodelle Lokal zu laufen. Scheint alles auf CUDA optimiert zu sein

Dann musst du aber den Fehler woanders finden. Die meisten Techstacks laufen mit AMD und es gibt sogar eine AMD-spezifische Applikation für: https://www.amuse-ai.com/
Ansonsten ist Intels Techstack auch ganz gut, eine A770 oder A780 (oder warten zur B-Reihe, sofern die noch irgendwann kommt) könnte sich hierfür auch lohnen.
Ansonsten auch etwas überm Tellerrand schauen - bei gebrauchten Workstation-Karten. Eine RTX A4500 bietet 20GB VRAM und gibts für unter 1500€ bei eBay, 2k€ für eine A5000 mit 24GB VRAM, 4000 Ada Generation mit 20GB für 1,4k€

 

[Rickmer]

Ansonsten auch etwas überm Tellerrand schauen - bei gebrauchten Workstation-Karten. Eine RTX A4500 bietet 20GB VRAM und gibts für unter 1500€ bei eBay, 2k€ für eine A5000 mit 24GB VRAM, 4000 Ada Generation mit 20GB für 1,4k€

Und was für eine gebrauchte Workstation Karte bekommt man fürs Budget von 500€?

 

[Azghul0815]

Ansonsten auch etwas überm Tellerrand schauen

Im grossen und ganzen bin ich bei dir, aber ist halt Lichtjahre von der Anforderung von @TheOptimizer entfernt.

 

[tomgit]

Ups, das Budget hab ich natürlich komplett ignoriert...

Äääh, vielleicht hat man ja aber Glück?

 

[HerrRossi]

Ansonsten ist Intels Techstack auch ganz gut...

Hast du dazu auch einen link?

 

[TheOptimizer]

Hi und danke für die Antworten und den generellen Input.
@tomgit danke für verlinken, nettes Tool.
Die 506Ti bietet im Vergleich zu meiner aktuellen RX6600XT 80-100% Mehrleistung, nativ. Das einzige was mich jetzt noch abhält vom Kauf ist, dass mein Mobo nur PCI 3 hat. Lautet techpowerup sinds im Schnitt nur 3% Unterschied beim zocken. Wie genau sieht dies jedoch anderen Tasks aus? Finde dazu leider keine Benchmarks/Tests.

 

[Bono35]

Da es keine künstliche Intelligenz gibt....sehe ich hier nicht was Du wissen willst....und generative Algorithmen sind völlig irrelevant und belanglos....

Sorry das ich das so direkt sage....aber diese Misinterpretation von Begriffen triggert mich sehr.

 

[Maviba]

Wie entscheidend ist die VRAM Menge im Vergleich zum Durchsatz beim AI-Modellen?

Sehr. Selbst die 4060Ti 16gb war - was KI betrifft - schon schneller als die 3080 (ohne Ti).
Die 5060ti dürfte da nochmal eine Schippe drauflegen.

Eine 3080 würde ich mir gar nicht mehr holen, auch nicht mehr zum zocken. Dann lieber eine 4070+ , oder für Ki Allenfalls noch eine eine 3090, die man hier ind da für 500-700 € sieht.
Aber die wird dir die Haare vom Kopf fressen.

Also 5060ti scheint mir in deinem Fall die beste Lösung zu sein.

 

[Anion]

Die Speicherbandbreite ist der relevanteste Faktor für die Perormance von LLMs.
Bei LLMs liegt die Untergrenze halbwegs brauchbarer Modelle bei ca 32GB (V)RAM, gut sind 80GB oder mehr.

Hilfreicher Post. Verstehe ich dich richtig, dass eigentlich nur eine 5090 mit 32 GB VRAM für potente LLMs brauchbar ist - und selbst die nur eingeschränkt?

Warum diskutieren wir dann über 12 vs 16 vs 24 GB? Ehrliche Frage. Ja, ich weiß - nicht jeder will ein "potentes Modell" ausführen.

Aber wenn die Verhältnisse so dramatisch sind, wie Du beschreibst, dann ist doch wirklich das sinnvollste, lokal nur kleine effiziente Modelle auszführen und alles andere ab in die Cloud....?

Der Normalo wird doch vermutlich nur modelle wie DeepSeek R1 (8B) und Stable Diffusion (< 1B) ausführen. LLaVA mit 7-13 B (?) wird wohl für die meisten noch zukunftsmusik sein.

Korrigiert mich bitte.

//Update: Habe die Antwort hier gefunden.

 

[Maviba]

Das einzige was mich jetzt noch abhält vom Kauf ist, dass mein Mobo nur PCI 3 hat

Solange du genug VRAM hast, ist es ziemlich egal, ob nun PCIe 3, 4, oder 5.
Wird vor allem dann interessant. Wenn viel zwischen RAM und VRAM verschoben muss.

 

[madmax2010]

Wie genau sieht dies jedoch anderen Tasks aus? Finde dazu leider keine Benchmarks/Tests.

Bei Cryptomining und AI Workloads reichht eine Lane PCIe 1.0. Das Modellladendauertvielleicht ein paar Sekunden laenger, aber dann ist es egal.

Sobald beim Spielen / rechnen Merklich Daten durch die PCIe schittstelle geschickt werden muessen, verlierst du Performance. Das ist der bspw. Fall wenn die CPU auf den VRAM zugreifen will, oderdie GPUaufden RAM

 

[TheOptimizer]

Sobald beim Spielen / rechnen Merklich Daten durch die PCIe schittstelle geschickt werden muessen

... nadann sollte ich mit meinem 5700X3D ja auf der sicheren Seite sein.

Edit:/ welches Custum design würdet ihr wählen?

Das einzige was mich noch stutzig macht ist, dass in Reviews von dem 12vhpwr gesprochen wird, bei Geizhals jedoch 8pin steht. Ich hoffe mal ein Adapter liegt bei..

 

[TheOptimizer]

Ich bring den Thread mal wieder hoch.
Ich habe die Möglichkeit eine eine RTx 3080 12Gb für 355€ neu im Rahmen eines Garantie Austausches zu kaufen. Dlss 4, ohne (M)FG läuft ja auch auf den 3000er Karten.
Laut PCGH Test ist die 3080 gute 20% schneller in Games. Verbrauch müsste mit UV auf 250Watt reduzierbar sein. Und 100W Unterschied fällt jetzt nicht so ins Gewicht m.M.n. Nun steht also 3080 12gb 100% Raster 250w für 355€ gegen 5060ti 16gb 80% Raster 150w für 470€. Kann mich aktuell leider nicht entscheiden und wäre dankbar für Denkanstöße.

 

[HerrRossi]

Für mich wäre klar, dass ich die 3080 kaufen, mehr Leistung für weniger Geld. Frame generation interessiert mich persönlich überhaupt nicht, außerdem braucht man dafür schon hohe native fps, damit es funktioniert.