GraKa für AI

[Xiaolong]

Spoiler: [Bitte fülle den folgenden Fragebogen unbedingt vollständig aus, damit andere Nutzer dir effizient helfen können. Danke! :)]

1. Wie viel Geld bist du bereit auszugeben?
3-stellig

2. Möchtest du mit der Grafikkarte spielen?
Für alle Spiele die ich spiele reicht meine 2070 Super aus, ist auch nicht das Anwendungsfeld hier. Gaming Perfomance = Egal

3. Möchtest du die Grafikkarte für spezielle Programme & Anwendungen (z.b. CAD) nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
AI. Bin auf lokales AI gestiegen (SD, div. andere Modelle über InvokeAI) und das dauert mir mit der 2070 teilw. zu lange.
Ein wenig mehr Leistung in Solidworks 2024 wäre auch von Vorteil.

4. . Wieviele und welche Monitore möchtest du nutzen? Wird G-Sync/FreeSync unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
LG 49" Ultrawide 5120 * 1440 ansonsten irrelevant

5. Nenne uns bitte deine aktuelle/bisherige Hardware:

• Prozessor (CPU): Ryzen 7 3700X
• Aktuelle/Bisherige Grafikkarte (GPU): NVIDIA GeForce RTX 2070 Super
• Mainboard: MSI B550 GAMING GEN3 (MS-7B86)
• Netzteil(Genaue Bezeichnung): Seasonic.... 650W

6. Hast du besondere Wünsche bezüglich der Grafikkarte? (Lautstärke, Anschlüsse, Farbe, Hersteller, Beleuchtung etc.)
Lautstärke: Egal
Anschlüsse: Mind. 2x DP
Hersteller: nvidia nehme ich an
Beleuchtung: Bloß nicht
Verbrauch: Egal

7. Wann möchtest du die Karte kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Noch in Q2

Hallo Community,

da ich recht viel Anwendung für AI mittlerweile gefunden habe, diese sinnvoll einzusetzen, zumindest im Privatbereich, suche ich eine Grafikkarte, die das Ganze ein wenig beschleunigt. Am liebsten würde ich mir die H100 holen, diese fällt aber mit einem Budget von ca. 120.000,- € ganz knapp aus dem Verfügungsrahmen RAM-technisch ist das grüne N jetzt auch nicht gerade üppig ausgestattet im Consumer Bereich.... Die 8 GB von meiner 2070 werden schon knapp öfters, also sollten es schon mindestens 16 GB aufwärts sein.

Die Tensor Cores sind ja das nächste. Die 2070 Super hat 288 Tensor Cores, alles mit über 300, kostet aktuell >800,- €,. Wenn ich mir diesen Vergleich hier angucke schafft meine 2070 angeblich 21 Images pro Minute. Kann ich nicht bestätigen, da aktuell für ein 512x512 Bild ca. 20 s gebrauch werden, je nach Einstellungen auch deutlich mehr. Wenn ich die Grafik jetzt linear skaliere, hätte ich die Annahme, dass eine 3090 Ti lt. Grafik doppelt so viel könnte, dies auch nur halb so lang dauert. Hat jemand Erfahrungswerte die er mit mir teilen würde?

Aktuell verwendete Software ist InvokeAI und die meisten Modelle basieren ja ohnehin auf Stable Diffusion.

Gruß,
Xiao

 

[azereus]

hier ein vergleich
https://www.tomshardware.com/pc-components/gpus/stable-diffusion-benchmarks
kann dir bei deiner entscheidung sicherlich helfen
ich sollte die links halt auch anklicken die im eingangspost stehen 🫣

 

[Zwirbelkatz]

Ca. 270 vs 300 vs 320 Tensor Cores. Alle 16GB. 4070 TiS, 4080, 4080S.

Ganz dunkel habe ich im Hinterkopf, dass, von einer auf die nächste Serie, die Zählweise von Recheneinheiten geändert worden ist. Eventuell kann jemand mehr dazu sagen und versteht, was ich meine.

 

[kartoffelpü]

die H100 holen, diese fällt aber mit einem Budget von ca. 120.000,- € ganz knapp aus dem Verfügungsrahmen

Die gibt's doch schon für ca. ein Drittel inkl. 2 HE Server:

 

[madmax2010]

Ich brauche auf meiner RX6700XT ca 10 Sekunden pro Bild @512x512

Die gibt's doch schon für ca. ein Drittel inkl. 2 HE Server:

die kosten liste auch nur gut 30.000 undwennman2 oder mehr nimmt, kann man noch gut verhandeln

 

[eRacoon]

Hat jemand Erfahrungswerte die er mit mir teilen würde?

Also stable diffusion mit simplen Default Settings und 512x512 kloppt die Bilder mit einer 4090 bei mir in ~1s raus.
Daher kommt das mit den 71 Bilder pro Minute aus dem Benchmark den du verlinkst schon grob hin denke.

Wenn es "Low Budget" werden soll und mehr vRAM dann würde sich die 4060Ti 16GB anbieten, aber die ist natürlich nicht viel flotter als deine jetzige beim reinen Compute.
Ansonsten kennst du ja die Alternativen, der Benchmark ist denke ein grober Anhaltspunkt woran man sich orientieren kann.

 

[Xiaolong]

Danke für das fixe Feedback. Also bleibt nur "viel hilft viel". Dann weiß ich ja schon wo die nächste Steuerrückzahlung zum Teil reinfließt

 

[eRacoon]

Könntest halt gebraucht mal schauen ob man an eine 3090 oder so "günstig" ran kommt, aber die dürften vermutlich auch für absurde Preise über den Tisch gehen.

 

[Xiaolong]

Ja, da spare ich noch ein Weilchen glaube ich und nehme dann eine 4090, bzw. dann die neue 5xxx Reihe, mal sehen. So muss ich noch eine Weile über die Runden kommen.

 

[Maviba]

Am liebsten würde ich mir die H100 holen, diese fällt aber mit einem Budget von ca. 120.000,- € ganz knapp aus dem Verfügungsrahmen

Und wie hoch ist dein Verfügungsrahmen?

Die 4060 TI (16Gb) wird in Sachen gaming zwar viel gescholten, aber bzgl. KI ist sie eine sehr gute und günstige Wahl zum einsteigen.

Wenn Dir Effizienz nicht so wichtig ist, kannst du auch die 3090 nehmen, die mittlerweile für einen Taui zu bekommen ist.
Ein wenig effizienter, aber auch überteuert wäre da die 4090.

Und wenn du richtig auf die Kagge hauen willst, kannst Du dich ja auch mal im Profi-Lager von NVIDIA umschauen.
RTX 6000 oder RTX 8000 fallen mir da ein. Immerhin 48 GB VRAM und massig T-cores zum schnäppchenpreis von 6000-7000,- €.

Nee, scherz beiseite, aber die alten RTX-A/Quadros würde ich mir tatsächlich mal anschauen. Auf dem Gebrauchtmarkt gibt es teils gute angebote für diese.