Gaming + AI

[tomgit]

Bei LLMs liegt die Untergrenze halbwegs brauchbarer Modelle bei ca 32GB (V)RAM, gut sind 80GB oder mehr.

Nicht wirklich, Gemma 2 und 3 sind bei den kleineren Modellen schon sehr gut, 27b Parameter sind fast schon Sweetspot, Llama 3 geht auch in der Größe gut.

Ich habe die Möglichkeit eine eine RTx 3080 12Gb für 355€ neu im Rahmen eines Garantie Austausches zu kaufen. Dlss 4, ohne (M)FG läuft ja auch auf den 3000er Karten.

Wie wichtig ist dir AI?
Ich habe selbst eine 3080Ti, nochmal etwas mehr Leistung, auch 12GB VRAM - und komme bei manchen Modellen einfach an die Grenzen. Gerade was Bildgenerierung anbelangt, wird es hier schon knapp, wenn man nicht auf stark quantifizierte Modelle zurückgreifen mag. Aber selbst bei Sprachmodellen macht es hier durchaus einen Unterschied: 12GB oder 16GB machen etwa aus, ob man ein Gemma 2 mit 27b Parametern laden kann oder nicht - das liegt bei 15,5GB.

Auch wenn dich FG nicht interessiert, wird die Technologie wahrscheinlich zum Standard werden, damit Spiele künftig in flüssigen Framerates laufen werden. DLSS hat es ja bereits vorgemacht.

 

[TheOptimizer]

Wie wichtig ist dir AI?

Nunja so wirklich Erfahrungen damit, bis auf mit Amuse.ai habe ich nicht. Ich finde es halt mega interessant und würde gern mit realistischen Bildmodellen arbeiten, einfach um zu sehen, was geht. Zudem wampne ich mich gern Zukunftsorientiert. Ich spiele zwar aktuell keine AAA Titel doch laut diesem Video sieht es auch mit 12Gb allmählich knapp aus in 1440p.

FG und co. Finde ich ebenso durchaus interessant. Diese Tools und Techniken die NVIDIA und AMD entwickeln werden in der Zukunft immer maßgebender. Das ist klar.

Schwierige Entscheidung. VRAM gegen Rohleistung.