GPU vorrangig für KI

[Pilly]

ich möchte mich gerne tiefer in das Thema KI einarbeiten und dazu auch gerne mal ein Sprachmodell oder eine Bildgenerierung lokal laufen lassen. Außerdem gerne auch mal die ein oder andere Anwendung hobbymäßig selbst programmieren und mit GPU-Unterstützung lokal ausführen.

Aus dem Grund möchte ich mir gerne ein System zusammenstellen, mit dem ich diese Dinge einigermaßen fix ausführen kann.

Lohnt es sich grundsätzlich eine professionelle GPU (RTX Pro aus der Ada oder Blackwell Serie) dafür anzuvisieren oder ist eine Consumer Karte dafür ausreichend bzw. was wären Vorteile von ersterem?


1. Wie viel Geld bist du bereit auszugeben?
800-1000 Euro. Falls mein Vorhaben mit günstigeren Modellen möglich ist, natürlich gerne.

2. Möchtest du mit der Grafikkarte spielen?

• Ggf. vereinzelt. Wichtiger ist die Nutzung für künstliche Intelligenz.

3. Möchtest du die Grafikkarte für spezielle Programme & Anwendungen (z.b. CAD) nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Als Hobby zum Ausführen von LLMs, generieren von Bildern, programmieren eigner Anwendungen.

4. . Wieviele und welche Monitore möchtest du nutzen? Wird G-Sync/FreeSync unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
Zwei über DP.

5. Nenne uns bitte deine aktuelle/bisherige Hardware:

• Nicht vorhanden würde ich mir entsprechend konfigurieren. Geht hier um die Karte.

6. Hast du besondere Wünsche bezüglich der Grafikkarte? (Lautstärke, Anschlüsse, Farbe, Hersteller, Beleuchtung etc.)


7. Wann möchtest du die Karte kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Zwei, drei Monate.

 

[Rickmer]

Lohnt es sich grundsätzlich eine professionelle GPU (RTX Pro aus der Ada oder Blackwell Serie) dafür anzuvisieren oder ist eine Consumer Karte dafür ausreichend bzw. was wären Vorteile von ersterem?

Wo willst du denn für 1000€ eine gebrauchte profi GPU her bekommen?

Bei dem Budget -> gebrauchte 3090 (Ti) um die 24GB VRAM mit der notwendigen Speicherbandbreite zu haben

Oder warten bis nvidia die 5070 Super / 5080 Super mit brauchbaren Mengen an VRAM rausbringt. Angenommen eine 5080 mit 24GB VRAM bekommst du innerhalb des Budget gekauft.

 

[gman32]

Vielleicht bietet sich das https://www.nvidia.com/de-de/autono...systems/jetson-orin/nano-super-developer-kit/ hier bei dir an

 

[madmax2010]

Bei dem Budget -> gebrauchte 3090 (Ti) um die 24GB VRAM mit der notwendigen Speicherbandbreite zu haben

Und das ist spätestens bei LLMs das absolute minimum. Bildmodelle sind sparsamer, aber auch stark quantisiert ist mit 42 GB vram bei etwa 20B Parametern vorbei

Ich bevorzuge lokal wenig für Hardware auszugeben, die man nur zu einem Zweck braucht

Zum ernsthaft mit LLMs spielen, kannst du dir stundenweise erheblich performantere GPUs für wenige Cent pro Stunde mieten.
Selbst eine h100 80GB kannst du 2+Jahre jeden Arbeitstag Tag 8 Stunden buchen bevor du so viel gezahlt hast wie du gerade zahlen willst .

Vielleicht bietet sich das https://www.nvidia.com/de-de/autono...systems/jetson-orin/nano-super-developer-kit/ hier bei dir an

102gb/s und sehr wenig RAM
Das kann man zur objekterkennung super nutzen, aber für LLMs passt das nicht

 

[NameHere]

Zum ernsthaft mit LLMs spielen, kannst du dir stundenweise erheblich performantere GPUs für wenige Cent pro Stunde mieten.
Selbst eine h100 80GB kannst du 2+Jahre jeden Arbeitstag Tag 8 Stunden buchen bevor du so viel gezahlt hast wie du gerade zahlen willst .

Wo? Hast du ein Link?

 

[madmax2010]

@NameHere https://app.primeintellect.ai/dashb...t&quantity=1&security=Cheapest&show_spot=true

1 Euro pro Stunde bei der h100 sieht man seit November immer öfter

 

[gaym0r]

Selbst eine h100 80GB kannst du 2+Jahre jeden Arbeitstag Tag 8 Stunden buchen bevor du so viel gezahlt hast wie du gerade zahlen willst .

Bei dem genannten Preis von 1€/h sind das 3520€ in den 2 Jahren. Er will 1000€ zahlen.

 

[NameHere]

@gaym0r er soll weniger als 220 Tage im Jahr arbeiten oder sich eine schwächere GPU buchen ;-)

Edit: Mit einer A6000 48GB für 0,36$ die Stunde sollte es dann aber passen
https://app.primeintellect.ai/dashb...t&quantity=1&security=Cheapest&show_spot=true

 

[madmax2010]

ah ne @gaym0r hat da schon recht. Im Kopf zwischen Tür und Angel überschlagen und dabei einen schritt verpeilt. Gleich Faktor 10 daneben.

Die Kernaussage soll aber die gleiche sein: Mit Endkunden Hardware kann man viel Geld ausgeben, ist aber auf sehr kleine Modelle limitiert.
Das kann man schnell und mit vergleichsweise wenig Geld umschiffen, in dem man nach bedarf Hardware mietet um mit entsprechend großen Modellen spielen zu können. Ob es nun eine A100, A6000 oder H200 ist, kommt dann halt drauf an.

Man kann sich, im Zweifelsfall, mit einem 10 Jahre alten Notebook, so gut wie mit einem 5000 Euro Desktop in der Thematik austoben