Welche Budget GPU für lokale KI Tools (Ubuntu)?

[dragnod0]

Hallo,
da mir die teilweise sehr begrenzen Kontingente der verschiedenen Anbieter nicht ausreichen (oder schlicht zu teuer sind), überlege ich ähnliche KI Tools lokal laufen zu lassen. Also Bildgeneratoren, Video Generatoren, Musik KI, TTS-KI. So was in der Art.

Ich habe ein wenig mit Pinokio auf CachyOS mit einer AMD RX 6700 XT (12GB VRam) rum gespielt und habe es nicht hin bekommen auch nur eines der für mich interessanten KI Tools ans Laufen zu bekommen. Auch mit Tiny11 und Pinokio hatte ich keinen Erfolg.
Ich vermute daher mal das es an meine Grafikkarte und deren sehr begrenzen VRam liegt.

Also stellt sich jetzt die Frage nach einem Modell, mit dem solche Anwendungen machbar sind. Das Problem ist mein sehr begrenztes Budget. Jenseits von 600€ wäre nur schwer machbar.


Ich dachte an eine RTX 4060 TI (16GB VRam). Da gibt es aktuell noch Angebote für ~460€.
Was meint ihr? Ist das eine noch brauchbare Option oder habt ihr alternativen?

Ich würde ja lieber eine AMD GPU nehmen, aber viele der KI Tools sind auf Cuda optimiert.


Ich bin mal gespannt auf eure Meinungen.

Gruß

 

[rollmoped]

Um Sprachmodelle auf Linux auszuführen würde ich Ollama empfehlen.

 

[tomgit]

Nimm eine Nvidia der letzten 2-3 Generationen mit möglichst viel VRAM.

AMD wird besser, ist aber noch vieles Bastelei. Intel lässt ja leider noch auf sich warten, bieten aber die besten Repos mit vorgefertigten Scripts an

 

[Azghul0815]

Das beste wäre vermutlich eine 3090, es gibt gute Modelle die mit 16GB VRAM laufen, abee je nachdem, kanns trotzdem eng werden.

 

[Rickmer]

Ich dachte an eine RTX 4060 TI (16GB VRam). Da gibt es aktuell noch Angebote für ~460€.

Da eine MSI GeForce RTX 5060 Ti 16G nur 420€ kostet halte ich das für ein ziemlich schlechtes Angebot...

Ansonsten wäre die beste Karte im 'Budget' Bereich eine gebrauchte RTX 3090.

 

[drake23]

Hab ollama mit einer 7700xt und z.b. gemma3 8b problemlos nutzen können.

Aber allgemein soll VRAM ja wichtig sein, also vielleicht eine 9060xt probieren?

Ergänzung (3. Juli 2025)

Bei AMD ist der rocm Support entscheidend, ich glaube, der ist ab 7000er Reihe ok

 

[dragnod0]

Ansonsten wäre die beste Karte im 'Budget' Bereich eine gebrauchte RTX 3090.

hmm, du hast recht. Hätte nicht gedacht das die 3090 halbwegs im Budget ist. Wobei die auf ebay immer noch ~800€ kosten sollen. Die 24GB VRam sind aber eindeutig besser für KI zu gebrauchen als die 16 GB der "normalen" GPUs.

 

[Rickmer]

Wobei die auf ebay immer noch ~800€ kosten sollen.

700€ sollten machbar sein wenn ich mich richtig erinnere, zumindest mit etwas Geduld

Die 24GB VRam sind aber eindeutig besser für KI zu gebrauchen als die 16 GB der "normalen" GPUs.

Nicht nur mehr VRAM, sondern auch die doppelte Speicherbandbreite gegenüber der 5060 Ti

 

[dragnod0]

Um Sprachmodelle auf Linux auszuführen würde ich Ollama empfehlen.

Die normalen Sprachmodelle sind nicht das Problem. Die brauche ich auch nicht. Mir geht es wie erwähnt eher um Spezial-Tools zum Erstellen von Bildern, Videos, Musik usw.

 

[Azghul0815]

Spezial-Tools zum Erstellen von Bildern, Videos, Musik usw.

Mit bei Videos bin ich noch net. Bilder gingen damals mit einer 4070 ti s gut (ComfyUi mir Flux und SD3.5)
Gibt's für musik ne opensource AI?

 

[rollmoped]

Die normalen Sprachmodelle sind nicht das Problem. Die brauche ich auch nicht. Mir geht es wie erwähnt eher um Spezial-Tools zum Erstellen von Bildern, Videos, Musik usw.

Wenn du schreiben könntest, welche Modelle du ausführen möchtest, könnte man dir sicherlich besser helfen.

Dass es mit der bestehenden Karte nicht geht, ist aktuell eine Vermutung.

 

[NameHere]

Für Video brauchst du viel VRAM und RAM. Eine 5090 ist da auch nicht wirklich schnell bei 720p. Da werden oft mehrere zusammen genutzt.
Reine Bildgenerierung reichen 12-16GB Karten aus. Willst du LORA oder Checkpoints trainieren, dann ab 24 GB (4090/5090)
Für Spachmodelle gilt es gibt nie genug RAM/VRAM. Hängt aber auch stark vom verwendeten Model ab.

Sobald das Model nicht in den VRAM passt, wird es elendig langsam. Bedenke das unter Windows schon ~1GB VRAM weg sind für dein Desktop.

Für Musik wird ähnliches gelten.

 

[tomgit]

Für Video brauchst du viel VRAM und RAM. Eine 5090 ist da auch nicht wirklich schnell bei 720p

Kommt auf das Modell an, die Nunchaku-Prunes sollen auch bei 6GB VRAM gute Arbeit leisten, sind dafür bei Realismus nicht gaaaaanz so gut.

z.B.: https://github.com/mit-han-lab/nunchaku

 

[DJKno]

Ganz ehrlich, wenn du bereit bist 500€+ auszugeben, warum dann nicht einfach ein kostenpflichtiges Abo abschließen?
Das kommt doch auf die Zeit gerechnet trotzdem billiger und bedarf keiner Bastelei.

 

[NameHere]

@tomgit hatte letztens GGUF Quantization Modelle für ComfyUI mit Teacache angetestet.
https://github.com/city96/ComfyUI-GGUF
Dauert mir alles immer noch zu lange

 

[tomgit]

Bei der Bildgenerierung sollen GGUFs langsamer sein als Safetensors, aber ich hab sie selbst noch nicht getestet

 

[NameHere]

Habs nur für Videos probiert. Für Bilder ist alles nutze ich SDXL Modelle und wenn es schnell sein DMD Modelle (LCM).

 

[madmax2010]

Da eine MSI GeForce RTX 5060 Ti 16G nur 420€ kostet halte ich das für ein ziemlich schlechtes Angebot...

Yep. Da ist ein Mac Mini schneller und kostet vergleichbar viel

Ergänzung (4. Juli 2025)

Bei AMD ist der rocm Support entscheidend, ich glaube, der ist ab 7000er Reihe ok

So langsam wird es

 

[Rickmer]

Da ist ein Mac Mini schneller

Hat aber noch weniger VRAM fürs nicht genannte Budget in das so grade eine 3090 rein passen würde.

Und der M4 Chip hat auch nur (für LLMs) lächerliche 120 GB/s Speicherbandbreite.
Der M4 Pro hat mehr als doppelt so viel, aber der wäre weit oberhalb der bisher genannten Preisvorstellungen.

Alles von Apple das wirklich gut AI kann ist auch preislich in Konkurrenz mit einem System mit zwei gebrauchten 3090:

 

[dragnod0]

Gibt's für musik ne opensource AI?

ACE-Step

Wirklich beschäftigt habe ich mit dem Thema aber noch nicht.

Wenn du schreiben könntest, welche Modelle du ausführen möchtest, könnte man dir sicherlich besser helfen.

Wie eingangs geschrieben, alles in Pinokio: Dia, DiffRhythm, flashdiffusion, PCM und noch ein paar andere, deren Namen ich aber nicht mehr weiß.

Die Fehlermeldung war aber fast immer dieselbe. Frei übersetzt konnte ein Kommando nicht ausgeführt werden, weil die Hardware es nicht unterstützt.

Das kommt doch auf die Zeit gerechnet trotzdem billiger und bedarf keiner Bastelei.

Nein, das stimmt nicht. Ich möchte damit YouTube-Videos erstellen. Ich brauche also mal mindestens einen Bildgenerator, einen hochwertigen Text-to-Speech Dienst und eine Quelle für Musik. Wobei es für Musik ja auch kostenlose Bezugsquellen gibt. Bei Leonardo AI brauche ich schon das 60$ Abo, weil die generierten Bilder nicht immer optimal sind und man mehrere Bilder generieren muss.
Bei ElevenLabs brauche ich auch mindestens das 22$ Abo um 100 Minuten hochwertige Stimmen zu bekommen. Bei dem billigen Abo sind es nur 30 Minuten. Das sind schon mal mindestens 80$ pro Monat.
Das ist dann auch nur die absolute Basis. Wenn ich dann noch einen animierten Avatar erzeugen will, der das erzeugte Audio spricht, wird es richtig teuer! Allein dafür muss ich noch mal 100$ pro Monat bezahlen, um ein halbwegs anständiges Kontingent zu haben.
Da braucht es kein Jahr bis ich so viel Geld für die Dienste ausgegeben habe, dass ich für eine Gebrauchte RTX 3090 bezahlen würde.

fürs nicht genannte Budget

Ich habe in etwa einen Rahmen genannt:

Das Problem ist mein sehr begrenztes Budget. Jenseits von 600€ wäre nur schwer machbar.

Ich muss den Betrag ansparen. Deswegen würde theoretisch auch 5000€ gehen. Ich will das aber innerhalb von einem Jahr oder besser noch ein paar Monaten umsetzen. Deswegen das knappe Budget.