Welche Budget GPU für lokale KI Tools (Ubuntu)?

[rollmoped]

DIA läuft bei mir auf einer RX 9070 (Linux). Allerdings habe ich nicht Pinokio benutzt (ich möchte es auch nicht installieren). Die erzeugte Sounddatei ist wirklich top, klingt wirklich echt - jedenfalls in Englisch. Wieder etwas neues gelernt.

Es verbraucht nur 8 GB VRAM. Somit liegt es nicht am mangelnden VRAM.

Vielleicht teste ich die anderen genannten Modelle auch noch wenn ich Zeit habe. Es sieht aber so aus als ob Pinokio einfach noch keine AMD-Karten unterstützt.
Siehe hier: https://github.com/pinokiocomputer/pinokio/issues/163

Wenn du bereits ROCm installiert hast (quasi das CUDA von AMD), wird es also vermutlich nicht benutzt, weil Pinokio nicht die korrekte PyTorch Version installiert, die man für ROCm braucht.
So wie hier beschrieben: https://pytorch.org/get-started/locally/

 

[dragnod0]

@rollmoped
Danke für die Info.
Ich habe die genannten Modelle nur installiert um zu testen, ob eins davon funktioniert.
Es funktioniert wohl auch deswegen nicht, weil meine Architektur zu alt ist. ROCm wird laut AMD erst ab RDNA3 also Radeon 7000 unterstützt. Da bin ich mit meiner Radeon 6700 XT leider eine Generation zu alt.

Wobei andere davon berichten das sie es in Ubuntu auch mit einer 6700XT hin bekommen haben.
Mal sehen ob ich es mit CachyOS hinbekomme. Sonst muss ich mir überlegen, wie ich auf einer zusätzlichen Festplatte Ubuntu installiere.
Vielleicht liegt es ja wirklich nur an Pinokio.

 

[rollmoped]

Unterstützt wird die Karte nicht offiziell, aber es gibt wohl Leute, die trotzdem ROCm damit nutzen.
https://www.reddit.com/r/LocalLLaMA/comments/18ourt4/my_setup_for_using_rocm_with_rx_6700xt_gpu_on/

(Der Guide dort ist vermutlich mittlerweile veraltet, weil inzwischen neue ROCm Versionen herausgekommen sind)

 

[dragnod0]

Wenn ich es Manuel mit Docker installiere, geht es. Mit Nari (Dia?) habe ich so aber ein Realtime Faktor von 0,02. Obwohl ich die GPU Variante compiliert habe. Produktives Arbeiten kann ich vergessen. Ich werde es aber auch noch mal mit Dia probieren.

ComfyUI läuft auch schon, getestet habe ich das aufgrund der Komplexität aber noch nicht.

 

[rollmoped]

Mit DIA auf der GPU braucht es bei mir ca. 1 Minute und 10 Sekunden um 17 Wörter mit 2 verschiedenen Stimmen zu erzeugen. Davon alleine ca. 20 Sekunden Vorlaufzeit und danach ca. 10 Sekunden um das Modell in den Speicher zu laden.
Für den, der weiß, wie lange es auf einer CPU braucht, sind das schon Traumwerte. Aber weit von Echtzeit entfernt.

Vermutlich kann man Echtzeit Generierung nur erreichen, wenn man stärkere/mehrere Grafikkarten benutzt. Die könnte man zum Beispiel in einer Cloud zeitweise anmieten. Aber getestet habe ich so etwas noch nie.

 

[Ghosa]

Um alle deine Anforderungen zu erfüllen, sollte eine gebrauchte 3090 das beste Preisleistungsverhältnis bieten. Unter der macht Videogenerierung nämlich nicht viel Spaß, ausser Du hast viel zeit und es macht Dir nichts aus auf das Video zu warten.