Welche GPU für lokalen KI-Server (TrueNAS SCALE)?

[Lenti]

Hallo zusammen,

ich hoffe ich bin hier im richtigen Bereich. 😅

ich habe aktuell ein DIY-NAS auf Basis von TrueNAS SCALE laufen und überlege, das System um eine GPU für lokale KI-Anwendungen zu erweitern.

Mein Setup:

• https://geizhals.de/wishlists/4506635
• Nutzung: Homelab, Lernen (Fachinformatiker Systemintegration), KI/Automatisierung, Smart-Home-Anbindung

Wichtig ist mir:

• gute Unterstützung für lokale LLMs
• ich möchte vor allem ausprobieren und lernen. Ein möglicher Anwendungsfall wäre, eine lokale KI zu nutzen, die meine Lernunterlagen durchsuchen und mir beim Auffinden von Informationen helfen kann
• gleichzeitig möchte ich mir etwas Spielraum offenhalten, um später weitere Themen rund um KI, Homelab oder Automatisierung auszuprobieren
• ich möchte nicht an den Punkt kommen, an dem ich später merke, dass ich wegen zu wenig VRAM direkt wieder aufrüsten muss
• gleichzeitig muss es aber auch kein übertriebenes High-End-Setup sein. Ich hoffe, dass ich mit 12 GB VRAM für den Einstieg und erste ernsthafte Projekte schon sinnvoll arbeiten kann
• ich habe hier im Forum schon einiges dazu gelesen, was man mit einem eigenen Server alles umsetzen kann. Einige der genannten Anwendungen und Tools habe ich gerade nicht mehr konkret im Kopf, aber genau in diese Richtung möchte ich mich nach und nach einarbeiten

Meine Fragen:

1. Welche GPU würdet ihr aktuell für diesen Zweck empfehlen (Preisbereich ca. 300 - 600 €)? 🤔
2. Gibt es bei TrueNAS SCALE + Docker/Apps etwas zu beachten bzgl. GPU-Passthrough / Unterstützung?

Danke euch!

 

[xammu]

definitiv Nvidia und 16GB+

4060ti
3090
4090
vielleicht ne 5060ti

Manche starten mit einer 3060 und 12GB VRAM, wäre mir zu wenig.

https://apxml.com/tools/vram-calculator

 

[tRITON]

Mein Tipp: Nutze doch das für dich passende Modell erst mal und teste ohne deinen GPU Beschleuniger. Wenn das Modell deine Aufgaben zufrieden lösen kann, dann weißt Du auch, was Du brauchst und kauft nicht zu viel oder zu wenig.

Jetzt in blaue 12Gb reichen ... Naaa .... Also meine eigenen Erfahrungen zeigten mir recht klar, was ich brauche.

 

[xammu]

gute Unterstützung für lokale LLMs

Es gibt Modelle da reichen, die 48GB einer RTX6000 nicht.

Modelle festlegen und dann schauen was passt.

 

[Der_Dicke82]

Nutze doch das für dich passende Modell erst mal und teste ohne deinen GPU Beschleuniger.

+1
Bevor du dir eine GPU kaufst, probier nur mit CPU und RAM rum! Mir persönlich sind selbst 16 GB oft zu wenig und deswegen bin ich aus Geldmangel auf ne alte Workstation gekommen.

Alternativ solltest du sagen, was du genau machen willst! Rumprobieren geht halt auch mit der CPU

Du solltest auch bedenken das viele KI Aufgaben gar nicht so zeitkritisch sind! Fotos taggen kann auch über Nacht laufen etc.

Ich habe mir mit ollama und n8n ein paar tools für Termine und Notizen sowie allgemeine Arbeitsorganisation gebaut (Telegramm als Schnittstelle) und da ist es nicht besonders wichtig ob die Antwort nun in 2 sek. oder 2 min da ist.

 

[madmax2010]

Bei dem Budget keine Nvidia gpu.
Vielleicht eine gebrauchte and gpu in Richtung 7900xtx 24gb, ein rockchip rk3588s, oder ein Mac Mini mit 24gb ram.

eine 16gb gpu bringt dir jetzt auch nicht mehr zu lernen als deine CPU, ist auch nichts halbes und nichts ganzes und eher teuer für die möglichkeiten

 

[Picard87]

• ich möchte vor allem ausprobieren und lernen. Ein möglicher Anwendungsfall wäre, eine lokale KI zu nutzen, die meine Lernunterlagen durchsuchen und mir beim Auffinden von Informationen helfen kann

Das ist eine "zeitkritische" Aufgabe. Fotos taggen o.ä. nicht. Überlege genau, wie viel Geld du für ein paar Sekunden weniger Arbeitszeit ausgeben möchtest.
Teste doch mal am Dekstop mit LMStudio und deiner RTX4070 - dann siehst du ob dir deren VRAM und Geschwindigkeit reichen oder ob es etwas größeres sein soll. Dann wird es aber nicht im Budget liegen...

EDIT: beachte auch das Netzteil von 550W - ist zwar ein gutes Modell, aber eine RTX 3090 oder 4090 schafft es nicht. Abgesehen davon, dass das in diesem Setup totaler Overkill wäre und eine 3090 gebraucht nicht sinnvoll ist.

 

[Lenti]

Nagut,... Ihr habt mich überzeugt. Ich mache das ganze erstmal mit der CPU und schaue dann weiter.

Vielen Dank für eure Ratschläge.