Grafikkarte für KI Workflows im Heimserver gesucht

[KaeTuuN]

Moin zusammen!


1. Wie viel Geld bist du bereit auszugeben?
so wenig wie möglich, max. 400€

2. Möchtest du mit der Grafikkarte spielen?

• NEIN, es findet überhaupt keine Bildausgabe statt

3. Möchtest du die Grafikkarte für spezielle Programme & Anwendungen (z.b. CAD) nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?

• Die Karte ist exklusiv für KI-Modelle in meinem Heimserver gedacht. Bildausgabe gibt es nicht.
• Als OS kommt Debian Linux 12 (bald 13) zum Einsatz
• Die Karte soll unterschiedliche Modelle, teilweise gleichzeitig, bereitstellen.
  • SauerkrautLM
  • Deepseek
  • Llama
  • Mistral
  • Qwen
  • ...
• Die Modelle werden für Nextcloud, paperless-ai, calibre und zukünftig bestimmt weitere Dienste genutzt.

4. . Wie viele und welche Monitore möchtest du nutzen? Wird G-Sync/FreeSync unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)

• Gar keine!

5. Nenne uns bitte deine aktuelle/bisherige Hardware:

• Betriebssystem: Debian Linux 12 (bald 13)
• Prozessor (CPU): AMD Ryzen 5 3600
• Aktuelle/Bisherige Grafikkarte (GPU): keine
• Netzteil(Genaue Bezeichnung): be quiet! Dark Power Pro 11 550W ATX 2.4
• Gehäuse: Nanoxia Deep Silence 1 Rev. B schwarz, schallgedämmt
• Kompletter Server: https://geizhals.de/wishlists/711411

6. Hast du besondere Wünsche bezüglich der Grafikkarte? (Lautstärke, Anschlüsse, Farbe, Hersteller, Beleuchtung etc.)

• Leise!! (Der Server muss leider im Wohnzimmer stehen)
• Ich nutze nur die Open Source Treiber, daher ist Nvidia raus.

7. Wann möchtest du die Karte kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?

• Der kauf eilt nicht

8. Was habe ich mir bereits für Gedanken gemacht:

• Nach meinem bisherigen Wissen brauche ich vor allem VRAM (damit da die Modelle liegen können) und idealerweise sollte er schnell sein.
• Daher würde ich auf jeden Fall eine Karte mit min. 16 GB nehmen.
• Da ich den HDD Käfig benötige, können Grafikkarten max. 315mm lang sein.
• Da ich noch den SAS Controller habe, darf die Karte. max. 2 Slots belegen.
• Das ergibt dann, zusammen mit dem Budget von oben, die folgende Liste: https://geizhals.de/langer_link
• Von den Daten her wäre dann die Intel ARC A770 wohl perfekt für mich, ich habe aber noch einige Vorbehalte, was deren Treiber angeht. Preislich hingegen ist sehr sehr attraktiv!
• Platz zwei wäre dann eine der 9060XT Karten. Da stellt sich die Frage: Welche?

Wie ist eure Meinung? A770 oder 9060XT?
Gibt es vielleicht noch etwas, dass ich komplett übersehen habe?
Gibt es für wenige Euro mehr vielleicht noch ein wesentliches Upgrade, das sich lohnen würde?

Vielen Dank schon mal für eure Hilfe!

Mfg Kae

 

[Tornhoof]

Nimm die Karte die mehr VRAM hat. Bei gleichem VRAM habe ich gutes von den ARC Karten gehört (aber nie selber ausprobiert, hab NVIDIA)

 

[NameHere]

Eine 5060Ti wäre wahscheinlich besser, da das meiste auf NVDIA optimiert ist

 

[nutrix]

Er wollte doch keine Nvidia Karte. Da bleibt ja nur eine Intel oder AMD GPU.

Ergänzung (Freitag um 11:38)

Gibt es für wenige Euro mehr vielleicht noch ein wesentliches Upgrade, das sich lohnen würde?

Nein, Du bist hierfür schon am untersten Limit. Da liegst Du mit Deinen Einschätzungen einer 770 oder 9060 richtig. RAM ist wichtig, daher wird mehr als 16 GB für Dich hier nicht möglich sein.

 

[Zwirbelkatz]

Gibt es für wenige Euro mehr vielleicht noch ein wesentliches Upgrade, das sich lohnen würde?

Leider nicht:
https://geizhals.de/sparkle-arc-pro-b60-blower-1a1-s00442200g-a3603827.html?hloc=de

Ist dies die Nächstkleinere?
https://geizhals.de/intel-arc-pro-b50-a3584363.html

Wie diese ARC sich gegen eine RX 9060 XT 16GB schlägt, magst du gerne recherchieren.


Rund 450€ gebraucht:
https://www.ebay.de/sch/i.html?_nkw...kw=7900+xtx&_osacat=0&LH_Complete=1&LH_Sold=1

be quiet! Dark Power Pro 11 550W ATX 2.4

10 Jahre alt.
https://geizhals.de/be-quiet-dark-power-pro-11-550w-atx-2-4-bn250-a1318886.html

Da stellt sich die Frage: Welche?

Asus Dual, falls Farbe egal. Die Reaper. Gegen Aufpreis die Hellhound, oder die Sapphire Nitro+.

 

[JumpingCat]

• Ich nutze nur die Open Source Treiber, daher ist Nvidia raus.

Die meisten LLM Setups sind auf nVIDIA / CUDA ausgelegt. Überlege ob du wirklich von dem ganzen Ökosystem weg willst.

• Gehäuse: Nanoxia Deep Silence 1 Rev. B schwarz, schallgedämmt

Eher ungünstig. Egal welche Grafikkarte du nimmst, die wird massiv Wärme produzieren. Im Gegensatz zum Gaming lasten KI-Modelle die Grafikkarten komplett aus.

Wie ist eure Meinung? A770 oder 9060XT?

Hast du mal geguckt wie langsam/schnell diese Karten sind?

so wenig wie möglich, max. 400€

In der Region 750€ bekommst du eine nVidia 5070Ti mit 16GB, auch wenn du nVidia nicht willst.

 

[nutrix]

In der Region 750€ bekommst du eine nVidia 5070Ti mit 16GB, auch wenn du nVidia nicht willst.

Bei 400 € Budget bleibt wohl eher eine ältere GPU 30x0/40x0 mit 16 GB oder mehr.

 

[Zwirbelkatz]

Gibt es eine RTX (?) 3000 oder 4000 mit 16GB, die es gebraucht für 400€ gibt?
Weder 3090, noch 4070 Ti Super. Auch keine RTX A4000 16GB.

 

[KaeTuuN]

An diejenigen, die doch eine nvidia empfehlen: In der Windowswelt war/bin ich mit denen zufrieden, unter Linux hatte ich aber immer wieder Probleme und werde mir das garantiert nicht wieder antun. Ich bin mir bewusst, dass CUDA Aktuell das Maß der Dinge ist, aber meine Erfahrungen mit nvidia und Linux möchte ich nicht wiederholen.

Rund 450€ gebraucht:
https://www.ebay.de/sch/i.html?_nkw...kw=7900+xtx&_osacat=0&LH_Complete=1&LH_Sold=1

Auf die Idee mal im Gebrauchtmarkt zu gucken, war ich tatsächlich nicht gekommen. Danke dafür!

10 Jahre alt.
https://geizhals.de/be-quiet-dark-power-pro-11-550w-atx-2-4-bn250-a1318886.html

Das Modell an sich ja, da hast du Recht. Meines ist allerdings erst vier Jahre alt und verrichtet unhörbar seinen 24/7 Dienst.

Ist dies die Nächstkleinere?
https://geizhals.de/intel-arc-pro-b50-a3584363.html

Uhhhhh! Die hatte ich ja gar nicht auf dem Schirm! Die werde ich mir mal genauer ansehen. 170 TOPS (INT8) bei nur 70 Watt klingt ideal für meinen Server im Wohnzimmer! Auch hier: Danke dafür!

Eher ungünstig. Egal welche Grafikkarte du nimmst, die wird massiv Wärme produzieren. Im Gegensatz zum Gaming lasten KI-Modelle die Grafikkarten komplett aus.

Das habe ich schon befürchtet und überlege schon länger, wie ich da was gegen machen kann. Ideen für ein gutes Gehäuse oder andere Möglichkeiten, das System leise zu halten sind gerne gesehen! (Die Intel B50 könnte hier meine Rettung werden.

Hast du mal geguckt wie langsam/schnell diese Karten sind?

Da das Einsatzszenario keine keinen Echtzeitchat oder viele parallele Anfragen gleichzeitig vorsieht, ist mir das in der Tat nicht so wichtig. Aktuell schleicht meine KI auf der CPU rum. Egal, was es also am Ende wird, es wird um Welten besser werden!

Aufgabe für mich: Tests der B50 Pro finden. Am besten unter Linux und mit AI Worklaods und idealerweise mit der A770 oder der 9060XT als Vergleich.

Danke schon mal an alle für den Input!

Mfg Kae

 

[Zwirbelkatz]

Gern geschehen, danke für das Feedback.

Leise wird eine Blower B50 bestimmt nicht sein. Nicht ohne Umbau.

Ein sehr gut gedämmtes Gehäuse schließt in der Regel die Hitze ein, sodass die Gehäuselüfter mehr arbeiten müssen, womit der PC spätestens dann doch nicht mehr leise ist. Das ist halt das Ding.

 

[nutrix]

Gibt es eine RTX (?) 3000 oder 4000 mit 16GB, die es gebraucht für 400€ gibt?

Was ist mit der RTX 4060 TI?

 

[Zwirbelkatz]

RTX 4060 TI

Muss ich vergessen haben, da sie (für Spieler) zu ihrer Zeit mit 450€+ extrem unbeliebt war.
Danke für die Korrektur.

https://www.kleinanzeigen.de/s-preis:333:410/4060-ti-16gb/k0

Die dort ständig aufgeführte Ventus dürfte wohl nicht leise sein; jedenfalls ists meistens so bei Ventus.
Bitte mal checken, @KaeTuuN

 

[nutrix]

An diejenigen, die doch eine nvidia empfehlen: In der Windowswelt war/bin ich mit denen zufrieden, unter Linux hatte ich aber immer wieder Probleme und werde mir das garantiert nicht wieder antun. Ich bin mir bewusst, dass CUDA Aktuell das Maß der Dinge ist, aber meine Erfahrungen mit nvidia und Linux möchte ich nicht wiederholen.

Was hast Du denn bitte genau für Probleme? Bei mir mit Ubuntu und einer Blackwell GPU geht mit Jypter Notebook oder LMStudio alles gut.

 

[oicfar]

• Die Karte soll unterschiedliche Modelle, teilweise gleichzeitig, bereitstellen.
  • SauerkrautLM
  • Deepseek
  • Llama
  • Mistral
  • Qwen
  • ...

Da fehlen noch die Angaben mit wie viel Parametern und in welcher Quantisierungsstufe du diese Modelle bereitstellen möchtest.

Und gleichzeitig setzt voraus, dass entsprechend viel VRAM (auch für den Kontext) vorhanden ist.

Ergänzung (Freitag um 19:58)

• Die Modelle werden für Nextcloud, paperless-ai, calibre und zukünftig bestimmt weitere Dienste genutzt.

Wie genau nutzt paperless-ai und calibre eine KI? Was passiert da genau?

Ist auch relevant für die Entscheidung welche Modelle mit wie viel Parametern man betreiben muss damit es so funktioniert, wie erwartet.

 

[KaeTuuN]

Zur Intel ARC B50 Pro gibt es zum Glück einige ordentliche Tests:

• https://www.phoronix.com/review/intel-arc-pro-b50-linux
• https://www.heise.de/tests/Intel-Arc-Pro-B50-im-Test-Mit-16-GByte-an-die-Spitze-10569834.html (Paywall)
• https://www.hardwareluxx.de/index.p...station-lösung-intel-arc-pro-b50-im-test.html

Nach den Ergebnissen und auch der Aussage im heise Artikel, dass die Lautheit sich im Rahmen halten soll, ist das aktuell in der Tat mein Favorit.

Was hast Du denn bitte genau für Probleme? Bei mir mit Ubuntu und einer Blackwell GPU geht mit Jypter Notebook oder LMStudio alles gut.

Hier mal eine unvollständige Liste der Probleme der letzten ca. 5 Jahre bei über 1.000 Endgeräten (Desktop & Laptop) mit nvidia Consumerkarten & -chips, die ich erlebt habe:

• Plötzlich wird booten komplett verweigert (vor allem bei Arch Systemen, weil Probleme mit dem Kernel und deren Closed Source Treiber auftraten, Nouveau funktionierte)
• Aus unbekannten Gründen kann die Karte nicht in Sparmodi schalten und läuft dauerhaft auf Max. Takt (Problem trat völlig willkürlich auf)
• Aus unbekannten Gründen kann die Karte nicht in Leistungsmodi schalten und läuft dauerhaft auf Min. Takt (Problem trat völlig willkürlich auf)
• Nach längeren Sessions mit Grafikintensiven Anwendungen friert das Bild ein (Trat vor allem bei Fedora und dessen Derivaten/Spins auf)
  • Dabei sind sogar ein paar Grafikkarten gestorben (Genaue Zahl weiß ich nicht mehr, aber es waren nur dedizierte und ziemlich sicher weniger als 10)
• Booten, ohne das die Treiber korrekt geladen wurden, hier half dann ein (teils mehrfacher) Reboot (Das Problem trat nur unter Debian auf)

Da ich im gleichen Zeitraum auch ca. 4.000 Systeme mit AMD Grafikchip unter Linux betreut habe und dort wesentlich weniger Probleme auftraten, mag es sein, dass CUDA das Ding für KI ist, aber darauf habe ich keine Lust.

Da fehlen noch die Angaben mit wie viel Parametern und in welcher Quantisierungsstufe du diese Modelle bereitstellen möchtest.

Und gleichzeitig setzt voraus, dass entsprechend viel VRAM (auch für den Kontext) vorhanden ist.

Gute Punkte, auf die ich noch keine gute Antwort habe... Aktuell experimentiere ich viel mit SauerkrautLM. Vor allem mit dem Llama-3.1-SauerkrautLM-8b-Instruct Modell.

Wie genau nutzt paperless-ai und calibre eine KI? Was passiert da genau?

paperless-ai und calibre habe ich das noch nicht implementiert.
Paperless nutzt die KI für OCR und Klassifikation der Dokumente, Details gibt es hier: https://github.com/clusterzx/paperless-ai/
calibre kann neuerdings KI nutzen um die Texte in Calibre zu erfassen und dann Fragen dazu zu beantworten (z.B. gibt mir eine Zusammenfassung von Harry Potter oder Zähle mir alle Bösewichte in Herr der Ringe auf, die mit Namen erwähnt werden). Siehe hier: https://calibre-ebook.com/whats-new
Ich hoffe, ich konnte deine Fragen damit einigermaßen gut beantworten.

Mfg Kae

 

[oicfar]

Gute Punkte, auf die ich noch keine gute Antwort habe... Aktuell experimentiere ich viel mit SauerkrautLM. Vor allem mit dem Llama-3.1-SauerkrautLM-8b-Instruct Modell.

Je weniger VRAM du hast und je größer die Modelle, desto weniger kann parallel laufen.

Ich hoffe, ich konnte deine Fragen damit einigermaßen gut beantworten.

Danke. Soweit ich es sehe, geht es Richtung RAG.

Beim selbstgebauten RAG bekam ich gute Ergebnisse mit granite4:small-h. Für das Modell braucht man schon 19GB VRAM + Kontext. Die Ergebnisse waren besser als mit llama3.x:8b.

 

[HerrRossi]

Ich will ja nix sagen, aber der Test bei HWLuxx gegen die RTX A1000 ist wohl ein Witz, das Ding hat weniger Rechenleistung als eine RTX 3050. Der bessere Vergleich wäre mit der 5060ti mit 16GB RAM gewesen, die ist imho auch unter Linux* die bessere Wahl, liefert deutlich mehr Token/s: https://www.hardwareluxx.de/index.p...e-rtx-5060-ti-mit-16-gb-im-test.html?start=17

*Man muss darauf achten, dass Treiber und CUDA sauber installiert sind, dann hatte ich keine Probleme.

 

[KaeTuuN]

Je weniger VRAM du hast und je größer die Modelle, desto weniger kann parallel laufen.

Tja, das ist leider genauso eine Grunderkenntnis, wie die Tatsache, dass Geld leider nicht auf Bäumen wächst... Für nur 4 GB mehr müsste ich halt direkt 300,- € mehr ausgeben. Da ist es mir dann glaube ich lieber, erst mal klein anzufangen und wenn ich merke, dass ich wirklich mehr machen möchte, dann hol ich mir lieber eine zweite Graka und kann die dann entweder im Verbund für größere Modelle laufen lassen, oder einzeln für mehrere kleinere Modelle. Die Tatsache, dass ich dann auch ein neues Board bräuchte, würde ich dann meinem Zukunfts-Ich überlassen.

Beim selbstgebauten RAG bekam ich gute Ergebnisse mit granite4:small-h. Für das Modell braucht man schon 19GB VRAM + Kontext. Die Ergebnisse waren besser als mit llama3.x:8b.

Hattest du rein zufällig auch mal die tiny Varianten ausprobiert?
Ich habe bisher primär mit Sauerkraut Modellen experimentiert, weil ich deren Ergebnisse im deutschen Sprachraum ziemlich gut finde. Testen möchte ich aber auf jeden Fall auch mal Apertus.

[...] der Test bei HWLuxx gegen die RTX A1000 ist wohl ein Witz [...]

Nein, dass ist genau der richtige Vergleich, da es hier um Workstation/Server Hardware und nicht um Consumer Hardware geht. Diese nutzen zum einen andere Treiber, spielen aber auch in ganz anderen Verbrauchsklassen. A1000 und B50 liegen beide bei bis 75 Watt, während z.B. die 5060 Ti mit 16 GB bei ca. 180 Watt liegt. Die einen sind auf Effizienz optimiert, die anderen auf Leistung. Ersteres ist mir in einem Server definitiv wichtiger.

Mfg Kae

 

[oicfar]

Tja, das ist leider genauso eine Grunderkenntnis, wie die Tatsache, dass Geld leider nicht auf Bäumen wächst...

Den Satz muss ich mir merken.

Hattest du rein zufällig auch mal die tiny Varianten ausprobiert?

Ja, aber für das was ich mache (zu 80% coding), sind diese nicht geeignet.

Ich habe bisher primär mit Sauerkraut Modellen experimentiert, weil ich deren Ergebnisse im deutschen Sprachraum ziemlich gut finde. Testen möchte ich aber auf jeden Fall auch mal Apertus.

Apertus habe ich mir in den ersten 1-2 Wochen nach dem Erscheinen angesehen. Hatte aber zu dem Zeitpunkt eher mehr Probleme gehabt und es war langsam. Ich muss mal schauen, ob die Unterstützung in Ollama (das nutze ich) und Open WebUI besser geworden ist.

Die Tage ist ministral-3 rausgekommen. Da solltest du dir mal die 3b und 8b Variante anschauen.