der Vorgesetzte will eine LLM box...

[RMS_der_Zweite]

Du brauchst Bandbreite im vRAM. Das zählt.

Könnte noch meinen Spielerechner zweckentfremden, hat eine 5070TI mit 16 GB. Dafür nur 32 GB RAM.

 

[Garmor]

Software-Empfehlungen für den Einstieg?

LM Studio, weil klickibunti und gute Übersicht/Konfigurationsmöglichkeiten. Alternativ Ollama. Als Modell dann eins von den aktuellen MoE-Modellen: Gemma 4 26B A4B oder Qwen3.6 35B A3B.

 

[CrimsoN3.0]

Die Beiträge sind der Hammer ich lach mit den A.... Ab xD

2k für "AI" mega xD

Für LLM, Versuche paar 3090 die sind echt gut da sie per SLI aka NVlink verbunden werden können.

 

[Drakrochma]

Vielleicht kommst Du da ganz knapp hin mit gebrauchten Teilen und dazu eine Intel ark pro b60. Die hat 24 Gigabyte RAM. Ach nur ansatzweise mehr wird es für das Geld wahrscheinlich nicht werden. Ich habe zwei b 60 zusammenlaufen die machen eigentlich ganz brauchbar Leistung, wenn man nur große LLMs laufen lassen will und es einem relativ wenig auf die Tokens ankommt.