der Vorgesetzte will eine LLM box...

[RMS_der_Zweite]

Du brauchst Bandbreite im vRAM. Das zählt.

Könnte noch meinen Spielerechner zweckentfremden, hat eine 5070TI mit 16 GB. Dafür nur 32 GB RAM.

 

[Garmor]

Software-Empfehlungen für den Einstieg?

LM Studio, weil klickibunti und gute Übersicht/Konfigurationsmöglichkeiten. Alternativ Ollama. Als Modell dann eins von den aktuellen MoE-Modellen: Gemma 4 26B A4B oder Qwen3.6 35B A3B.

 

[CrimsoN3.0]

Die Beiträge sind der Hammer ich lach mit den A.... Ab xD

2k für "AI" mega xD

Für LLM, Versuche paar 3090 die sind echt gut da sie per SLI aka NVlink verbunden werden können.

 

[Drakrochma]

Vielleicht kommst Du da ganz knapp hin mit gebrauchten Teilen und dazu eine Intel ark pro b60. Die hat 24 Gigabyte RAM. Ach nur ansatzweise mehr wird es für das Geld wahrscheinlich nicht werden. Ich habe zwei b 60 zusammenlaufen die machen eigentlich ganz brauchbar Leistung, wenn man nur große LLMs laufen lassen will und es einem relativ wenig auf die Tokens ankommt.

 

[futzi]

Für 2000€ kriegst du lokal nichts brauchbares zusammen, allerdings kommst du damit auch nicht lange "virtuell" aus. Das kommt darauf an, was damit geplant ist. Heavy Usage? Zeitmodell (du zahlst pro Minute, die das Ding läuft, egal ob Idle oder 100% Last). Eher sporadische Nutzung? Dann einen Pod mit API-Usage (nutzungsbasierte Abrechnung).

Hat er doch geschrieben: Der Vorgesetzte braucht was zum spielen und protzen bei seinen Kumpels vom Squash und in 1 Monat soll das Ding Müller bei seinen Excel Tabellen helfen, weil der da ja immer Schwierigkeiten mit hat. Das Anforderungsprofil kennt jeder und die Frage wäre eigentlich schnell beantwortet wenn hier nicht wieder alle versuchen würden mit "Hier, ich weiß am besten Bescheid über KI" und "OP, wenn du xyz schon fragen musst, blickst du da eh nicht durch" Belehrungsantworten um sich zu werfen.

 

[JumpingCat]

@futzi Danke für deinen Beitrag. Welches ist jetzt der nächste logische Schritt und/oder Rat um die Anforderung zu erfüllen? Zumindest ich erkenne da keine Handlungsempfehlung.

 

[RedPanda05]

und/oder Rat um die Anforderung zu erfüllen? Zumindest ich erkenne da keine Handlungsempfehlung.

Ich bin auch kein Experte, aber aus den bisherigen Antworten ergibt sich eigentlich nur:
1. Mac Mini mit möglichst viel Ram, aber dafür ohne Basteln.
2. Selbstbau mit der AMD KI Karte, suboptimaler Nvidia Gaming Karte oder Intel Karte.

Da die Möglichkeiten alle nicht optimal sind und (laut TE) der PC wohl nur wenige Wochen so verwendet wird, würde ich eine mögliche Zweitverwertung als hohen Faktor miteinspielen lassen. Kann man natürlich auch ignorieren, ist ja nicht das eigenen Geld

 

[Zornica]

werde morgen mal ein ernsthaftes Gespräch mit dem potentiellen Geldverschwender führen und die Optionen offenlegen (und möglichst abraten...).

was für mich bei der Frage Mac Mini oder Ryzen AI Max nicht ganz klar wurde: letzterer kostet zwar mehr, scheint aber auch mit deutlich mehr Ram bestellbar zu sein, trotzdem klang es so, als wären die beiden Leistungsmäßig relativ ebenbürtig? trotz mehr Ram? oder ist das ein Missverständnis und es war gemeint etwa gleich Leistungsfähig unter gleicher Ram-Bestückung?

 

[mscn]

wenn hier nicht wieder alle versuchen würden mit "Hier, ich weiß am besten Bescheid über KI" und "OP, wenn du xyz schon fragen musst, blickst du da eh nicht durch" Belehrungsantworten um sich zu werfen.

Spar dir bitte das Zitieren, wenn du nichts zum Thema beizutragen hast, ansonsten gibts nen Block - vielen Dank.

Ergänzung (4. Juni 2026)

Kurze Frage, was kann man mit einem 9700X mit iGPU und 64 GB RAM (Ubuntu 24) LTS anfangen? Software-Empfehlungen für den Einstieg?

Ich habe mit AMD (ROCm) bisher gar keine Erfahrung gemacht, tut mir leid.

 

[Zornica]

Ok, hab nochmal nachgehakt was genau gewünscht ist und... das Bild wurde klarer und unklarer zugleich

1. zunächst scheint er sein eigenes Model trainieren zu wollen das auf "kuratierten Daten" basiert die er die letzten 30 Jahre auf google docs und in persönlichen emails gesammelt hat. Damit sollen Halluzinationen in seinem Bereich vorgebeugt werden, weil im Datensatz eben nicht mehr "die Welt" inkludiert ist.

2. will er wohl, dass das ganze ein Agent ist- er sprach dabei ständig von open claw, um diese Daten zu durchsuchen und nutzbar zu machen. Als Beispiel nannte er mir automatisierte Empfehlungsschreiben für ehemalige Studenten die weit zurückliegen, basierend auf eben diesem 30 Jahre-Daten"schatz".

3. weiters soll das auch irgendwie für Projektmanagement verwendet werden und einen überblick über die Aktivitäten aller Mitarbeiter bieten?

4. Will er eine vertrauenswürdige Umgebung für aktuelle Forschungsdaten, um diese mit einem LLM zu nutzen ohne dass diese Daten von den großen Firmen abgesaugt werden können. Hier soll dann dieser Agent auch offene APIs anzapfen können um weitere Daten herunterzuladen.

Einerseits nachvollziehbar, andererseits klingt es immer noch nach "ich hätte gern einen Hammer, und suche Nägel um den Hammerkauf zu rechtfertigen", denn ich glaube, dass das meiste davon kein LLM braucht, ganz im Gegenteil...


edit: auch vorhin gesehe, dass Aliexpress wohl Ryzen AI Max motherboards mit cpu und ram verkauft...
https://ja.aliexpress.com/item/1005012409427842.html

 

[KnolleJupp]

Achtung, ich habe nur oberflächliches Halbwissen was KI allgemein angeht.
Daher, nicht auf die Goldwaage legen.

Man muss unterscheiden zwischen einem LLM und einem Agenten-"Aufsatz".
Als lokales LLM nenne ich mal
Llama 3.3, Mistral Small oder Qwen 3.
Als Agenten-Framework nenne ich mal
LangGraph, LangChain oder Open WebUI.
Und als Datenbank, die letztlich alle "Informationen" enthält und mit der die KI arbeitet nenne ich mal
Qdrant, Weaviate oder Chroma.
Sind nur Beispiele, aber damit hast du schonmal was wonach du gucken könntest.

Was den Rechner angeht, kommt es darauf an wie leistungsstark das ganze werden soll,
wie groß die Datenbasis ist (wie viele eMails, Dokumente usw.)
und auch wie viele Mitarbeiter da drauf Zugang haben sollen.

Für 2.000€ ist das nicht zu machen!

Für ein mittelmäßig leistungsfähiges System das das alles kann, würde ich empfehlen:
Mindestens 128GB schnellen Arbeitsspeicher.
Mindestens eine nVidia RTX 5090 mit 32GB VRAM.
Das ist für eine vierstellige Summe machbar.
Alles drüber würde dann schnell fünfstellig und damit vermutlich unrealistisch.

Im Grunde will hier jemand die eierlegende Wollmilchsau, aber kosten darf das nix und schnell gehen soll es auch.
Das wird nicht gehen.
Und wenn du da zu tief ansetzt, wird es eben auch nicht so wie gedacht funktionieren.
Das muss man Cheffe erstmal klar machen.

Da wäre ich wieder bei - selbergebaut:
Intel Core Ultra 7 270K Plus https://geizhals.de/intel-core-ultra-7-270k-plus-bx80768270k-a3756640.html
Asus Pro WS W880-ACE SE https://geizhals.de/asus-pro-ws-w880-ace-se-90mb1kv0-m0eay0-a3508214.html
Kingston KVR64A52BD8-64 https://geizhals.de/kingston-valueram-cudimm-64gb-kvr64a52bd8-64-a3387500.html
Kingston KVR64A52BD8-64 https://geizhals.de/kingston-valueram-cudimm-64gb-kvr64a52bd8-64-a3387500.html
Asus ProArt RTX 5090 OC Edition https://geizhals.de/asus-proart-geforce-rtx-5090-oc-edition-90yv0p00-m0na00-a3811704.html
Samsung SSD 9100 PRO 8TB https://geizhals.de/samsung-ssd-9100-pro-8tb-mz-vap8t0bw-a3567530.html
Antec Neo Eco Platinum NE1000P https://geizhals.de/antec-neo-eco-platinum-ne1000p-1000w-atx-3-1-0-761345-20211-4-a3821273.html
Usw.

Man darf auch nicht unterschätzen das ein Großteil der Arbeit nichtmal die KI als solche erledigt,
sondern viel mehr Arbeit in der Datenaufbereitung steckt, damit die KI überhaupt was zum arbeiten hat.
Du kannst da für die Vektordatenbank(en) schonmal zusätzlich ein NAS mit vielen TB Speicher mit einplanen.

Und man darf auch nicht so blauäugig sein zu denken das man ein LLM auf dem neuen Rechner installiert und dann einfach sagt:
"So, hier sind die Dokumente, jetzt mach mal"
Das wird viel Arbeit und lange dauern, bis das System das macht was es machen soll.
Ich würde empfehlen einen Spezialisten an die Sache ranzulassen und niemanden, der keinen Plan davon hat und sowieso alles doof findet.

Die genannten Anwendungen für so eine KI sind durchaus sinnvoll und können einen deutlichen Mehrwert bieten,
die Frage ist nur, ob man das notwendige Geld und die notwendige Zeit investieren möchte.
Aber wenn so ein System einmal lauffähig fertig ist, kann das durchaus sehr hilfreich sein und dann auch anfangen Zeit und Geld einzusparen.

 

[nutrix]

Ok, hab nochmal nachgehakt was genau gewünscht ist und... das Bild wurde klarer und unklarer zugleich

1. zunächst scheint er sein eigenes Model trainieren zu wollen das auf "kuratierten Daten" basiert

Für all Deine Punkte wäre dann eine DGX Spark die bessere Lösung, weil Du mit CUDA und Co. hier deutlich flexibler bist für eine Lösungsgestaltung. Aber das ist nicht mal so nebenbei aufgesetzt, da muß er schon einige Wochen Umsetzungszeit reininvestieren, bis das erst mal läuft. Und Du brauchst viel Datenträgerplatz, weil Du eine lokale Datenbank mit Vektoren aufsetzen mußt, je nach Größe und Menge der Daten. Von der Trainingszeit fange ich erst mal gar nicht an, da wirst Du auch mit entsprechender Zeit rechnen müssen.

Weißt Du, von viel vielen lokalen Dateien bzw. Gesamtgröße die Rede ist?

Ich schließe mich KnolleJupp an, mit 2000 € wird das so nichts. Und er wird das alleine so nicht umsetzen können. Er sollte da einen Spezialisten bzw. fähigen ML/DL Studenten ransetzen, der das als Projekt umsetzen soll. Rechne da mal locker mit mehreren Monaten bis zu einem Jahr.

Einerseits nachvollziehbar, andererseits klingt es immer noch nach "ich hätte gern einen Hammer, und suche Nägel um den Hammerkauf zu rechtfertigen", denn ich glaube, dass das meiste davon kein LLM braucht, ganz im Gegenteil...

Ne, das sehe ich jetzt anders. Es ist sehr wohl ein sinnvoller Anwendungszweck, daß Du mit einem Agenten lokale Daten suchen und zusammenfassen bzw. per KI weiter bearbeiten kannst. Es gibt dazu bereits mehrere Projekte in verschiedenen Firmen und Behörden, die sowas mittlerweile auch lokal einsetzen.

Aber das Thema ist nicht trivial und mal so neben bei gelöst, wie er sich das so vorstellt.

 

[oicfar]

Einerseits nachvollziehbar, andererseits klingt es immer noch nach "ich hätte gern einen Hammer, und suche Nägel um den Hammerkauf zu rechtfertigen", denn ich glaube, dass das meiste davon kein LLM braucht, ganz im Gegenteil...

Ich hole schon mal Popcorn.

Wäre cool, wenn du hier laufend berichten würdest, wie es läuft.

 

[Zornica]

Man darf auch nicht unterschätzen das ein Großteil der Arbeit nichtmal die KI als solche erledigt,
sondern viel mehr Arbeit in der Datenaufbereitung steckt, damit die KI überhaupt was zum arbeiten hat.

ich lehne mich mal aus dem Fenster und gehe davon aus, dass es genau daran schlussendlich scheitern wird...
eben wie schon anfangs erwähnt, verliert er ziemlich schnell das Interesse an dingen die nicht sofort so funktionieren wie er sich das vorstellt, und ich glaub dass er sich das in der tat vorstellt ala "plug and play"...

Du kannst da für die Vektordatenbank(en) schonmal zusätzlich ein NAS mit vielen TB Speicher mit einplanen.

dafür hab ich sogar schon seit nem Jahr Pläne in der Schublade, vllt wär das endlich mal ein Anlass das finanziert zu bekommen hehe


werd mal rausfinden wie groß die Datenmenge tatsächlich ist... und wo die echte Schmerzgrenze liegt.
Theoretisch wären bis zu 11 Personen in der Arbeitsgruppe, ich geh aber davon aus, dass die was besseres als Datenaufbereitung zu tun haben...

 

[RealMax123]

Hab im moment eigentlich keinerlei Vorstellungen, er würds aber gern um die/unter 2000€ halten.

Wenn man es sich einfach machen möchte dann könnte man bei Alternate für 1.943,30€ folgendes zusammenschustern:

Die iGPU des Ryzen 7 8700G kann dann als klassische Grafikkarte dienen, während die GeForce RTX 5060 Ti 16GB komplett für LLM verwendet werden kann. Auch hätte man in der CPU noch ein NPU, deren Leistung fällt aber gegenüber der GPU dann kaum ins Gewicht.

Eine RTX 5060 Ti ist natürlich keine RTX 5090, aber mit 48GB RAM und 16GB VRAM sollte schon Einiges gehen.

 

[djducky]

@RealMax123
Das kannst du nicht ernst meinen, das muss Getrolle sein. Wieder dieses bescheidene Board, dem es an allem fehlt... Aber dafür 3x Silent Wings. Du spielst mit diesen Konfiguratoren kaum anders als ein Kind mit Bauklötzchen. Mit solchen Vorschlägen richtest du im Zweifel mehr (finanziellen) Schaden an als dass du hilfst.

 

[whats4]

strix halo im ram vollausbau. weil verlötet. aber dafür schnell, viel durchsatz. eine ganze welt mehr als desktop/gaming dualchannel.

und was es kostet, kostet es halt. im herbst wärs besser gewesen
aber wie heisst es: wer zu spät kommt, der zahlt; in der blase.

oder halt:
dgx spark, und wer die kohle ned hat, dem fehlt halt das nötige spielgeld. des is dann a runder fünfer, quasi.

aber diese halbgaren zusammenstoppelein von irgendwelchen gaming trümmern...
...würde ICH ned empfehlen, schon garned dem vorgesetzen. weil das einfach ZU peinlich ist.

is halt so. es braucht mehr kohle. weil die kohle zunehmend weniger wert is.

in zeiten der inflation ändern sich die zahlen schneller nach oben, als das gefühl der leute für diese zahlen.

und es wird weitergehen mit der inflation. denn die staaten können ihre schulden nur bedienen, wenn sie das geld entwerten.
inflation ist kein zufall. notenbanken erzeugen inflation. auch die ezb. es ist unfair, aber das geht sich nur so aus. es geht halt auf kosten derer, die immer alles zahlen.
alle.

 

[RealMax123]

@RealMax123
Das kannst du nicht ernst meinen, das muss Getrolle sein. Wieder dieses bescheidene Board, dem es an allem fehlt... Aber dafür 3x Silent Wings. Du spielst mit diesen Konfiguratoren kaum anders als ein Kind mit Bauklötzchen. Mit solchen Vorschlägen richtest du im Zweifel mehr (finanziellen) Schaden an als dass du hilfst.

Eine LLM-Maschine soll ja anders als ein Gaming-PC ode Creator-PC schon relativ leise sein, da finde ich Silent Wings schon gerechtfertigt, und auch das man beim Netzteil drauf schaut das es sowohl bei 20% Last als auch 100% Last relativ leise bleibt.

Und bei der Mainboardaussttatung kann man µATX nicht mit Full-ATX Boards messen, aber in der Preisklasse braucht es ja auch garnicht mehr.

In höheren Preisklassen könnte könnte ein grosses mit etlichen Full-ATX Board durchaus Sinn machen, um z.B. eine RTX 5090 und RTX 5070 zusammen an einem 1600W Netzteil zu betreiben. Aber da wären wir in einer ganz anderen Preisklasse.

Und die Option z.B. aus 1TB + 480GB + 240GB irgendwie brauchbare 1,7TB zusammenstückeln zu können kommt im professionellen Umfeld eh nicht in Frage. Und auch privat lohnt es sich eigentlich nicht. Statt dann vielleicht 40-70€ mehr fürs Board zu zahlen holt man sich lieber eine neue 2TB SSD für und vertickt die alten SSDs, dann zahlt man im Endeffekt auch nicht viel mehr, hat aber ein runderes System.

Zudem hat der 8700G ja eh weniger PCIe Lanes und je nach Boad wären zusätzliche die zusätzlichen m.2 Sockel evtl. eh nur eingeschränkt nutzbar. Und APU macht Sinn damit die iGPU dann eben als normale Grafikkarte dienen kann damit die GeForce komplett fürs LLM zur Verfügung steht.

Und 48GB statt 32GB RAM finde ich bei einer LLM-Maschine sinnvoller als ein top-ausgestattetes Mainboard.

Das war im Grunde meine Denkweise.

strix halo im ram vollausbau. weil verlötet. aber dafür schnell, viel durchsatz. eine ganze welt mehr als desktop/gaming dualchannel.

Allerdings ist AMD bei LLM eher eine Nische, es funktioniert zwar sicher auch, aber gerade wenn das eigene Know-How im Bezug auf LLM beschränkt un man externe Unterstützung benötigt findet man eher Leute die mit LLM auf Nvidia GeForce Erfahrung haben.

 

[djducky]

@RealMax123
Du verteidigst diesen Kram auch noch? Es geht bei dem Brett doch garnicht um mATX oder nicht, sondern um die mickrigen VRMs, der einzelne M.2 Slot, die fehlende PCIe-5.0-Anbindung für die GPU, die überschaubare USB-Konnektivität. Alles eben! Wer so eine Möhre in einem professionellen LLM-System betreibt, gehört nochmal in die Lehre.

Aber diesen Quatsch hast du ja an anderer Stelle schon angebracht. Und von wegen der 8700 hat ja eh weniger PCIe-Lanes. Ja, weil du Vollprofi den da reinkonfigurierst.

Und das Netzteil auch wieder... Das system Power ist kein gutes Netzteil

Jeder kann mal daneben langen oder Dinge übersehen, aber bei dir hat das echt Methode. Daran kann man absolut gar nichts mehr schönreden.

 

[SirKhan]

Eine LLM-Maschine soll ja anders als ein Gaming-PC ode Creator-PC schon relativ leise sein

Nö. Das Ding steht im Serverraum/Keller/Abstellkammer. Da ist die Lautstärke total egal.

Allerdings ist AMD bei LLM eher eine Nische

LLMs gehen absolut problemlos mit AMD über ROCm oder Vulkan. Das ist keine Nische, das kann jede Standard-LLM-Software von der Stange.

Und 48GB statt 32GB RAM finde ich bei einer LLM-Maschine sinnvoller als ein top-ausgestattetes Mainboard.

Eine RTX 5060 Ti ist natürlich keine RTX 5090, aber mit 48GB RAM und 16GB VRAM sollte schon Einiges gehen.

Viel wichtiger als RAM ist VRAM und da sind 16GB schon etwas mager...

Und APU macht Sinn damit die iGPU dann eben als normale Grafikkarte dienen kann damit die GeForce komplett fürs LLM zur Verfügung steht.

Die GPU kann sowieso komplett dazu dienen, wenn der Rechner headless betrieben wird und selbst wenn nicht, jede Mini-iGPU der anderen CPUs reicht für den Desktop dicke aus, da braucht es keine G-APU.