der Vorgesetzte will eine LLM box...

[Pyrukar]

Wenns kompetent und umrüstbar und nicht endbedded sein soll würde ich auf eine 5090 Grafikkarte schielen die Ganze Kiste würde dann übern daumen vermutlich um die 5000€ kosten.

ich habe keine Ahnung wie gut die Lokalen LLM Programme inzwischen Intel GPUs unterstützen, aber wenn das funktioniert, dann wäre der vorschlag von @Redirion definitiv ein Weg im Budget von 2000€ das maximum rauszuholen.

 

[Falc410]

Das ist die Anzahl der Parameter, hier 8 billions (eng) = 8 Milliarden (deu). Je mehr Parameter desto "intelligenter" wird die KI. Eine Faustregel ist, für 1B werden 1 GB VRAM benötigt. Das ist aber wirklich nur eine grobe Richtlinie, da in dem VRAM-Verbrauch auch andere Faktoren einfließen. Aber zumindest hat man eine Idee, in welche Richtung es geht.

Wenn er den Mac Mini genommen hätte, dann kommt es halt nur auf den normalen RAM an. Und es ist ein bisschen weniger als 1:1. Das qwen3.6 Model mit 35B hat nur eine Größe von 24GB und läuft sogar auf meinem alten Macbook (auch wenn die Ausgabe natürlich etwas langsam ist). Aber ja, ein Mac Mini mit genug RAM und dann kann er schon etwas rumspielen. Ist halt echt die Frage was die genauen Anforderungen sind.

 

[K3ks]

so motherboards mit embedded cpu gibts heutzutage keine mehr separate zu kaufen?

? Doch, aber vlt. tut es ein normales Brett (Mini-ITX) mit normaler CPU oder als Kompromiss ein kleines standardkonformes Brett mit CPU und PCIe für Karte, solche Teile haben vermutlich Minisforum, Framework etc.
Aber warum, muss es wirklich eine kleine Box sein? 🤷‍♂️
Oder geht es wirklich nur ums schrauben? ^^

nachdem ich in Hardwaresachen aber pro Stunde bezahlt werde, würd ich dann doch lieber etwas bauen...

^^

 

[Zornica]

die Intel Karte wäre natürlich spannend, mal was neues und exotisches... soweit ich weiß ist der Linux support da inzwischen einigermaßen? wäre natürlich eine option...

Aber warum, muss es wirklich eine kleine Box sein? 🤷‍♂️
Oder geht es wirklich nur ums schrauben? ^^

ja, es geht eigentlich wirklich nur ums schrauben. Ich weiß selbst, dass das ganze ein vollkommen hirnrissiges vorhaben ist, und es fuckt mich unendlich an dass es unmöglich ist das dem Auftraggeber so zu vermitteln. Somit will ich diesen Auftrag zumindest so gestalten, dass er mir selbst zumindest ein wenig Spaß macht. Ein fertiges Teil kaufen is wenig spannend...

 

[Pyrukar]

soweit ich weiß ist der Linux support da inzwischen einigermaßen? wäre natürlich eine option

Von Linux hast du bisher nix gesagt. Ist das ein Zwangskriterium?

 

[Zornica]

ne is kein zwang, aber ich war davon ausgegangen dass das ganze auf irgendeinem debian derivat laufen wird.

 

[tomgit]

wie ist das so verglichen mit Mac Minis (die ja anscheinend immer empfohlen werden?)?
Ist das tatsächlich ne realistische alternative? oder auch nur ein Geldloch ohne Zukunft? (wegen fehlender Aufrüstungsmöglichkeit und so...)

Einen Mac Mini für 2k auszutauschen tut auch nicht weniger schmerzen als eine GPU mit ähnlich viel VRAM auszutauschen. Irgendwo ist immer ein Bottleneck.
Macs werden empfohlen, weil die meiste Software dafür oder für Linux geschrieben wird. Windows ist meist nur ein Workaround über WSL.
Ich mag selbst keine Macs, werde aber aufgrund meiner Tätigkeit und Promotion (AI Security) in absehbarer Zeit wahrscheinlich ein MacBook mit 128GB RAM kaufen. Es ist einfach die bessere Plattform, leider.

Dann soll er zu ollama / openrouter.ai / Open web ui gehen.

Man könnte meinen, der Vorgesetzte möchte das aus bestimmten Gründen lokal halt.

Die AMD RYZEN AI+ Max 395 (oder so ähnlich) von AMD sind langsam und punkten nur durch RAM aber irgendwann ist der Vorgang einfach so langsam, dass man keine Freude damit hat (und schon gar nicht produktiv damit ist).

Aha, ich hab OpenCode auf meinem HP ZBook G1a Ultra laufen lassen und war eigentlich damit zufrieden. Auch mit einem Qwen3-Coder-Next.

so ein geschlossenes system wär schon eher Verschwendung aus meiner Sicht... Ich geh davon aus, dass die arme Kiste ziemlich schnell sein Interesse verlieren wird sobald er feststellt, dass ihm das eh alles zu kompliziert ist...

Und ein modulares System macht es besser, weil...?
Ich würd mich halt als Auftraggeber schon etwas veräppelt fühlen - du sollst ihm ein System nach seinen, nicht nach deinem Gusto zusammenstellen.

Wenns kompetent und umrüstbar und nicht endbedded sein soll würde ich auf eine 5090 Grafikkarte schielen die Ganze Kiste würde dann übern daumen vermutlich um die 5000€ kosten.

Warum da aufhören? Wieso nicht eine RTX 5000 Pro mit 72GB VRAM? Eine 6000 Pro mit 96? The Sky is the limit!

Das qwen3.6 Model mit 35B hat nur eine Größe von 24GB

22,07 GB

ne is kein zwang, aber ich war davon ausgegangen dass das ganze auf irgendeinem debian derivat laufen wird.

Es spricht auch nichts dagegen, eine RX 9070(xt) zu nehmen, mit 16GB VRAM laufen da auch einige Modelle drauf. GPT-OSS 20b kommt auf 12,11 G.
Intels Zeug läuft unter Linux, ironischerweise ist das aber einer der wenigen Hersteller, deren Zeugs unter Windows besser tut. Bei AMD ist es mal hier mal da besser.

 

[Zornica]

Intels Zeug läuft unter Linux, ironischerweise ist das aber einer der wenigen Hersteller, deren Zeugs unter Windows besser tut. Bei AMD ist es mal hier mal da besser.

ich vermute, dass nvidia da ausnahmsweise (unter linux) am ehesten plug&play entspricht weil alles dafür geschrieben ist? oder ist das eine Fehlannahme?

 

[tomgit]

oder ist das eine Fehlannahme?

CUDA installieren ist je nach Distro schwieriger oder einfacher. Unter Debian kenne ich mich nicht aus, Ubuntu hat recht gute Repos dafür, CachyOS ist eigentlich von der Zugänglichkeit und Pflege mein Favorit

 

[K3ks]

Intel Karte... soweit ich weiß ist der Linux support da inzwischen einigermaßen?

Ich hab da 0 Ahnung und kann nichts zu sagen.
So eine GPU kostet keine 1500€, aber keine Ahnung wie die Lautstärke ist, und wie das dann in einer Mini-Büchse wäre..:

https://geizhals.de/asus-turbo-radeon-ai-pro-r9700-a3547947.html?hloc=de
https://geizhals.de/sapphire-radeon-ai-pro-r9700-32358-01-20g-a3550007.html?hloc=de

ja, es geht eigentlich wirklich nur ums schrauben. Ich weiß selbst, dass das ganze ein vollkommen hirnrissiges vorhaben ist, und es fuckt mich unendlich an dass es unmöglich ist das dem Auftraggeber so zu vermitteln. Somit will ich diesen Auftrag zumindest so gestalten, dass er mir selbst zumindest ein wenig Spaß macht. Ein fertiges Teil kaufen is wenig spannend...

Mein Beileid, ich hatte auch schon solche Vorgesetzten. 🙏

 

[mscn]

Aha, ich hab OpenCode auf meinem HP ZBook G1a Ultra laufen lassen und war eigentlich damit zufrieden. Auch mit einem Qwen3-Coder-Next.

Kommt darauf an, was man damit macht. "OpenCode auf meinen ZBook" ist kein Benchmark. Auf wieviele T/s kommst du damit? Gerade das ZBook hat nicht den schnellsten RAM meine ich und neben der Größe zählt vor allem die Bandbreite/der Durchsatz und sonst nichts. Keine "magic numbers".

 

[Zornica]

oh... diese Radeon AI PRO R9700 hatte ich vorhin übersehen... taugen die was? scheinen preislich ja ziemlich passabel?

 

[JumpingCat]

Naja, erste Wahl ist nVidia mit CUDA. Danach kommt AMD mit ROCm und dann Intel. Apple hat eine eigene API für den Zugriff auf die API.

 

[ameisenbaer]

Will mir demnächst auch 1 bis 2 AMD RADEON AI PRO R9700 32GB zulegen...

 

[KnolleJupp]

Tja...
Intel Core Ultra 7 270K Plus https://geizhals.de/intel-core-ultra-7-270k-plus-bx80768270k-a3756640.html 309€
Asus Pro WS W880-ACE SE https://geizhals.de/asus-pro-ws-w880-ace-se-90mb1kv0-m0eay0-a3508214.html 523€
Kingston KF556C36BBEK2-128 https://geizhals.de/kingston-fury-beast-schwarz-dimm-kit-128gb-kf556c36bbek2-128-a3506814.html 1.761€
nVidia RTX PRO 6000 Blackwell Workstation Edition https://geizhals.de/nvidia-rtx-pro-...tion-edition-900-5g144-2500-000-a3476784.html 12.189€
Usw...
Das wäre was selbstgebasteltes.

Von da aus kann man das ganze noch ein wenig eindampfen, z.B. indem man auf eine realistischere Grafikkarte runter geht, wie z.B. die
Asus Turbo AI PRO R9700 https://geizhals.de/asus-turbo-radeon-ai-pro-r9700-a3547947.html 1.399€
und/oder realistischeren Arbeitsspeicher, z.B. den
G.Skill F5-6000J3636F32GX2-FX5 https://geizhals.de/g-skill-flare-x5-schwarz-dimm-kit-32gb-f5-6000j3636f32gx2-fx5-a3361462.html 847€
Usw.

Oder so ähnlich...

 

[SirKhan]

oder ist das eine Fehlannahme?

Ist inzwischen v.a. bei LLMs relativ egal. Hier direkt vom Paketmanager von CachyOS, kann man anklicken ob man CPU, CUDA (Nvidia), ROCm (AMD) oder Vulkan (für alle möglichen GPUs) haben will.

AMD RADEON AI PRO R9700 32GB

Ich hab meinem AI-Server eine spendiert. Funktioniert (über Oculink) wunderbar. Gab nen deutlichen Boost für allen was in die 32GB reinpasst.

realistischere Grafikkarte

Für den Preis ist für LLMs eine R9700 mit ihren 32GB (ECC) deutlich sinnvoller als die 5080...

 

[madmax2010]

Hab im moment eigentlich keinerlei Vorstellungen, er würds aber gern um die/unter 2000€ halten. Meinte auch es soll "definitiv mehr als 8B leisten", was auch immer das heißt.

0 dran und es geht los.. Sonst Mac Mini.

, nachdem ich in Hardwaresachen aber pro Stunde bezahlt werde, würd ich dann doch lieber etwas bauen...

Wofür genau wirst du bezahlt, wenn du die Arbeit in ein gratis forum auslagerst. Und wenn dann noch den Chef beleidigen. Stabil.

 

[Picard87]

dilettantisches Gebrabbel

Du scheinst ja auch nicht viel mehr Ahnung zu haben.

paar Eckpunkte

Du musst du/ müsst ihr definieren. Wer soll was wie damit machen?

"definitiv mehr als 8B leisten", was auch immer das heißt.

Informiert euch doch nochmal genauer. Du scheinst mir auch nur aus Jux und Tollerei mehre 1000€ ausgeben zu wollen und dich nebenher, ach wie lustig, über deine Chef auslassen wollen. Beides sinnfrei.

Wofür genau wirst du bezahlt, wenn du die Arbeit in ein gratis forum auslagerst

Der Kommentar, den ich schreiben wollte, mir aber nicht einfiel. Danke!

 

[Zornica]

Wofür genau wirst du bezahlt, wenn du die Arbeit in ein gratis forum auslagerst. Und wenn dann noch den Chef beleidigen. Stabil.

ach, bekomme ich es auch gleich vom gratis Forum zusammengeschraubt?

Du scheinst ja auch nicht viel mehr Ahnung zu haben.
[etc]

weder hab ich behauptet Ahnung von LLM Hardware zu haben, noch dass mich LLMs interessieren würde. Keine Ahnung was diese weirden persönlichen Anfeindungen sollen.

Ergänzung (Heute um 18:15)

Ist inzwischen v.a. bei LLMs relativ egal. Hier direkt vom Paketmanager von CachyOS, kann man anklicken ob man CPU, CUDA (Nvidia), ROCm (AMD) oder Vulkan (für alle möglichen GPUs) haben will.

passt, dann werd ich einfach mal Cachy + wie vorgeschlagene config (darunter) einreichen. sieht soweit ganz solide aus

Tja...
Intel Core Ultra 7 270K Plus https://geizhals.de/intel-core-ultra-7-270k-plus-bx80768270k-a3756640.html 309€
Asus Pro WS W880-ACE SE https://geizhals.de/asus-pro-ws-w880-ace-se-90mb1kv0-m0eay0-a3508214.html 523€
[]
wie z.B. die
Asus Turbo AI PRO R9700 https://geizhals.de/asus-turbo-radeon-ai-pro-r9700-a3547947.html 1.399€
und/oder realistischeren Arbeitssepeicher, z.B. den
G.Skill F5-6000J3636F32GX2-FX5 https://geizhals.de/g-skill-flare-x5-schwarz-dimm-kit-32gb-f5-6000j3636f32gx2-fx5-a3361462.html 847€

irgendeine idee, wie sowas leistungsmäßig gegenüber einem mac mini dastehen würde? die 32gb vram sollten da nen gewissen unterschied machen, sofern ich das richtig verstanden hab?
edit: ach ne, denkfehler, der macmini nutzt wohl seine ram fürs model?

 

[djducky]

Ich bin jetzt kein KI-Experte, aber klingt so als könnte man mit ner 5070 Ti ein System zusammenfrickeln und nach dem erwarteten Interesseverlust als Gaming-PC weiterverscherbeln oder in der Familie nutzen. Mit ner AI-Karte wird das schon schwieriger, dafür muss man dann einen Abnehmer finden.