der Vorgesetzte will eine LLM box...

[KnolleJupp]

Na ja, wir reden hier nicht von einer Privatperson, die sich was in den Kopf gesetzt hat, wir reden von einem Unternehmer, der so einen Rechner zweckgebunden für sein Unternehmen haben will, das Unternehmen bezahlt den Angestellten und den Rechner, das Ding wird als Betriebsausgabe steuerlich abgesetzt/abgeschrieben, wird dem Betriebsvermögen hinzugefügt und wird ganz sicher nicht als Spiele-Rechner irgendwo zu Hause stehen, sobald Cheffe merkt das sein Plan nicht so wirklich aufgeht. Weil, im Zweifel will das Finanzamt bei einer Steuerprüfung sehen wo der Rechner steht. Weil, sonst wäre das nämlich Steuerhinterziehung.

 

[Zornica]

nein, davon rede ich zumindest ganz und gar nicht. Ich reden von einem "Abteilungsleiter" mit offensichtlich zu viel Budget der von seinen Freunden aufgeschwatzt bekommen hat wie toll und nützlich so ein privates LLM doch ist, und nun zu seinem eigenen Vergnügen Budget für etwas allokiert das genau 0 mit seinem Aufgabenbereich oder mit irgendwas wofür er selbst angestellt ist zu tun hat.
Anstatt endlich mal Budget für ne ordentliche redundante Speicherlösung zur Verfügung zu stellen. Aber gut, was nicht ist kann ja noch werden...

 

[KnolleJupp]

Tja, wer zahlt, schafft an.
Und wenn dein geschätzter Vorgesetzter so was haben will, dann ist das einfach so.

Nur eine Anmerkung am Rande, wenn du selber auch nicht so die super Ahnung hast von LLMs, warum dann so auf Cheffe herumhacken?
Ich meine, man muss ja nicht auf allen Gebieten ein Experte sein, aber dann hält man sich mit Einschätzungen auch ein wenig zurück...

Was man mindestens benötigen würde, wurde ja nun dargelegt. Das das genannte Budget nicht ausreicht, um damit was auf die Beine zu stellen mit dem man auch wirklich arbeiten kann, dürfte auch klar geworden sein.

Wenn das ganze am Ende nicht den erhofften Mehrwert bietet, muss sich dein Abteilungsleiter eben vor seinem Vorgesetzten rechtfertigen.
Das ist nicht deine Aufgabe. Du sollst das nur umsetzen.
Und das heißt leider auch das man sich in die Materie einarbeiten muss. Wenn du da persönlich kein gesteigertes Interesse dran hast, ist das dein Problem.
Viele Angestellte haben sinnfreie Anweisungen auszuführen...

Und das Unternehmen, das ja offensichtlich etwas größer ist, wird davon auch nicht sofort in die Insolvenz gehen.

 

[Limit]

Die beste AI-Leistung unter 2000€ für ein System gibt es wohl mit einem Ryzen AI Max oder Mac Mini. Mit 64GB RAM reicht das problemlos für Modelle wie Qwen3.6 27b (dense) bzw. 35b (moe) oder eben Gemma4. Für den Alltag können diese Modelle schon einiges.
Soll es erweiterbar sein, wäre wohl Intels Arc Pro B60 bzw. B70 meine erste Wahl, wobei man mit AMD Radeon AI Pro R9700 wohl etwas flexibler ist. Dabei sollte man vor allem auf das Mainboard achten, denn mit min. 2x PCIx8 kann man dann auch ganz gut später Dual-GPU nutzen, was bei AI die Leistung fast verdoppelt.

 

[djducky]

das Ding wird als Betriebsausgabe steuerlich abgesetzt/abgeschrieben, wird dem Betriebsvermögen hinzugefügt und wird ganz sicher nicht als Spiele-Rechner irgendwo zu Hause stehen, sobald Cheffe merkt das sein Plan nicht so wirklich aufgeht.

Ich wollte damit nicht zur Steuerhinterziehung aufrufen, selbstverständlich müsste es dann einen Verkauf an privat samt ordentlicher Buchführung geben.

 

[Backfisch]

na ja so pauschal würde ich das nicht sagen, ich hab auf meiner 3060 12GB auch teilweise 13b modelle laufen

Das Zauberwort heißt "Quantisierung" ... 8 GB wären bei einem 8B-Modell zirka ein Byte pro Parameter, entspräche also einer Q8-Variante. Wer auf Q4 reduziert, kann den VRAM-Bedarf sogar noch weiter reduzieren, bekommt aber ein dümmeres Modell.

 

[RedPanda05]

aber klingt so als könnte man mit ner 5070 Ti ein System zusammenfrickeln und nach dem erwarteten Interesseverlust als Gaming-PC weiterverscherbeln oder in der Familie nutzen

Persönlich würde ich eher erwarten, dass daraus eine Workstation wird. Eventuell gibt es so eine sinnige Zweitverwertung.

 

[djducky]

@RedPanda05
Ja, wollte ich auch noch schreiben. Klang für mich aber nicht so, als könnte die Firma solche Workstations für andere Dinge brauchen. Sonst hätten sie ja halbwegs potente Systeme, mit denen man lokale LLMs mal testen könnte. Aber ja, Schnittrechner oder sowas...

 

[Zornica]

Gibts irgendeine Möglichkeit so nen AMD Ryzen AI Max+ 395 mit board als Privatperson zu kaufen? oder gibts das nur für OEMs? irgendwie findet sich dazu nichts .. weder "shops" noch allgemein infos zu den verlöteten boards etc...

Persönlich würde ich eher erwarten, dass daraus eine Workstation wird. Eventuell gibt es so eine sinnige Zweitverwertung.

Renderserver wäre so mein Plan... paar davinci projekte rendern sollte das doch locker hinbekommen.

 

[djducky]

Wenn ihr in der Firma mit DV Resolve arbeitet, sind dann nicht schon mal ein paar potente Workstations vorhanden? Dann kann Cheffe den Kram testen, bevor er Geld zum Fenster rauswirft.

 

[SirKhan]

so nen AMD Ryzen AI Max+ 395 mit board

Das ist ein FP11-Sockel. Die sind alle aufgelötet. Genau wie der RAM. Soweit ich weiß, gibt es da nichst einzeln. Nur Mini-PCs und Laptops.

 

[KnolleJupp]

Ich wollte damit nicht zur Steuerhinterziehung aufrufen

Ich wollte damit natürlich niemandem irgendwas unterstellen. Nur klar machen, das so was in einem Unternehmens-Umfeld nicht so ganz einfach ist mit Zweckentfremdung.

 

[Zornica]

Das ist ein FP11-Sockel. Die sind alle aufgelötet. Genau wie der RAM. Soweit ich weiß, gibt es da nichst einzeln. Nur Mini-PCs und Laptops.

das hatte ich schon erwartet... manchmal gabs zumindest in der Vergangenheit so verlötete CPUs mit Board zu kaufen... insofern die Hoffnung dass es das immer noch in irgendeiner form als ATX/ITX mit PCI-e slot(s) oder so gäbe...

Wenn ihr in der Firma mit DV Resolve arbeitet, sind dann nicht schon mal ein paar potente Workstations vorhanden? Dann kann Cheffe den Kram testen, bevor er Geld zum Fenster rauswirft.

Gäbe nur meine Workstation, aber da lass ich ihn sicher nicht irgendwas testen wovon er keine Ahnung hat. Wer weiß was er da anstellen würde.
Ich denke ich werd ihm morgen nochmal klar machen, dass das was er sich vorstellt so nicht funktionieren wird-hatte den Verdacht bereits bevor ich den thread eröffnet hab, aber das war jetzt eigentlich auch die Bestätigung. + dass ich das Projekt nicht weiter verfolgen werde außer er nennt mir einen guten+konkreten Grund warum/wofür er das unbedingt haben muss.

Die config von vorhin, die Ryzen ai max 395+ lösung und den mac mini werd ich zumindest mal im Hinterkopf behalten

 

[tomgit]

Gäbe nur meine Workstation, aber da lass ich ihn sicher nicht irgendwas testen wovon er keine Ahnung hat. Wer weiß was er da anstellen würde.

Du könntest ihn dabei begleiten. Bei einem Sprachmodell, was in Ollama oder LM Studio läuft, kann am System wenig kaputt gehen.

Ich denke ich werd ihm morgen nochmal klar machen, dass das was er sich vorstellt so nicht funktionieren wird-hatte den Verdacht bereits bevor ich den thread eröffnet hab, aber das war jetzt eigentlich auch die Bestätigung. + dass ich das Projekt nicht weiter verfolgen werde außer er nennt mir einen guten+konkreten Grund warum/wofür er das unbedingt haben muss.

Warum nicht einfach offen zugeben, dass du von der Materie nicht genug weißt als dass du da eine starke Handlungsempfehlung geben kannst. Hier im Forum wird mehr als genügend halbgares und veraltetes Wissen herumgeworfen. Zudem wird gerne bei den Anforderungen/Empfehlungen übertrieben - keine Ahnung, warum.

 

[RMS_der_Zweite]

Edit: man muss nicht alles im VRAM haben, sondern Layer auf GPU und RAM verteilen (deswegen sind die RAM Preise aktuell, wo sie sind) aber das (technisch) zu erklären, würde den Rahmen hier etwas sprengen, der Text ist eh schon zu lang.

Kurze Frage, was kann man mit einem 9700X mit iGPU und 64 GB RAM (Ubuntu 24) LTS anfangen? Software-Empfehlungen für den Einstieg?
Das letzte Mal habe ich mit sowas vor 20 Jahren im Studium mit dem Stuttgart Neural Network Simulator zu tun gehabt, da passte das Netz in ein paar KB..

 

[tomgit]

9700X mit iGPU

Wahrscheinlich ist es hier schneller, das LLM einfach nur über die CPU zu jagen.
Ansonsten ollama mit vulkan backend.

 

[JumpingCat]

@RMS_der_Zweite Das ist lahm. Teste es dich mit ollama und einem sehr kleinem Modell. Du brauchst Bandbreite im vRAM. Das zählt. Daher verlieren auch
2x 16GB gegen eine 32GB CPU.

Oder anders herum: Das Zeug wo gerade die Preise explodieren ist das was für AI am nützlichsten ist: Schneller RAM.

Der GPU RAM ist mehrfach schneller als der RAM an der CPU. Das Zeug was nVidia professionell verkauft nochmal um einiges schneller als das was eine GPU hat.

 

[madmax2010]

Wahrscheinlich ist es hier schneller, das LLM einfach nur über die CPU zu jagen.

LLM inferenz limitiert an Speicherbandbreite

 

[oicfar]

2000 € Budget bekommst vielleicht gerade so den Stromstecker bezahlt.

Nur gucken. Nicht anfassen.

 

[nutrix]

Schlage Deinem Chef doch das hier vor, brandneu:
https://www.heise.de/news/Surface-RTX-Spark-Dev-Box-Microsofts-Traummaschine-11316058.html