der Vorgesetzte will eine LLM box...

[KnolleJupp]

Na ja, wir reden hier nicht von einer Privatperson, die sich was in den Kopf gesetzt hat, wir reden von einem Unternehmer, der so einen Rechner zweckgebunden für sein Unternehmen haben will, das Unternehmen bezahlt den Angestellten und den Rechner, das Ding wird als Betriebsausgabe steuerlich abgesetzt/abgeschrieben, wird dem Betriebsvermögen hinzugefügt und wird ganz sicher nicht als Spiele-Rechner irgendwo zu Hause stehen, sobald Cheffe merkt das sein Plan nicht so wirklich aufgeht. Weil, im Zweifel will das Finanzamt bei einer Steuerprüfung sehen wo der Rechner steht. Weil, sonst wäre das nämlich Steuerhinterziehung.

 

[Zornica]

nein, davon rede ich zumindest ganz und gar nicht. Ich reden von einem "Abteilungsleiter" mit offensichtlich zu viel Budget der von seinen Freunden aufgeschwatzt bekommen hat wie toll und nützlich so ein privates LLM doch ist, und nun zu seinem eigenen Vergnügen Budget für etwas allokiert das genau 0 mit seinem Aufgabenbereich oder mit irgendwas wofür er selbst angestellt ist zu tun hat.
Anstatt endlich mal Budget für ne ordentliche redundante Speicherlösung zur Verfügung zu stellen. Aber gut, was nicht ist kann ja noch werden...

 

[KnolleJupp]

Tja, wer zahlt, schafft an.
Und wenn dein geschätzter Vorgesetzter so was haben will, dann ist das einfach so.

Nur eine Anmerkung am Rande, wenn du selber auch nicht so die super Ahnung hast von LLMs, warum dann so auf Cheffe herumhacken?
Ich meine, man muss ja nicht auf allen Gebieten ein Experte sein, aber dann hält man sich mit Einschätzungen auch ein wenig zurück...

Was man mindestens benötigen würde, wurde ja nun dargelegt. Das das genannte Budget nicht ausreicht, um damit was auf die Beine zu stellen mit dem man auch wirklich arbeiten kann, dürfte auch klar geworden sein.

Wenn das ganze am Ende nicht den erhofften Mehrwert bietet, muss sich dein Abteilungsleiter eben vor seinem Vorgesetzten rechtfertigen.
Das ist nicht deine Aufgabe. Du sollst das nur umsetzen.
Und das heißt leider auch das man sich in die Materie einarbeiten muss. Wenn du da persönlich kein gesteigertes Interesse dran hast, ist das dein Problem.
Viele Angestellte haben sinnfreie Anweisungen auszuführen...

Und das Unternehmen, das ja offensichtlich etwas größer ist, wird davon auch nicht sofort in die Insolvenz gehen.

 

[Limit]

Die beste AI-Leistung unter 2000€ für ein System gibt es wohl mit einem Ryzen AI Max oder Mac Mini. Mit 64GB RAM reicht das problemlos für Modelle wie Qwen3.6 27b (dense) bzw. 35b (moe) oder eben Gemma4. Für den Alltag können diese Modelle schon einiges.
Soll es erweiterbar sein, wäre wohl Intels Arc Pro B60 bzw. B70 meine erste Wahl, wobei man mit AMD Radeon AI Pro R9700 wohl etwas flexibler ist. Dabei sollte man vor allem auf das Mainboard achten, denn mit min. 2x PCIx8 kann man dann auch ganz gut später Dual-GPU nutzen, was bei AI die Leistung fast verdoppelt.

 

[djducky]

das Ding wird als Betriebsausgabe steuerlich abgesetzt/abgeschrieben, wird dem Betriebsvermögen hinzugefügt und wird ganz sicher nicht als Spiele-Rechner irgendwo zu Hause stehen, sobald Cheffe merkt das sein Plan nicht so wirklich aufgeht.

Ich wollte damit nicht zur Steuerhinterziehung aufrufen, selbstverständlich müsste es dann einen Verkauf an privat samt ordentlicher Buchführung geben.

 

[Backfisch]

na ja so pauschal würde ich das nicht sagen, ich hab auf meiner 3060 12GB auch teilweise 13b modelle laufen

Das Zauberwort heißt "Quantisierung" ... 8 GB wären bei einem 8B-Modell zirka ein Byte pro Parameter, entspräche also einer Q8-Variante. Wer auf Q4 reduziert, kann den VRAM-Bedarf sogar noch weiter reduzieren, bekommt aber ein dümmeres Modell.

 

[RedPanda05]

aber klingt so als könnte man mit ner 5070 Ti ein System zusammenfrickeln und nach dem erwarteten Interesseverlust als Gaming-PC weiterverscherbeln oder in der Familie nutzen

Persönlich würde ich eher erwarten, dass daraus eine Workstation wird. Eventuell gibt es so eine sinnige Zweitverwertung.

 

[djducky]

@RedPanda05
Ja, wollte ich auch noch schreiben. Klang für mich aber nicht so, als könnte die Firma solche Workstations für andere Dinge brauchen. Sonst hätten sie ja halbwegs potente Systeme, mit denen man lokale LLMs mal testen könnte. Aber ja, Schnittrechner oder sowas...

 

[Zornica]

Gibts irgendeine Möglichkeit so nen AMD Ryzen AI Max+ 395 mit board als Privatperson zu kaufen? oder gibts das nur für OEMs? irgendwie findet sich dazu nichts .. weder "shops" noch allgemein infos zu den verlöteten boards etc...

Persönlich würde ich eher erwarten, dass daraus eine Workstation wird. Eventuell gibt es so eine sinnige Zweitverwertung.

Renderserver wäre so mein Plan... paar davinci projekte rendern sollte das doch locker hinbekommen.

 

[djducky]

Wenn ihr in der Firma mit DV Resolve arbeitet, sind dann nicht schon mal ein paar potente Workstations vorhanden? Dann kann Cheffe den Kram testen, bevor er Geld zum Fenster rauswirft.

 

[SirKhan]

so nen AMD Ryzen AI Max+ 395 mit board

Das ist ein FP11-Sockel. Die sind alle aufgelötet. Genau wie der RAM. Soweit ich weiß, gibt es da nichst einzeln. Nur Mini-PCs und Laptops.