Welches Sprachmodell für lokale KI könnt ihr empfehlen?

MaverickM schrieb:
Dafür brauchst Du nicht extra mit KI Modellen spielen, dafür gibt es fertige Tools. Immich z.B.
Immich nutzt dazu auch KI modelle, aber halt keine LLMs, sondern welche die zum klassifizieren von Objekten tatsaechlich gedacht und brauchbar sind.
Definitiv auch meine Empfehlung..
 
  • Gefällt mir
Reaktionen: konkretor und TomH22
Don_Tralle schrieb:
das hab ich mir irgendwie anders vorgestellt mit der lokalen ki. dass die sich so stark von den online verfügbaren unterscheidet hätte ich nicht gedacht. und die websuche hab ich ja schon als separates tool zur verfügung gestellt, wurde auch genutzt.

Die beiden Modelle die Du probierst hast, sind prinzipiell schon ernsthaft einsetzbar, aber natürlich nicht mit den Top Modellen der großen Anbieter vergleichbar.

Wenn man sie nutzen will, brauchen sie sehr viel mehr "Guidiance" in Form von angepassten Systemprompts, Skills, usw.

Man darf auch nicht vergessen, wenn man einen Dienst wie ChatGPT benutzt, dass dort nicht nur die Modelle hinter sind, sondern eben auch im Hintergrund eine sorgfältig getunte Infrastruktur werkelt.

Wenn Du das Modell nur "nackt" in llama.cpp oder LM-Studio oder ähnlichem benutzt, musst Du das entsprechend selber bereitstellen.

Qwen 3.5 (sogar die 9B) Variante kann bei mir kleinere Coding Aufgaben lösen, ich nutze dazu pi.dev als Harness, der ist von seiner Arbeitsweise ganz gut auf kleine Modelle abgestimmt.

Der Unterschied ist, dass das man mit so einem lokalen Modell sorgfältig planen muss, und z.B. kleine überschaubare Aufgaben zu bauen und danach den Kontext wieder zu reseten. Unbekümmertes Vibe Coding ohne groß nachzudenken geht halt nur mit den Cloud Modellen, aber auch da verballerst es nur unnötig Tokens.

Bei Deiner DAX Aufgabe war vermutlich das Tooling auch nicht ausreichend. Mit curl kommt man nicht weit, da muss man schon irgendwas haben, dass einen Browser simuliert bzw. steuert.

Bezüglich Modelle: Nach meiner Erfahrung ist für Coding qwen besser geeignet als gemma. Die gemma Modelle sind aber gut bei der Arbeit mit deutschen Texten (z.B. einen Text zusammenzufassen), die können einfach besser deutsch als Qwen. Bei Qwen ist schonmal ein chinesisches Wort dazwischen oder auch Phantasieworte.

Trotzdem auch bei Gemma kann es Dir schnell passieren, dass Du eloquent klingendes Kauderwelsch bekommt.
 
ahh, super....danke für die ganzen sinnvollen antworten und erklärungen. das thema ist dann doch etwas komplizierter als ich es dachte. hilft mir jedenfalls mehr als kommentare wie:

"Super haste toll gemacht!"

Ich werd da auf jeden fall dran bleiben und bestimmt noch viele anfängerfragen stellen. darf sich auch gern jeder raushalten der klüger ist als ich...oder mit respekt an der diskussion teilnehmen, danke ;)

hab eben eine neue 32gb gpu bestellt, wird mich bestimmt ne weile beschäftigen mein neues hobby 😂
 
  • Gefällt mir
Reaktionen: TeeKayEV
Don_Tralle schrieb:
hab eben eine neue 32gb gpu bestellt, wird mich bestimmt ne weile beschäftigen mein neues hobby 😂
Rüste auch noch auf 128 GB RAM auf und installiere Strata. Nach der Systematik wirds künftig sicher mehr Modelle geben. Zusammen mit 32 GB VRAM erreichst du mit Strata fast die gleiche Performance wie ein System, dass das 125B Parameter Modell komplett ihm VRAM hält.
 
Don_Tralle schrieb:
hab eben eine neue 32gb gpu bestellt
Ein 32GB GPU... könnt ich mir sogar leisten...🥲
Aber wie erklär ich dann den Kindern dass sie sich ihr Studium selber finanzieren müssen!? 🤔 🙄
..ach egal... bekommense so etwas mehr Lebenserfahrung...:mussweg:
...🎮💻
 
  • Gefällt mir
Reaktionen: nutrix
samuelclemens schrieb:
Aber wie erklär ich dann den Kindern dass sie sich ihr Studium selber finanzieren müssen!?
Ein AMD AI Pro 9700 kostet ca. 2300 EUR, bei Intel ist man sogar mit unter 2000 EUR dabei.
Man muss nicht unbedingt eine RTX 5090 nehmen...
Ist auch noch eine Menge Geld, aber in Bereichen, in denen viele Leute Geld für Hobby oder Lifestyle Dinge ausgeben.

Finanziell lohnen tut es sich natürlich trotzdem meist nicht, für 2000 EUR bekommt man 100 Monate ChatGPT+, und damit kommt man schon ganz schön weit, und in besserer Qualität wie mit lokalen Modellen.

Lokale Modelle machen nur Sinn, wenn man entweder Informationen hat, die man nicht mit einem US Cloud Anbieter teilen will, oder Inhalte verarbeitet/produziert die gegen die Richtlinien der Anbieter verstossen.

Ansonsten kann Experimentieren mit lokalen Modellen helfen, die Technik besser zu verstehen. Wer eine Gaming-GPU mit 12-16GB hat (wie Du laut Deiner Signatur) kann durchaus sinnvolle Experimente machen.
 
  • Gefällt mir
Reaktionen: TheLizardator
TomH22 schrieb:
Finanziell lohnen tut es sich natürlich trotzdem meist nicht, für 2000 EUR bekommt man 100 Monate ChatGPT+, und damit kommt man schon ganz schön weit, und in besserer Qualität wie mit lokalen Modellen.
Kommt darauf an, was man macht. Bei mir läuft die KI aktuell den ganzen Tag und arbeitet für mich. Da ist die Karte schnell wieder amortisiert. Aktuell benutze ich Flint, das läuft mit über 20 Token beim Programmieren trotz teilweiser Auslagerung auf der RX 9070 (800€). Ich bin mit der Qualität sehr zufrieden. Das schafft kein anderes Modell in der Größe (22GB).

Ich denke gerade darüber nach, noch eine RX 9070 zu kaufen, für einen zweiten Rechner. Insbesondere mit dem Gedanken im Hinterkopf, den @TeeKayEV angesprochen hat, dass MoE Modelle intelligenter in den RAM auslagerbar sind. Ich könnte wetten, dass das bald auch in Ollama kommt - wenn nicht, würde ich mich mit Strata auseinandersetzen.

Bei den Intel-Karten sehe ich das Problem, dass sie nicht so gut supportet werden und teils eine langsamere Speicheranbindung haben usw.

Also es kann sich jedenfalls schnell lohnen bei Powernutzung, besonders wenn man günstiger wegkommt beim Einkauf der Karte.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: TomH22 und TeeKayEV
Don_Tralle schrieb:
Hier meine Testergebnisse auf die Frage:
"wie ist der schlusskurs des dax heute?"
Hier hast du nicht das Model getestet, sondern das drumherum. Ich nutze unsloth Desktop und damit findet selbst das kleine 9b Model die richtige Antwort.
 
@Limit ich habe auch ein 3. modell geladen, das gpt-oss:20b das war auf der cpu sogar sehr viel schneller, weil kleiner vermutlich?.
ich fürchte die wahl des modells wird sich hinziehen. erstmal muss ich jetzt meine neue gpu vernünftig einbinden, ist eine intel b70 geworden, die war zwar nicht die teuerste, dafür ist sie aber die am schlechtesten unterstützte :D aber wenn das läuft werd ich nochmal testen und mich dann für ein modell entscheiden / müssen.
dann soll das lokale modell auch noch von 2 personen gleichzeitig genutzt werden können prinzipiell.

über die 128 gb denke ich nach, guter tipp, danke. wenn ich weiß, ob die vorhandenen 64 gb in 2 oder 4 riegel vorhanden sind. ich fürchte aber es sind bereits 4 :( aber danke für den tipp, ne hybride lösung aus ram und vram klingt super spannend!!!

bleibt also spannend das thema...aber so soll es sein.

ach und da gleich (mal wieder) die finanzen zum thema wurden.....ich weiß selbst, dass man für 20€ im monat claude oder chatgpt kaufen kann, das hier soll ja keine geldersparnis werden. allein der stromverbrauch der gpu kostet vermutlich mehr als die 20 €. darum gehts ja nicht beim hobby ;)
aber ich weiß natürlich, dass einige sich hier getriggert fühlen, wenn man sich was kauft, was unsinnig erscheint oder wenn man es nicht vernünftig nutzt. das sehr ich ständig wenn ich auf den fahrersitz der im straßenverkehr rumfahrenden porsche / ferrari schaue. aber da muss man einfach mal locker durch die hose atmen und den neid runterschlucken. kann ich nur jedem empfehlen sich oder seine finanziellen möglichkeiten nicht ständig mit anderen zu vergleichen. das macht krank dieser ständige vergleich....das nur so am rande.
 
  • Gefällt mir
Reaktionen: TomH22 und AndreasF1975
Hier noch eine interessante News: https://www.pcgameshardware.de/Kuen...iarden-KI-Parameter-GLM-5-3-ohne-GPU-1558678/

Demnach ist es auch möglich, MoE-Modelle teilweise auf die SSD auszulagern und dynamisch nachzuladen. Damit würde die Grundidee der Auslagerung fortgesetzt: VRAM > RAM > SSD-Speicher.
Insofern lässt sich dadurch auch RAM sparen, bzw. es lassen sich noch größere Modelle nutzen.

Ich denke, dass sich das momentan schnell weiterentwickelt und wir aktuell nur eine Momentaufnahme haben.
 
  • Gefällt mir
Reaktionen: samuelclemens
Zurück
Oben