Don_Tralle schrieb:
das hab ich mir irgendwie anders vorgestellt mit der lokalen ki. dass die sich so stark von den online verfügbaren unterscheidet hätte ich nicht gedacht. und die websuche hab ich ja schon als separates tool zur verfügung gestellt, wurde auch genutzt.
Die beiden Modelle die Du probierst hast, sind prinzipiell schon ernsthaft einsetzbar, aber natürlich nicht mit den Top Modellen der großen Anbieter vergleichbar.
Wenn man sie nutzen will, brauchen sie sehr viel mehr "Guidiance" in Form von angepassten Systemprompts, Skills, usw.
Man darf auch nicht vergessen, wenn man einen Dienst wie ChatGPT benutzt, dass dort nicht nur die Modelle hinter sind, sondern eben auch im Hintergrund eine sorgfältig getunte Infrastruktur werkelt.
Wenn Du das Modell nur "nackt" in llama.cpp oder LM-Studio oder ähnlichem benutzt, musst Du das entsprechend selber bereitstellen.
Qwen 3.5 (sogar die 9B) Variante kann bei mir kleinere Coding Aufgaben lösen, ich nutze dazu pi.dev als Harness, der ist von seiner Arbeitsweise ganz gut auf kleine Modelle abgestimmt.
Der Unterschied ist, dass das man mit so einem lokalen Modell sorgfältig planen muss, und z.B. kleine überschaubare Aufgaben zu bauen und danach den Kontext wieder zu reseten. Unbekümmertes Vibe Coding ohne groß nachzudenken geht halt nur mit den Cloud Modellen, aber auch da verballerst es nur unnötig Tokens.
Bei Deiner DAX Aufgabe war vermutlich das Tooling auch nicht ausreichend. Mit curl kommt man nicht weit, da muss man schon irgendwas haben, dass einen Browser simuliert bzw. steuert.
Bezüglich Modelle: Nach meiner Erfahrung ist für Coding qwen besser geeignet als gemma. Die gemma Modelle sind aber gut bei der Arbeit mit deutschen Texten (z.B. einen Text zusammenzufassen), die können einfach besser deutsch als Qwen. Bei Qwen ist schonmal ein chinesisches Wort dazwischen oder auch Phantasieworte.
Trotzdem auch bei Gemma kann es Dir schnell passieren, dass Du eloquent klingendes Kauderwelsch bekommt.