Welches Sprachmodell für lokale KI könnt ihr empfehlen?

Don_Tralle

Lieutenant
Registriert
Okt. 2021
Beiträge
811
Ich experimentiere aktuell auf meinem Unraid Server mit Ollama im docker container. Habe OpenWebUI als Interface und SearXNG als Websuche. Ich hab mir von meinem Freund Claude 2 Sprachmodelle empfehlen lassen, die in meinen Ram passen, das Gemma4:31b und das qwen3.8:27b.

Ich spiele aktuell nur etwas rum und habe keinen konkreten usecase für meine lokale KI. Habe daher einfach mal 2 Fragen an Claude gestellt und die Antworten mit meiner lokalen KI verglichen. Ziemlich ernüchternd muss ich sagen. Warum ist das so, erwarte ich zu viel? Oder hab ich die falschen Sprachmodelle? Sind die beiden die ich gewählt habe keine so guten Allrounder? Oder limitiert das "kleine" Sprachmodell hier? Ich wette Claude läuft auf etwas dickeren Servern, oder? Dabei finde ich die gar nicht so klein, hab bis 32GB angegeben bei der Suche nach einem Sprachmodell.

Hier meine Testergebnisse auf die Frage:
"wie ist der schlusskurs des dax heute?"

Antwort nach eigener Recherche auf finanzen.net:
DAX25.820,36-1,9 %17:50:00

Claude
Der DAX hat heute (Freitag, 6. November 2026) bei rund 25.820 Punkten geschlossen und damit etwa 1,9 % tiefer als am Vortag.


  • Laut t-online-Schlussbericht lag der Stand bei 25.820,36 Punkten (–1,92 %). Die Xetra-Meldung von Dow Jones nennt ebenfalls 25.820. Andere Quellen weichen leicht ab (z. B. 25.794 bei finanzen.ch), je nachdem, ob sie den Xetra-Schluss um 17:30 Uhr oder einen späteren Stand nehmen.
  • Am Donnerstag hatte der DAX bei 26.325 Punkten geschlossen, nachdem er zuvor ein neues Rekordhoch bei rund 26.690 Punkten erreicht hatte.
  • Als Grund für die Verluste nennen die Berichte einen globalen Ausverkauf bei Technologie- und Halbleiterwerten und Sorgen um die Regulierung und Wirtschaftlichkeit von KI-Investitionen.
  • Hochtief (+5,5 %) und Siemens Energy (+3,7 %) gehörten zu den wenigen Gewinnern. Insgesamt schlossen nur 5 von 40 Werten im Plus.

Ich bin keine Finanzberaterin und gebe hier nur den Stand wieder, keine Einschätzung zum weiteren Verlauf.
Korrekter offizieller Wert, Claude geht auch auf die unterschiedlichen Uhrzeiten ein, der Schlusskurs 17:30 Uhr war entsprechend niedriger als der 17:50 Uhr. Etwas Text und Beispiele gibts als Beigabe.

Gemma 4
Der DAX schloss am 6. November 2026 bei 25.778 Punkten
Wert falsch, obwohl sehr nah dran

qwen 3.8
Laut den vorliegenden Informationen schloss der DAX am 6. November 1,92 Prozent tiefer
ad-hoc-news.de
. Die exakte Schlusskurszahl in Punkten wird in den bereitgestellten Quellen jedoch nicht angegeben. Die Quellen enthalten zudem historische Renditedaten und verschiedene Nachrichten zu DAX-Aktien (u. a. Airbus, Hochtief)
boerse.de
, sowie eine Übersicht der gehandelten Indizes
finanzen.net
, jedoch keinen konkreten Schlusskurswert.

Falls Sie die exakte Punktzahl des Schlusskurses benötigen, empfehle ich, die aktuelle Börse oder eine Finanznews-Seite zu konsultieren.
Kein Wert, KI sagt ich soll selbst suchen (what????)


und auf die Frage:
"wie wird das wetter morgen in berlin?"
Werte hab ich nicht geprüft, war auch nicht nötig

Claude
Morgen (Samstag, 7. November) wird es in Berlin trocken und kalt: Die Höchstwerte liegen bei etwa 7 °C, in der Nacht kühlt es auf rund –0,3 °C ab, also leichter Frost. Die Regenwahrscheinlichkeit beträgt 0 %. Auch der Sonntag bleibt trocken, bei bis zu 6 °C.
Es kam noch ein kleines Bildchen mit den Vorhersagen für alle Tage zusätzlich zum Text.

Gemma 4
Die bereitgestellten Informationen enthalten keine spezifische Wettervorhersage für morgen in Berlin. Es wird lediglich eine aktuelle Temperatur von 5°C für Berlin erwähnt
wetterdach.com
sowie statistische Durchschnittswerte für den Monat November
wohin-und-wann.de
Kein Wert

qwen 3.8
Leider finden sich in den vorliegenden Quellen keine konkreten Wetterdaten für die morgige Vorhersage (7. November 2026) in Berlin. Die Seiten enthalten zwar die Überschrift „Wettervorhersage Berlin morgen 07.11.2026"
wetter2.com

wetterdach.com
, doch die eigentlichen Vorhersagezahlen (Temperatur, Niederschlag, Wolkenbedeckung) für diesen spezifischen Tag werden nicht ausgegeben – es sind überwiegend Navigationselemente und Menüpunkte zu sehen.

Als grobe Orientierung bieten sich die Durchschnittswerte für November in Berlin an
wohin-und-wann.de
:

Morgens (06:00): ca. 5 °C, überwiegend bedeckt (28 % der Zeit)
Mittags (12:00): ca. 9 °C, bedeckt (33 % der Zeit)
Abends (18:00): ca. 7 °C, zu 27 % der Zeit klar und sonnig
Niederschlag: durchschnittlich 1,54 cm im Monat
Gesamtbewertung: „sehr schlechtes Wetter"
Diese Angaben basieren jedoch auf mehrjährigen Statistiken und entsprechen nicht zwingend der tatsächlichen Vorhersage für morgen. Für eine präzise Prognose empfehle ich, direkt auf die Wetterseite (z. B. wetter2.com oder wetter.com) zu schauen, wo die taggenaue Vorhersage für den 7. November 2026 hinterlegt ist.
KI verweist auf die November-Durchschnittswerte.....wow, wenig sinnvoll und empfielt mir dann auch selbst nachzuschauen.


Was sagt ihr zu meinem kleinen Test?
 
Super haste toll gemacht!
 
  • Gefällt mir
Reaktionen: N00bn00b
Don_Tralle schrieb:
Was sagt ihr zu meinem kleinen Test?
->
Don_Tralle schrieb:
Kein Wert, KI sagt ich soll selbst suchen (what????)

LLMs sind fuer die anfrage komplett ungeeignet.
Vor allem ohne tool use wie es bei dir scheinbar der fall ist.
Was ein LLM macht Frage -> Curl gegen eine finance api -> hoffentlich antwort korrekt ausgeben. Braucht auch nur 100-1000x so lange wie einfach direkt curl laufen lassen

Egal wie "dick" die server sind, das ist einfach das falsche Werkzeug. Vor allem ohne die richtige Architektur drum herum.

Einen Nagel schlägt man mit einem Hammer rein, nicht mit einer Banane.
 
  • Gefällt mir
Reaktionen: konkretor, Looniversity, =dantE= und 3 andere
Die c't hat dazu heute ein video veröffentlicht:

 
  • Gefällt mir
Reaktionen: nutrix
Don_Tralle schrieb:
KI sagt ich soll selbst suchen (what????)

LLMs sind auch nicht als Suchmaschinen gedacht. QWEN schon gar nicht.
 
  • Gefällt mir
Reaktionen: lazsniper
@MaverickM Man kann sie aber gut darauf abrichten sofern man ganz genau weiss was das spezifische Wissensgebiet ist und bei aktuellen Daten natürlich verlässliche Quellen integriert. Insbesondere lokale Modelle
Aber coding halte ich derzeit für zu komplex für lokale Modelle.🤔

Wenn es aber eh sehr spezifisch ist was die KI an Daten verarbeiten soll, sollte man sich vielleicht eher ne entsprechende App online vibecoden lassen.
Stichwort: Webscaping.

Kernpunkt ist, man sollte genau wissen wozu man die lokale KI benötigt und was die können muss.
Einfach vorstellen man wär ein Personaler und sucht für eine ganz bestimmte Stelle einen Mitarbeiter.
 
Wenn du keinen Use Case hast, dann lass das mit den local LLM einfach. Einen besseren Tipp bekommst du nicht. Dein erster Versuch zeigt, dass du nicht 0 mit der Funktionsweise von local AI befasst hast. Was ok ist - aber du solltest ohne Use Case nicht erwarten, dass jemand Zeit aufwendet, um dich beim Nichtstun zu unterstützen.

Wenn du Lust zum Experimentieren hast, dann such dir einen Use Case. Wenn du einen Use Case hast, kann man dich auch beraten, welches Modell du wie einsetzen kannst.
 
  • Gefällt mir
Reaktionen: Don_Tralle, lazsniper, gman32 und 2 andere
TeeKayEV schrieb:
Dein erster Versuch zeigt, dass du nicht 0 mit der Funktionsweise von local AI befasst hast.
Eigentlich hat er das ja damit teilweise getan. Das nennt man try and Error Prinzip. Jetzt weiß er das sich lokale KI nicht ohne weiteres als Suchmaschine wie ne online KI eignet.
Er weiss nur nicht wieso.
 
Da muss man jetzt schon ehrlich sein. So richtig gut ist das nicht universell einsetzbar. Da macht das Video in meinen Augen etwas falsche Hoffung. Klar wenn man spezifische Usecases optimiert geht das alles super aber es ist weit weg von einem Fabel oder Astra dass man einfach so drauf los lassen kann. Ich bin sehr gespannt was QWEN 4 bringt. Vermutlich wird dass das erste richtig interessante auf normaler Hardware universell einsetzbare Modell. Und versteht mich bitte nicht falsch ich hab auch mit den alten QWENs nette Dinge am laufen aber man darfs auch nicht überbewerten.
 
Captioning ist zb so ein gutes Einsatzgebiet für lokale Sprachmodelle.
100derte Bildbeschreibungen zb für das Training von LoRas.
Zum einen würde man ohne Ende Tokens online verbraten und zum anderen auch noch das Bildmaterial einem online Server anvertrauen.

Oder übersetzungen wenn man nicht will das online Server jedes Wort mitloggen.
Promptenhancer verwenden ja auch Textmodelle in den ganzen offline Bildgenerierungs Anwendungen.

Im Fazit das ganze Multimedia Content Gebiet wie Bilder, Videos, Musik usw ist ein gutes Einsatzgebiet für offline KI.
Wenn auch Jardwarebedingt mit Limits...
 
  • Gefällt mir
Reaktionen: TomH22
Gibt man einem Modell Tools an die Hand, ist es auch für "Recherche"-Aufgaben wie die Frage nach der Wettervorhersage oder Börsenkursen geeignet. Mit Hermes kann ich umfangreiche Recherchen laufen lassen, die definitiv tiefergehende Erkenntnisse schneller liefern, als ich es selbst mit Google könnte.

Meine Vermutung beim Versuch von @Don_Tralle ist, dass die Modelle gar keinen Internetzugriff hatten, auch wenn sie es behaupten. Gerade Gemma neigt bei mir auch dazu, Tools einfach nicht aufzurufen, aber auch auf explizite Nachfrage und Hinweis auf den unterlassenen Toolaufruf zu behaupten, genau das doch getan zu haben.

Qwen3.8 27B hat hingegen sofort eine Abfrage mit korrekten Geokoordinaten an open-meteo über die frei verfügbare API gestellt - Geokoordinaten und API-Zugang waren offensichtlich in den Trainingsdaten enthalten.
 
  • Gefällt mir
Reaktionen: TomH22, lazsniper und samuelclemens
samuelclemens schrieb:
Man kann sie aber gut darauf abrichten sofern man ganz genau weiss was das spezifische Wissensgebiet ist

Für so alltägliche Aufgaben, wie sie der TE "getestet" hat ist eine KI schlichtweg verschwendet. Und vor allem verschwendete Ressourcen. Eine einfache Suchmaschine liefert hier bessere und sinnvollere Ergebnisse. Und das schneller und bei weniger Energie-Aufwand.

Wenn man viele Daten scrapen und auswerten will, ist das was anderes. Aber solche Kinkerlitzchen sind ungeeignet für eine KI.

Und Coding ist für lokale KI auch nicht "zu komplex".
 
  • Gefällt mir
Reaktionen: TeeKayEV
boa, ich würde mal anfangen leuten eine auszeit zu geben, die solche threads zumüllen. wenigstens ein link zu einem aktuelln youtube video....
 
das hab ich mir irgendwie anders vorgestellt mit der lokalen ki. dass die sich so stark von den online verfügbaren unterscheidet hätte ich nicht gedacht. und die websuche hab ich ja schon als separates tool zur verfügung gestellt, wurde auch genutzt. aber ich hab einen usecase für den ich speziell mal testen könnte, aber den brauch ich nur selten....da wäre vielleicht ein eigener thread sinnvoll, oder? egal.

ich würde gern meine hundefotos analysieren lassen, der ki mitteilen wer welcher hund ist um dann suchen zu können: zeig mir alle bilder mit brutus oder zeig mir alle bilder mit lucky auf denen nur er zu sehen ist und kein anderer hund. oder zeig mir alle bilder von der wiese....so zeugs wäre sinnvoll. hab mir schon den a-eye docker angepinnt, aber das interface und die suche schrecken mich irgendwie ab, vielleicht gibts ne alternative dazu? ich denke mal so ein usecase funktioniert dann ähnlich gut wie mit claude oder chatgpt, oder irre ich mich da?
 
Don_Tralle schrieb:
zeig mir alle bilder mit brutus oder zeig mir alle bilder mit lucky auf denen nur er zu sehen ist und kein anderer hund.
Sofern sich die Hunde optisch gut voneinander unterscheiden sollte das kein Problem sein für lokale KI.
Bei Menschen funktioniert das sehr gut.
Aber das geht auch ohne KI per biometrischer Mustererkennung.
Bedingte Abfragen wie Brutus mit Herchen auf dem Volksfest ist schon ein anderes Kaliber. Aber das sollte auch gehen.
Gegebenenfalls müsste man die Suche dann strukturieren in mehreren Etappen vom allgeme
inen zum spezifischen.
Zb also alle Bilder vom Volksfest, daraus dann alle Bilder wo Brutus drauf ist und zum Schluss das Ergebniss nochmal nach Herrchen filtern.

Für LoRa Training wird etwas ähnliches angewendet bei der Vorarbeit zu Datasets.
Man kann mit speziellen Tools hunderte von Bildern durchsuchen lassen nach geeigneten Bildern nach speziellen Kriterien mit Vorgabe eines Portraitbildes.

Aber die andern haben Recht. Man muss sich da Reinfuchsen.
Aber zum Glück gibt's ja geduldige online KIs die einem gern stundenlang alles haarklein erklären können.
Dafür sind die wirklich gut einsetzbar.😁
 
  • Gefällt mir
Reaktionen: TeeKayEV
Don_Tralle schrieb:
das hab ich mir irgendwie anders vorgestellt mit der lokalen ki. dass die sich so stark von den online verfügbaren unterscheidet hätte ich nicht gedacht.
Tut sie auch nicht. Kauf dir für ne halbe Million ein GB300 Rack und lass darauf Kimi K3 laufen, das in Tests auf einer Qualitätsstufe mit Claude Opus 5.5 liegt. Du hast aber nicht Kimi K3 auf einer halben Million Euro Hardware laufen lassen, sondern das Wurst-Ende, das von Kimi K3 abgeschnitten wurde. Und das hast du dann auf Hardware laufen lassen, die Nvidia nichtmal als Load-Balancer für ein GB300-Rack nutzen würde, weil es zu leistungsschwach ist. Und das Wurst-Ende hast du dann auch noch random ausgesucht und vermutlich nicht richtig konfiguriert. Das Ergebnis ist entsprechend.

Es gibt lokal auf günstiger Hardware laufende Modelle, die in Relation zur aufgewendeten Rechenleistung (aus meiner Sicht) unglaubliches leisten. Mit den richtigen Modellen, die richtig konfiguriert sind, die die richtigen Tools nutzen und die mit den richtigen Prompts gefüttert werden, bekommst du Ergebnisse hin, die denen von Frontier-Modellen ähnlich sind, aber nur einen winzigen Bruchteil des Hardwareaufwandes erfordern.

Für dein Hunde-Foto-Problem hat mir mein lokal laufendes Qwen3.8 Flash-Next einen konkreten, umsetzbaren Plan entworfen, den das Modell auch bis heute Nachmittag eigenständig umsetzen und testen könnte. Da das ein gängiger Wunsch ist, gibts sogar schon eigene kleine KI Modelle, die auf Hunde-Erkennung trainiert wurden. Der Vorschlag von Qwen ist daher, erst einmal jedes Foto zu klassifizieren und zu schauen, was abgebildet ist. Dann ein Modell, das Hunde identifiziert und nur den Bildteil mit dem Hundekopf ausschneidet, woraufhin ein drittes Modell den Hund identifiziert (du must vorher an 20, 30 Fotos sagen, wie der Hund heißt). Zum Schluss eine kleine lokale Datenbank, um die Suche schneller abzuarbeiten.

Sieh local AI nicht als schlüsselfertige Lösung an, die du wie ein Spiel installierst, startest und dann Spaß hast. Das Ökosystem ist zwar in den vergangenen zwei Jahren extrem nutzerfreundlicher geworden. Aber der Weg des Lernens, Entdeckens und Bastelns ist bei local AI immer noch ein Feature und kein Bug. Wenn du Spaß daran hast, mit einer extrem steilen Lernkurve neues zu Entdecken, dann leg los. Und du wirst in drei Monaten ein System gebaut haben, das dich und deine Fähigkeiten in einem Umfang erweitert, das du dir jetzt noch gar nicht vorstellen kannst.

Ich selbst war in deinem Status ("Irgendwie enttäuschend, was das alles kann. Ist doch alles Quatsch") bis Mitte des Jahres. Inzwischen steht in meinem Büro ein Hardware-Park mit diversen Computern nur für local AI, selbst gebauten Verteilern, die KI-Tasks automatisch auf die einzelnen Computer verteilen und einem Software-Entwicklungssystem, von dem ich als Nichtentwickler vor drei Monaten nichtmal wusste, dass man es braucht und dass es sowas gibt.

Beherzige @samuelclemens Rat und nutze bezahlte Cloud-AI, um damit zu lernen. Frag da ganz konkret, wie du eine Aufgabe mit local AI lösen könntest. Claude Opus sagt sogar manchmal von sich aus, dass es sich für eine Aufgabe für weniger gut geeignet hält als ein kleines, spezialisiertes Modell. Vor allem bei Bilderkennung sagt es dann ganz klar, dass ein spezialisiertes Modell schneller und günstiger und mutmaßlich auch besser erkennt.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: lazsniper
TeeKayEV schrieb:
Du hast aber nicht Kimi K3 auf einer halben Million Euro Hardware laufen lassen, sondern das Wurst-Ende, das von Kimi K3 abgeschnitten wurde.
Wobei es auch Wurstenden gibt, die größer sind und welche, die kleiner sind.

Beispielsweise gibt Recursive an, dass Flint nach der Quantisierung bis auf 0,7 Punkte die gleichen Ergebnisse wie vor der Quantisierung erzielt:

The final NVFP4 model scores within 0.7 points of the 16-bit model across our benchmarks.
Quelle: https://recursive.com/updates/introducing-recursive-flint

D.h. man bekommt eine Leistung eines sehr größeren Modells trotz der Quantisierung, was auch (evtl. mit Offloading) auf einer Consumer-Grafikkarte gut läuft.
 
Don_Tralle schrieb:
das hab ich mir irgendwie anders vorgestellt mit der lokalen ki. dass die sich so stark von den online verfügbaren unterscheidet

Lokale KI Modelle sind halt meist spezialisiert. Die Chatbots im Netz von ChatGPT und Co. haben auch verschiedene Tools, die sie dann nutzen, meist automatisch anhand der Nutzereingabe.

Don_Tralle schrieb:
ich würde gern meine hundefotos analysieren lassen, der ki mitteilen wer welcher hund ist um dann suchen zu können:

Dafür brauchst Du nicht extra mit KI Modellen spielen, dafür gibt es fertige Tools. Immich z.B.
 
Zurück
Oben