Mobile

Lokale KI statt Cloud? Was ein echter Praxistest mit Qwen 3.6 27B zeigt

Kuristina schrieb:
@thrawnx Mag ja sein, dass deine Arbeitswelt hier im Forum stattfindet, aber das ist halt nicht bei jedem so und KI wird auch nicht per Default verteufelt. Es gibt aus nachvollziehbaren Gründen Regeln für die Verwendung von KI im Forum. Thats it.

Tut sie nicht und es ging ursprünglich um den Beißreflex, den einige Leute hier bei KI an den Tag legen. Aber dann erzähl mal, wie willst du das bei OP enforcen, wie willst du beweisen dass er KI verwendet hat? Oder ist der reine Verdacht heutzutage genug?
 
Danke, gehört dann aber in die Regeln zum erstellen von Posts. Und nicht so allgemein hin.

Denn Beitrag = Antwort.

Da geht es um verwirrende Antworten. Wobei ohne KI genauso verwirrendes entsteht.
 
chr1zZo schrieb:
Während der Benchmarks trat noch eine zweite Erkenntnis zutage, die ursprünglich gar nicht Teil des Tests war. Ein KI-gestützter Cronjob sollte regelmäßig eine Wissensdatei bereinigen. Wegen eines Kontextlimits sah das Modell jedoch nur den letzten Teil der Datei und erzeugte daraus eine deutlich kleinere Version, die anschließend ungeprüft zurückgeschrieben worden wäre. Interessanterweise war dieser Fehler jahrelang nie aufgefallen, weil der benötigte API-Schlüssel fehlte und der Cronjob deshalb nie ausgeführt wurde. Erst mit einem lokalen Modell wäre diese unbeabsichtigte Sicherheitsbarriere verschwunden. Das zeigt, dass ein Wechsel von Cloud- zu lokaler KI nicht nur neue Möglichkeiten eröffnet, sondern bestehende Annahmen über ein System verändern kann.
Super Beitrag, schonmal danke dafür. Habe den gesamten Thread noch nicht gelesen. Aber dieser Absatz ist mir etwas merkwürdig vorgekommen. Es wird ein "KI-gestützter Cronjob" erwähnt. Handelt es sich hier um eine relativ neue Version der Engine das sowas bereits zum tragen kam?
Ergänzung ()

d3nso schrieb:
Nö, ich mag einfach nicht wenn man irgendwelche Ki Texte einfach hinrotzt.
Aber den Aufwand den er in den Testversuch gesteckt hat um hier Informationen und eine Diskussion anzuregen unterschlägst du?

Absolut KI Hass, gesteh es dir wenigstens ein.
Ergänzung ()

samuelclemens schrieb:
Nunja, in der Softwareentwicklung im IT Unterricht war zb das mit der Dokumentation mein absolutes Hassteil. Vielleicht mit ein Grund weshalb ich Softwareentwicklung nie ernsthaft als Berufliche Laufbahn in Erwägung zog.
In diesem Bereich sehe ich mit llm und weiteren tools sicher viel Potential damit man sich als Entwickler auf die wesentlichen Dinge konzentrieren kann statt Meterweise Schriftstücke zu verfassen die eh nie einer liest aber wichtig für die Nachverfolgbarkeit sind.
Das braucht sich nicht angenehm zu lesen. Es muss korrekt, strukturiert und ausführlich sein. Möglicherweise auch so verfasst das es für LLMs leichter verständlich ist damit man das auch nicht mehr selber alles durchackern muss wenn es ein Problem zu lösen gibt. 😉

Für lokale llm sehe ich auch viel Potential in der Abwicklung und Archivierung von Papierkram privater Natur. 🤔
Gerade weil es sich um Daten handelt die man eher ungern einer Online KI überlassen möchte. ;)
Programmierer die nicht dokumentieren wollen oder können, sind mir extrem suspekt. Merkt man auch ständig wenn man auf Linux unterwegs ist und durch irgendwelche Gits pflügt und versucht zu verstehen was einem der Autor da mitteilen will.

Läuft meist darauf hinaus, dass man sich der Verantwortung entziehen will und die Nutzung ja freiwillig ist. Find ich merkwürdig.
 
Zuletzt bearbeitet:
@Snakeeater Der CronJob ist Teil des Enhanced Plugins was ich permanent weiter Improve. Man könnte sagen, er wurde eben bei dem Prozess des Benchmarks mit Entdeckt, als das er selber Aufgabe des Benchmarks war. Aktuell baue ich auch ein ähnliches Plugin für LM Studio falls kein MCP vorhanden. (Also für Nutzer die die Modelle nur rein "Lokal" betreiben ohne Kommunikation nach außen. Dennoch wird es eine optionale Sync Funktion geben. Aktuell läuft der Gemma 4 26B A4B QAT Benchmark auf dem gleichen Scope. Sobald fertig, lade ich alle Vergleiche hoch.
 
@Snakeeater

Ich habe nicht den Inhalt und deren Arbeit die dahinter steckt kritisiert, sondern wie das ganze letzendlich im Forum landet.
Davon abgesehen ist es hier eigentlich eh nicht erwünscht (siehe Post #42).
Ich arbeite fast täglich mit KI, man muss ich meine Arbeit hassen... :lol:

Für mich ist die Diskussion damit beendet, ich möchte und muss mich nicht bei jedem für meine Einstellung zu dem Thema rechtfertigen.
 
d3nso schrieb:
Davon abgesehen ist es hier eigentlich eh nicht erwünscht (siehe Post #42).

Da geht es primär um Antworten von KI ohne Überprüfung oder Nennung.

Nicht um das gestalten von Themen. Habe bisher keine Antwort auf meine Selbstmeldung erhalten.

Denn solche Regeln separat aufzustellen und nicht in den Forenregeln abzubilden ist B...t.
 
Qwen 3.6 mit verschiedenen Kontextlängen und Reasoning Limits vs. Gemma 4 26B A4B ·QAT habe ich als .pdf angehangen. Als nächste Teste ich ein stärkeres Modell von Qwen 3.6. Ich versuche den Aufbau Zeitnah übersichtlicher zu machen im Ausgangspost.
 
Qwen 3.8 wurde vor über 24 Stunden released, ich habe ihn gleich mal gegen den alten Test fahren lassen. Qwen 3.8 positioniert sich selbst gern über Opus 4.6 Max. Ich denke das potential ist vorhanden, den neuen Test findet Ihr im Hauptbeitrag. Echt Topmodel für lokale Maschinen!
 
Zurück
Oben