zett0 schrieb:
Ich hätte gerne eine KI die nicht irgendwas vor sich hin halluziniert, sondern auch noch mal checkt, ob das wirklich stimmt was man mir antwortet.
Die Frage ist, ist das Aufgabe vom Modell oder vom Agenten bzw. Harness?
Deine Aussage ist ein klassisches Problem beim Chat Prompt - technisch ist man heute aber eigentlich viel weiter.
zett0 schrieb:
Ist das jetzt ein ganz spezifischer Usecase? Ich kann mir nicht vorstellen, dass ich damit so allein bin.
Alleine nicht, aber diese Art KI zu nutzen ist so 2023 - um es mal salopp auszudrücken. Die Fehler passieren heute immernoch, wenn auch etwas weniger. Soviel vorab, aber wie man damit umgeht, wurde drastisch geändert. Klassisches Prompt Engeneering bedeutet, Mensch fragt Chat, Modell antwortet, Mensch reviewed, fragt weiter, oder meldet Fehler und fragt nochmal, Modell antwortet wieder, ...
Heute würde man das anders machen. Du fragst nicht deine Frage 1:1 wie sie im Kopf ist, und schon gar nicht gibst du Schritte erst nach und nach rein, sondern beschreibst was raus kommen soll und gibst dem Modell Prüfkriterien und Anweisungen zum verifizieren. Also anstatt zu fragen, was ist 1+2×3 was vielleicht dann einfach geraten falsch ausgegeben wird, fragst du ihn: Berechne 1+2×3. Erkläre jeden einzelnen Rechenschritt und beachte mathematische Vorrangregeln (wie Punkt-vor-Strich).
Wenn du jetzt noch nicht kur im Chat Fenster agierst, sondern via Harness, könnte man das noch ergänzen mit der Gegenprobe über den System Taschenrechner.
So zu fragen gibt dem Agenten bzw. Harness viel bessere Optionen. Auch sind ausstiegsklauseln häufig sinnig um das raten zu vermeiden. Sag ihm also, wenn er nicht weiter kommt, soll er das einfach sagen.
Zugegeben, das ist ultra einfach gesagt, die Beispiele sind aber auch ultra flach. In komplexeren Zusammenhängen mit mehreren Sub Agenten und vielen tausend oder zentausend Input Token kann und will man sich keine derart einfach zu vermeidenden Fehler erlauben.
Das Gedankenproblem beim Mensch ist aktuell nur, du musst den Weg mit gehen. Eine KI ist kein Taschenrechner oder Computer, es ist im Grunde ein Wort-Vorhersage Gerät. Es kann auf Basis von Wahrscheinlichkeiten Wörter in einem Kontext vorhersagen im Sinne von, wie Wahrscheinlich passt das Wort als nächstes in den Satz. Das Problem dabei ist, Wahrscheinlichkeiten haben kein richtiges falsch oder richtig, sondern nur näherungsweise eine höhere ofer niedrigere Quote ob das nächste Wort passen könnte. Falsch ist in dem Zusammenhang zu denken, dass die KI irgendwie selbst denken kann, dass das wie eigenes Gehirn funktioniert. Das ist es eben nicht. Deswegen muss man gezielt die Funktionsweise berücksichtigen um das passende Ergebnis zu bekommen. Das fällt den meisten Menschen schwer, weil für diese ChatGPT (like) Chat Prompts schon das höchste der KI Gefühle ist. Also man denkt dass das schon "alles" ist.
Was übrigens auch sehr gut funktioniert ist die KI zu fragen wie man sie fragen soll

Also das ideale Prompt von der KI zu einem Problem schreiben zu lassen anstatt sich da selbst einen abzubrechen und dann doch wichtige Dinge zu vergessen.
Die Modelle selbst sind heute schon weitestgehend sehr gut, die großen TopEnd Modelle sowieso. Das Wie ist aber der Knackpunkt.