BOBderBAGGER schrieb:
Daher auch meine Fragen. Bekomm ich von einem kleinen Model gesagt Mehl und das große sagt mir dann welches und wieviel oder ist der Output so nah und die Kosten so hoch das es sich nicht lohnt.
Du kannst dir das bildlich eher so vorstellen, dass bspw. da oben im Rezept dann ne Zutatenliste steht und unten im Text für die Arbeitsschritte wird dann auf einmal eine Zutat verwendet, die oben gar nicht steht. Das würde dir in einem Loop auffallen, wenn das Modell (der Agent/die Software) das Rezept am Ende einmal komplett durch spielen muss/soll. Solche Fehler, dass das Modell Annahmen trifft oder Dinge behauptet, die real aber dann doch nicht sind oder anders sind, passieren häufig(er). Um so schlauer die Modelle und um so mehr reasoning effort man dort drauf schmeißt, desto weniger Fehler passieren.
Je nachdem was du dann am Ende damit anstellst, fallen diese Fehler erst dem Menschen auf. Angefangen hat das halt über die wahrscheinlich von so ziemlich jedem bekannten Chat Prompts von ChatGPT. Du hast ne Frage, du hämmerst die ein, du bekommst ne Antwort. Einmal rein, einmal raus. Kein Loop, keine Prüfung, nur ein Versuch. Entweder es stimmt - oder es stimmt nicht. Ich kenne viele Personen, die aufgrund der dort häufig zu sehenden falschen Dinge eine Grundablehnung ggü. KI aufgebaut wurde.
Heute mit Agentic Arbeiten, Loops und Co steht die Frage zwar auch noch irgendwo am Anfang - vereinfacht gesagt aber lässt du das Modell solange eine Antwort finden, dass es die von dir selbst definierten Ziele verifizieren kann. Am Rezeptbeispiel wäre das bspw., geh das Rezept durch und stelle sicher, dass A) alle Zutaten verbraucht werden und B) dass keine Zutaten auf der Liste fehlen. Über so eine Methode bspw. fällt einem schwächeren Modell oder eine Modell mit weniger Denkaufwand auch auf, dass da was nicht passt. Ein stärkeres Modell hätte so einen Fehler möglicherweise aber gar nicht erst gemacht.
Das ist natürlich alles ultra einfach gesprochen - Koch Rezepte sind selten wirklich komplex. Wenn du aber so ein Modell mal ein paar hundert oder tausend Code Zeilen schreiben lassen willst, macht das schon einen gehörigen Unterschied, ob sich Fehler einschleichen und wie gut diese in der Basis möglichst versucht werden, zu verhindern. Deswegen ist der Trend (wie auch im Artikel genannt), das beste verfügbare Modell den Plan schreiben zu lassen und das simple "machen" dann die schwächeren Arbeiter durchführen zu lassen. Der Plan verzeiht weniger gut Fehler - beim schlussendlichen durchführen aber kann ein guter Plan viele Fehler finden und man kann diese daran gemessen, auch beheben.