Fliz schrieb:
Der Kunde hat kaum Ahnung, wie komplex seine Anfragen sind und was die an Rechenleistung brauchen und die Firma legt irgendwelche Limits fest, die kaum nachzuvollziehen sind. Stößt man an diese Limits und will weiter arbeiten, muss man zahlen
Das stimmt nur bedingt, dein Client ermittelt die Daten und überträgt diese, hier kannst du 100% des Inputs nachvollziehen der übertragen wird.
Auch kannst du 100% des Outputs nachvollziehen.
Beim Thema Cache (Serverseite) wird es nebulös, das ist halt nicht wirklich nachvollziehbar.
Problematisch wird der Thinking-Modus, hier "spricht" die KI mit sich selbst und generiert Token, auf die du nur bedingt Einfluss hast. Aber die Konversation selbst ist nachvollziehbar und damit prüfbar.
Den Thinking Modus kann man aber (je nach Modell) auch komplett deaktivieren, muss aber mit schlechten Ergebnissen leben.
Das größte Problem ist halt was ist "ein Token", dafür gibt es keine genaue Definition wie "das sind 47 Bytes". Das fällt halt je nach komplexität der Modelle unterschiedlich aus.
Was ein Token kostet ist allerdings wieder klar kommuniziert.
Was im Prinzip fehlt ist eine lokale KI, die ein grobe Einschätzung deiner Anfrage abgibt, bevor diese an den Server übermittelt wird. Aber das wäre auch wieder sehr ungenau.
Es bleibt eigentlich nur die eigene Erfahrung. Ich habe mit verschiedenen Modellen und Anfragen "gespielt", um ein Gefühl dafür zu bekommen was geht und was nicht geht, oder in welchem Umfang.
Wenn Zeit keine Rolle spielt, oder eine untergeordnete Rolle, dann kann ich die Verwendung von günstigen Modellen empfehlen. Modelle wie Deepseek, Minimax & Co. sind wirklich günstig und erledigen die meisten aufgaben, wenn auch langsam, wenn auch manchmal mit mehreren durchgängen.
Bei zunehmender Komplexität nutzt man halt bessere Modelle.
Oder man wählt einen Hybrid-Ansatz: Planung mit besseren Modellen, Umsetzung mit günstigeren (bin ich im Moment am testen, funktioniert bisher eigentlich ganz gut).
Per se teure Modelle für 0815 Aufgaben zu verwenden halte ich für absolute Geld- und Ressourcenverschwenung. Und die meisten Programmieraufgaben sind 0815.
Ich hatte bisher noch nichts wo ich dachte "hätte ich doch blos Mythos".
Ich bin immer wieder erstaunt, welche Unsummen manche im Monat so rauspfeffern, vor allem wen ich mir das magere Ergebnis dann angucke.
