ChatGPT Pro verirrt sich in stundenlanges Reasoning ohne Ergebnis

[JanHe]

Moin!

Ich habe heute das Upgrade von Plus auf Pro vollzogen. Einerseits bin ich begeistert, weil das Kontingent vieeel größer ist, auch größer als versprochen. Beispielsweise liefen heute bei mir weit über 6 Stunden Astra Max Reasoning in Work Modus, während mein Wochenkontingent gerade mal 20% verbraucht hat. Auch steht mir GPT-6 Pro im normalen Chat zur Verfügung, was wirklich lange Tasks ausführen kann.

Die Kehrseite: Viele Chats hängen sich nach langer Zeit auf. Ein Work-Task (Astra Max Thinking) läuft nun schon seit 6 Stunden, obwohl nur 2 Eingabefelder einer Flutter-App designt und erstellt werden sollten (mit expliziten AGENT.md Anweisungen, also schon etwas größer). Nun hängt er seit Stunden bei letztem Test und Release-Build....
Dann Chats, wo er nach 70 Minuten feststellt, dass seine Werkzeuge fehlen und er keine Antwort liefern kann. Oder Chats, wo er sich im Reasoning verfängt, ohne eine Antwort zu liefern. Zum Teil persistierend in neu eröffneten Chats.

Wie macht ihr das in solchen Fällen? Ich habe online ähnliche Problemfälle gefunden (gerade auch in Bezug auf das Problem, dass die kleinen Restprüfungen und -tests für Aufhänger sorgen <-- vielleicht sollte man die bewusst in Prompts auslassen und kleineren Modellen überlassen?). Nicht finden konnte ich Lösungen oder Erklärungen. Vielleicht finde ich hier zumindest Trost durch ähnliche Erfahrungsberichte.

PS: Möglich natürlich, dass das langsame Aufbrauchen des Wochenkontingents damit zusammenhängt, dass Work intern schon beendet ist und nur noch der Frontend-Timer weiterläuft.... dann könnte eine simple Lösung ja sein, das Reasoning zu stoppen und einen Prompt zu schreiben, indem man eine Fertigstellung fordert, jedoch ohne finale Tests mit Release-Builds, die allein der technischen Ausführbarkeit dienen.

PPS: Ah ja, meine Vermutung hierüber scheint zuzutreffen. Habe einen derartigen Prompt nachgeschickt und plötzlich wechselt die Zeitanzeige auf nachträgliche 54 Minuten statt 360 Minuten.

PPPS: Anscheinend reicht es nicht, einen Prompt hinterherzuschicken. Der wurde nämlich bei Neu laden der Seite ignoriert/gelöscht. Man muss schon explizit auf das Stop-Symbol klicken!

 

[Tornhoof]

Abbrechen, es ist ziemlich üblich dass die Modelle mit den Max reasoning Einstellungen sich verlaufen in endlosen Schleifen. Manchmal hilft, den aktuellen Stand abfragen, manchmal ist aber abbrechen besser.

 

[Fabii02]

Aleo ich habe festgestellt, dass kleine Modelle mit spezifischen Anweisungen oft schneller zum Ziel kommen mit zusätzlich weitaus geringerem Tokenverbrauch. Wobei das sicherlich mit der Gesamtgröße der App (sprich Kontext für den Agenten) zu tun hat.

Verwendest du die KI-Tools über einen IDE (z.B VS Code, JetBrains) oder machst du alles manuell über die Webseite? Falls integriert: ist die Codebase indiziert? (z.B. über GitHub Copilot, dafür muss sie nicht auf GitHub sein)

Auf der Arbeir komme ich aktuell mit "MAI CODE 1.1 Flash" via GitHub Copilot am Besten voran. Die größeren Modelle von OpenAI und Antrophic habens in unserer (relativ kleinen) Codebase leider beide mehrmals geschafft sich über ne halbe Stunde zu verrennen.

 

[JanHe]

Ich mache alles über die website. Vielleicht ein Problem, was damit zusammenhängt: bestimmte Work-Chats lassen sich bei mir nicht mehr öffnen - das Ladesymbol dreht sich, dann friert es ein...

 

[Schwachkopp]

Habe das auch ab und an aber eher selten. Ich vermute es hängt mit der Länge deiner Chats und/oder der Größe der Dateien zusammen, die Du in den Chat schiebst. Leider habe ich keine klare Lösung.

 

[JanHe]

Ja, vermutlich auch von dem Erfolg des Chats - aufgehängte Chats scheinen schwerer zu laden. Mit etwas Geduld und mehreren Versuchen bin ich jetzt dennoch reingekommen. Zur Zeit scheitert etwa die Hälfte meiner Pro und Work Prompts...

 

[Sebbi]

obwohl nur 2 Eingabefelder einer Flutter-App designt und erstellt werden sollten

Wie macht ihr das in solchen Fällen?

Selbst programmieren /s

ansonsten melde halt bugs oder so ...

 

[JanHe]

Also Leute, seid mal ehrlich: Das ist doch wieder ein riesen Marketing-Hype mit Astra! Diese ganzen Meldungen mögen ja zutreffen und ich gehöre definitiv nicht zu denjenigen, für die AI an sich nur "Hype" ist, aber als Power-User, der täglich mehrere Stunden an verschiedenen hobby-ambitionierten Softwareprojekten arbeitet, muss ich ganz klar sagen: ChatGPT war besser bevor Astra kam! Astra wirkt lediglich wie "Marketing" in der realen Anwendung: Meine Codes werden fertig kompiliert und ich bekomme einen HTML-Bericht mit echten Screenshots aus der App ausgegeben. Ist ja ganz nett, aber die zugrundeliegende Qualität der Ergebnisse ist in keinster Weise besser als mit Sol. Auch mit Astra macht ChatGPT immer noch die exakt gleichen dummen Fehler, jedes Mal. Und ich rede jetzt nicht von Dingen, die die KI "wissen müsste", sondern von Fehlern, die klar den Prompts zuwiderlaufen. Bspw. habe ich gestern Astra Max Thinking in Work damit beauftragt, den Onboarding-Prozess bei einer meiner Apps stark zu vereinfachen, technisches Blabla, überhaupt Blabla , gegeneinander um Aufmerksamkeit konkurrierende UI-Elemente uvm. zu vereinfachen. Tat es auch. Doch im Zuge der weiteren Anweisungen mussten zusätzliche Screens entstehen. Was machte ChatGPT? Es setzte viel zu viele Buttons, viel zu viele Texte, gemischt mit verschiedenen Schriftgrößen, und viel zu kompliziertem Inhalt für Enduser , gepaart mit internen Developer-Notizen (auch einer der häufigsten KI-Schwächen), hin....

Abgesehen davon, dass die Arbeitsoberfläche nach wie vor miserabel ist. Keine ordentliche Suchfunktion, Chats können untereinander nicht ordentlich aufeinander zugreifen (und ich rede da erstmal nur von einfachen Dingen wie ausgegebene Dateien - ich weiß, dass der Kontext an sich erst quantisiert werden muss und das deutlich herausfordernder ist).

Die Kontextlänge ist auch nicht länger mit Pro als mit Plus. Denkvorgänge brechen bei Kontextlänge-Limit ab und man muss sich bescheuerte Workarounds bauen, um die Ergebnisse des nicht abgeschlossenen Denkvorgangs irgendwie weiterverarbeiten zu können (Prompt : "Sag 'Hallo'!" --> dadurch entsteht eine neue nachricht, die nicht viele tokens kostet und trotz Limit erlaubt wird, wodurch man ein Dreipunktemenü hat, worüber man den Chat in neuen Chat auszweigen kann....).

So bewundernswert auch ich diese IT-Profis finde: Sie sind viel zu verkopft mit ihren unsinnigen Benchmarks. Keinen Menschen, der real mit KI arbeitet, juckt das was, wenn er (mit der Pro-Version!) diese Erfahrungen macht, die ich oben nur andeutungsweise geschildert habe....

 

[Sebbi]

¯\(ツ)/¯

just typical KI thing

überhyped und gefährlich

 

[JanHe]

KI ist schon cool und eher underhyped, wenn man mal überlegt, was die meisten damit machen (über die Hälfte der Prompts sind Gesundheitsfragen) und was damit möglich ist (z.B. eigene Software ohne Programmierkenntnisse entwickeln). Aber ChatGPT seit Astra ist halt vergleichsweise whack.^^

 

[Sebbi]

(z.B. eigene Software ohne Programmierkenntnisse entwickeln)

was bei rumkommt siehste ja gerade ...

was die meisten damit machen (über die Hälfte der Prompts sind Gesundheitsfragen)

wo das auch garantiert die richtige und niemals fantasierte Diagnosen rauskommen ... es ist immer definitiv Krebs im Endstadium

 

[JanHe]

Ich sehe das nicht so einseitig. Benutzt du KI überhaupt? Wenn ja, welche? Und wofür?

Da ich einfach mal annehme, dass du KI nicht so viel nutzt, würde ich den Thread ganz gerne für dich einordnen: Ja, ich und viele andere intensive Nutzer beschweren sich grad viel, aber das ist Meckern auf sehr hohem Niveau. Die KI leistet trotzdem gute Arbeit und tut Dinge für uns, für die man früher ein ganzes Team über Wochen oder gar Monate gebraucht hätte (nicht unentgeltlich). Also bitte solche Forumstexte nicht falsch interpretieren. Mein Kommentar zu den Gesundheitsprompts war übrigens kritisch gemeint.