Kann Opus/Sonnet seinen eigenen Chatverlauf nicht lesen/ sehen? (Perplexity)

[JoHaJo]

Für mich ist es normal, in einem Chatverlauf die vergangenen Chats zu lesen. Opus/ Sonnet scheint das nicht zu können. Wie geht man damit um?

Konkret schreibt mir die KI: „Ich kann nicht so scrollen, wie du es als Mensch kannst.“ Okay.
Aber jetzt habe ich ein Problem:

1. Gestern habe ich etwa ein bis zwei Stunden damit verbracht, eine komplexe Code-Architektur und ein Design mit Opus zu erstellen. Mit guten Ergebnissen.
2. Da es schon spät in der Nacht war, habe ich beschlossen, dort aufzuhören und am nächsten Tag weiterzumachen. Ich schrieb den Prompt/ die Frage: Können wir hier stoppen und morgen weitermachen? Antwort: ja, das geht.
3. Heute erwarte ich, mit meiner Architektur und meinem Design fortfahren zu können. Ich bin im selben Projekt, im selben Chat. Ich kann nach oben scrollen.
4. Aber Perplexity kann das nicht! Oder irre ich mich?
5. Beweis: a) Ich habe darum gebeten, dort weiterzumachen, wo wir gestern aufgehört haben, und ich erhielt eine ausführliche Antwort allerdings mit all den alten Methoden, dem alten Design, alten Dateinamen, alten Referenzen auf alte Dateien und Begriffen, von denen keiner auf dem neuesten Stand ist. b) Ich habe gefragt, was passiert ist, und im Ernst: Die KI hat versucht, sich zu verstecken, wollte keine klare Antwort geben. Also habe ich sie in die Enge getrieben (verrückt). Dann erschien die Meldung: „Der Chat wird zu lang“ (hahaha lol). Es bleibt: Opus kann nichts von vorher sehen.

Das habe ich gelernt und hätte ich schon früher wissen sollen: Halte niemals mitten in einem Chat an, ohne die Ergebnisse in eine Datei zu exportieren oder ohne das zu beenden, was du begonnen hast.

Darf ich um Meinungen aus der Community bitten? Vielleicht habe ich eine wichtige Eingabeaufforderung, einen Workaround oder eine Funktion einfach übersehen? Das wäre der leichteste Weg für mich Ansonsten habe ich jetzt echt ein Problelm, wie ich weiter machen soll? Prompt: "Sammle den gesamten Chatverlauf und schreibe ihn in eine *.txt" -> Importieren -> Neuer Chat -> "Lese diese Datei und arbeite ab dort weiter."

Danke und viele Grüße und viel Erfolg bei der Arbeit mit KI!

Jo

Ergänzung (Gestern um 10:42)

👉 Ich teile diesen Prompt, damit konnte ich weiterarbeiten. Für die Personen, die wie ich nicht weiter wussten.

"Lies bitte den bisherigen Chatverlauf vollständig mit Fokus auf Architekturentscheidungen, offene Punkte und verworfene Ansätze, Design. Beziehe dich ausdrücklich auf frühere Entscheidungen und widersprich ihnen nicht stillschweigend. Erstelle zuerst eine kompakte Rekonstruktion des bisherigen Stands, dann erst die Lösung/ weiteres Abarbeiten der Schritte. Nenne mir vor deiner Antwort die 10 wichtigsten Festlegungen aus dem bisherigen Chat. Falls dir Kontext fehlt oder alte Teile nicht mehr sicher im Verlauf sind, sage das explizit. Bevor du antwortest, rekonstruiere aus dem bisherigen Verlauf: Ziel, Architektur, bereits getroffene Entscheidungen, No-Gos, offene Konflikte. Arbeite erst danach an der eigentlichen Frage."

-> Wirklich sehr sehr lange Zusammenfassung kopieren
-> Neuen Chat starten.

 

[steirerblut]

Nein, Perplexity kann das nicht und das ist gewollt. Die Modelle laufen alle auf einem minimierten Kontext-Window, je mehr Context aus Erinnerungen da rein kommt desto überladener ("context polution/poisoning") wird es. -> Das KI Modell tut sich schwer für dich wichtige Informationen von dem Wirr-Warr zu unterscheiden.

KI Modelle lieben Markdown Files. Claude Code oder ähnliche lokale Tools legen entsprechende Claude.md oder Memory Files teils selbstständig an und laden diese nach. Im Browser gibt es die Funktionalität schlichtweg nicht weil dir Perplexity kein Dateisystem zur Verfügung stellt. Du solltest Perplexity also am Ende bitten einen Markdown zu generieren um es später in einem neuen Chat zur Verfeinerung weiter zu verwenden zu können.

Kurz gesagt, je länger der Chat wird desto schlechter wird die Qualität des Outputs. Das Problem ist nicht das die KI Informationen "versteckt" sondern das Kontext Fenster überläuft, Perplexity die Abstrakten Daten in Browser Sitzungen nicht vorrätig hält, der Context komprimiert wird und für dich wichtige Informationen verloren gehen. Gewöhne dir gleich von Anfang an das arbeiten mit Markdown an, die sind für jedes Git Projekt Standard und generell Best Practice für Codebezogene Projekte. -> LLMs brauchen dieses "grounding" um dir gute Qualität zu liefern, du hast gleich eine Doku und die Qualität bleibt auch bei größeren Anforderungen gut.

 

[AAS]

Brauche doch die richtigen Werkzeuge, für sowas gibt es Claude Code.

 

[JoHaJo]

Vielen Dank @steirerblut für das Teilen Deines Wissens! Hast mir damit geholfen 👍

@AAS deswegen: Lesen außerhalb des Working Directory ist laut Anthropic grundsätzlich möglich. Das ist der entscheidende Punkt: sauberer Schreib-Schutz ja, kompletter Lese-Ausschluss nein.
Anders von mir formuliert: Ja, ich würde es gerne nutzen! Nein, so lang ich den Verdacht haben muss, dass ein LLM einer US-Firma auf meiner SSD arbeitet, gefällt mir das nicht, da ich skeptisch bin. Mir geht's hier nicht um US-Bashing. Ich versuche mit neuen Technologien neugierg aber defensiv um zu gehen.

 

[chr1zZo]

Ich schreibe nach jedem Run eine MD (memory). So kann er kann es in neuer Sitzung lesen und wir können weiter machen.

 

[steirerblut]

Deswegen Markdown files, die kannst gezielt zur Verfügung stellen (einfach im Chat Anhängen), die Modelle wurden über Milliarden Iterationen über Github Projekte trainiert die effizient lesen und schreiben zu können und du brauchst keine generellen Freigaben auf Dateisystem Basis.

Das von AAS angesprochene Claude Code erkennt bestimmte ".mds" automatisch oder liest sie auf Zuruf. Kann dann halt auch über Standard Console befehle Code Files lesen/schreiben zB aus so einer Vorgabe umsetzen.

Wie damit gearbeitet wird hat sich aber in den letzten Monaten stark verändert:

• Früher "Prompt engineering" -> also mit möglichst effizienten Chatkommandos so viel wie möglich in einem begrenzten Contextwindow "one shotten" uns aufs beste hoffen.
• Heute "Agentic coding" -> wie in der klassischen Programmierung Aufgaben aus der Dokumentation in möglichst kleine Blöcke runter brechen -> Jeder Agent bekommt seine eigene Mini Aufgabe, muss nicht das komplette Projekt kennen. Agent Frameworks können das generieren / spawnen von Agent Tasks automatisieren und überwachen. Sich wiederholende Aufgaben werden an fix Dokumentierte Abläufe die wieder in MDs dokumentiert sind übergeben -> "Skills"

Context kostet den Betreiber und dich Geld. Je geringer der Context desto effizienter arbeitet das Modell weil weniger Hintergrundgeräusche da sind. Mittlerweile spricht man von "Dark Factories" -> kein Licht mehr an -> Nur noch die Dokumentation vom Menschen -> Entwicklung, Testen, Deployment etc durch Coding agents. Es gibt auch erste Firmen die voll darauf setzen (Stripe fällt mir zB ein)
-> Unser Glück als Programmierer ist das KI sehr schlecht darin ist komplette Projekte am Leben zu halten. Bugs, alter Code, Dokumentationslücken brauchen komplettes Verständnis -> Context ist teuer -> KI arbeitet immer Zielorientiert -> neigt dazu Informationslücken mit "haluzinierten Werten" zu füllen und macht Fehler.

 

[JoHaJo]

Spannend die Entwicklung. Ich lese mich aus Neugierde in Dark Factories ein.

Ich bin Künstler, der für sein Projekt aber programmieren muss (bzw. ich darf das Projekt jetzt machen, da es KI gibt und ich meine Vorstellungen damit halbwegs gut umsetzen kann.). Meine Arbeitsweise kann ich in "Dark Factories" Begriff nicht einordnen so genau. Ich arbeite mit Unity und brauche dafür C#. Ich generiere mit Claude im Browser (Safari) und habe ChatGPT auf Firefox (wegen RAM). KI-1 nimmt meine Fragen, Wünsche entgegen, diskutiert mit mir, generiert, ich copy&paste für KI-2 und challenge und lasse dessen Zusammenfassung mit Ansage an KI-1 geben. So arbeite ich hier.
Von dir/ euch hier die kluge Ansage, wenn Chats voll werden, eine *.md zu generieren. Das habe ich jetzt eben gemacht und funktioniert super.
Am Ende jeden Tages lasse ich ein Script über meinen C#-Ordner für Unity laufen und alle Scripte in 3 Markdowns schreiben. Hier nervt es mich, dass ich täglich diese 3 Dateien in die jweiligen Spaces von Perplexity bzw. ChatGPT manuell hochladen und die alten Versionen löschen muss.

Ich wüsste auch gar nicht, wie ich anders überhaupt das Projekt machen dürfte.

 

[steirerblut]

Das klassische Setup ist dann halt mit offenen VSCode/Cursor den Coding Agent (Copilot, Cursor, Claude Code, Bezi usw) direkt über ein Plugin im Projektordner auszuführen. Kein Copy+Paste zwischen Browsern, kein Source Code in Markdowns; nur die Projektdoku und Architektur in MDs in natürlicher Sprache, der Agent ließt den Code direkt zur Laufzeit aus dem Projekt. Setzt dann halt voraus das du dem Betreiber vertraust und deren Abo Model nutzt. Verwerten tun die aber alle die Prompts, nicht Projektspezifisch sondern halt über X Millionen Datensätze "Zielgruppe A Webentwickler interessiert sich besonders für Node.js hat aber immer wieder Probleme mit den Requirements" usw.

 

[chr1zZo]

@steirerblut "Unser Glück als Programmierer ist das KI sehr schlecht darin ist komplette Projekte am Leben zu halten. Bugs, alter Code, Dokumentationslücken brauchen komplettes Verständnis -> Context ist teuer -> KI arbeitet immer Zielorientiert -> neigt dazu Informationslücken mit "haluzinierten Werten" zu füllen und macht Fehler." <--- nun ja, wenn man das im Live Betrieb macht selber Schuld. Ein 1zu1 Klon auf einer nicht produktiven Umgebung verhindert sowas Ebenso sollte man Backups machen. Das kann man auch die AI machen lassen, man muss es ihr nur sagen. Ich habe schon massiv alte Software die vom Hersteller nie weiterentwickelt wurde, auf neuste Standards gebracht, am Ende verarbeitet sie bloss die gleichen Daten, nur auf neusten Code und UI/UX. Ebenso mit alten Entwickelten PHP/SQL Systemen. Wenn man fertig ist und alles läuft, kann man immer noch den neuen Datenstamm importieren ^^

Gerade mit Claude Max und parallelen Agents knüppeln die alles durch innerhalb kürzester Zeit.

 

[steirerblut]

@chr1zZo Ich sag ja nicht das es unmöglich ist, der Großteil der KI Projekte scheitert ja meist schon an der Datenbasis und schlechter Dokumentation.
Das Internet ist halt mittlerweile voller Videos wo OpenClaw angeblich schon Ticketsystem und Issuetracker abgreift und automatische Fixes implementieren lassen.
Wir haben selbst noch so ein 25 Jahre altes C++ Projekt mit ein paar hundertausend Codezeilen in der Firma. Claude Code darauf los zu lassen wär bestimmt mal lustig, vor allem weil glaub ich niemand ausser dem Seniorchef das Gesamtkunstwerk versteht. Gottseidank aber nur mehr Maintenance

 

[chr1zZo]

@steirerblut OpenClaw Lokal installiert bedarf halt auch einer Menge Leistung. Alles schon durchgetestet, auch extra ne Mac Maschine angeschafft Bei unseren Strompreisen aber nicht ganz so Tasty ^^ Für Simple Tasks ja, kein Problem. Willst du aber wirklich das Hirnschmalz auch umgesetzt wird, kannst lustig werden. Für Simple Agents aber sehr praktisch, aber da Bezahle ich lieber die paar Euro pro Tag an Token Agents bei Claude