claude: fragen zu chatlänge

[GuV]

Ich arbeite mit claude in Projekten, und da tritt das Problem auf, dass ich nach Hochladen von PDFs (Analysedaten) und etwa 20 Prompts (wo claude oft viel zu umfangreich antwortet) der chat eben "vollläuft".

Mir sind dann bislang 3 Szenarien passiert:

1.) claude hat von selber komprimiert, und dann gehts weiter (diesen Ablauf habe ich noch nicht gänzlich verstanden, was dann verloren geht, und ob es wirklich sinnvoll ist dann weiterzumachen

2.) claude hat gesagt, dass der chat langsam zu voll wird, und ich hab ihn eine Zusammenfassung erstellen lassen (die mir eigentlich sehr gut gefällt, könnte ich selbst nicht besser), und das dann an den Anfang eines neuen Chats gestellt (Fortsetzung dann im neuen Chat)

3.) claude hat gesagt, voll, und nix geht mehr. Dann habe ich einen neuen Chat begonnen, und auf den alten Chat verwiesen.

Welche Lösung claude wann macht, ist mir völlig unklar, und unvorhersehbar für mich. Ich glaube fast, claude weiss das auch nicht, und macht mal dies, und mal das, je nach "Version".

Ich frage mich jetzt gerade, ob es überhaupt nötig ist, dass ich selbst eine Zusammenfassung anstosse, und die dann in einen neuen chat kopiere - oder ob ich nicht einfach warte, bis der chat "voll" ist, und dann im neuen chat auf den alten chat verweise.

-Passiert das ganze, weil die 200.000 Tokens verbraucht sind ?
-Kann man vielleicht im Chat falsche lange Antworten von claude "löschen" und so Tokens frei machen ?
-ist echt nirgendow nachzusehen (Pro-Abo) wieviel Tokens in use sind ?

glg Werner

 

[=dantE=]

Servus und woillkommen im Forum!

Ich nutze Claude nicht, daher kann ich das Verhalten nicht direkt auflösen.
Da ich nicht weiß um welche Daten es sich handelt und welches Ergebnis erwartet wird, ist es schwierig hier einen Lösungsansatz zu liefern.

Jedoch ein paar Fragen / Gedanken hierzu:

1. Sind wirklich >20 promts notwendig, um den Sachverhalt zu klären bzw. ein passendes Ergebnis zu produzieren? Das erscheint mir unnötig viel.
   
   
2. Kann man ggf. vor der Hinzunahme von LLM/Reasoning Modellen den "Datensatz" vorqualifizieren/normalisieren um die Effektivität zu steigern und den Modellen nicht alle Arbeit zu überlassen?
   Also nur einzelne Arbeitsschritte dem Modell überlassen und Zwischenschritte selbst durchführen.
   
   
3. Den Datensatz vorab klassifizieren und sequenziell abarbeiten, statt alles auf einmal.
   
   
4. Die Anforderung klingt für mich danach, als ob Kenntnisse zur eigenen Bearbeitung der Aufgabe fehlen (nicht despektierlich gemeint )
   
   
5. Zudem:

Dann habe ich wie du gesagt hast, einen neuen Chat begonnen, und auf den alten Chat verwiesen.

Ist das von einem Modell, oder ein Schreibfehler?

Beste Grüße!

 

[Tornhoof]

Wenn der Chat voll läuft, ist das üblicherweise das Contextfenster, je nach Modell sind die unterschiedlich groß, Claude Opus 4.6 kann mittlerweile 1_000_000 (in Preview afaik).
Du musst da die beiden Tokens unterscheiden, Input Tokens und Output Tokens.
siehe https://www.anthropic.com/claude/opus
Der Weg am Ende des Kontextfensters eine Zusammenfassung zu machen und "neu" anzufangen funktioniert häufig. Gibt aber auch noch weitere Tricks, z.b Prompt Caching, also wenn häufiger der gleiche Prompt genutzt wird.

Ja, das ganze Thema ist etwas verwirrend, weil es sehr viele "Tokens" gibt, Input Tokens, Output Tokens, dann noch Tokens in deinem Abo usw.

 

[h00bi]

mit claude

welches Modell konkret und über welchen Service?

 

[Der_Picknicker]

PDFs sind ungeeignet, brauchen nur mehr tokens, am besten die Daten als Markdown oder sowas zur Verfügung stellen. Außerdem einen .claude Ordner anlegen mit Spezifikation des workflows, Ordner-Struktur etc. Erst dann anfangen, da sonst Claude immer alles von vorne machen muss, was eben Tokens verbraucht.

 

[Enurian]

Die ganze Historie deines Chats ist Teil des Kontextfensters.
Je voller das Fenster, desto schlechter wird die Qualität der Ausgabe (es gibt mehr, was ablenken kann). Deshalb sollte man sich angewöhnen, für jede Aufgabe einen neuen Chat zu starten. Eine einzelne Aufgabe sollte dann nämlich keine 20 Prompts brauchen, sondern im Idealfall nur genau einen.

 

[GuV]

Danke an alle. Ich antworte der Reihe nach:

Ist das von einem Modell, oder ein Schreibfehler?

Du bist aber auf Zack ! Kompliment, den Teil hatte ich mit jemandem anderen diskutiert, und daher beim kopieren (man ist ja faul) übersehen.

Ich habe unterschiedliche Kunden - alle berate ich zu einem bestimmten Thema, Basis ist immer ein Gutachten, eben das PDF, das ich in den Kundenspezifischen Chat gebe, nachdem ich die jeweils projektbezogenen Unterschiede zu Beginn in den chat eingebe. In dem Projekt habe ich Projektwissen in Form von etwa 90 PDFs drin, dass dann für jeden chat in dem Projekt referenziert wird.

Dieses PDF Gutachten ist der Kern, dass mir claude gegen mein Projektwissen beurteilt, worauf ich dann ergänzend oder korrigierend eingehe, und daher die 20 Prompts. Claude macht das sehr gut, und denkt an alles - so dass ich eben nur gegen Halluzinationen und Fehleinschätzungen prüfen muss.

welches Modell konkret und über welchen Service?

ich mach das mit Sonnet4.5 und pro Service

Du musst da die beiden Tokens unterscheiden, Input Tokens und Output Tokens.

kann ich vorher irgendwo sehen, wenn mir die Toekns ausgehen ?

Eine einzelne Aufgabe sollte dann nämlich keine 20 Prompts brauchen, sondern im Idealfall nur genau einen.

Ja, aber ich entwickle interaktiv mit claude ein Dokument, in das natürlich das chatspezifische des aktuellen chats interaktiv einfließt.

 

[Backfisch]

In dem Projekt habe ich Projektwissen in Form von etwa 90 PDFs drin, dass dann für jeden chat in dem Projekt referenziert wird.

Es gibt im Netz haufenweise Software, um PDFs in das Markdown-Format zu konvertieren. Ich würde damit erstmal starten und zukünftig das Projektwissen als einzelnes Markdown-File einbetten.

Ist das alles hinsichtlich Datenschutz eigentlich mit der Firmenleitung bzw. Rechtsabteilung abgeklärt?

Du musst da die beiden Tokens unterscheiden, Input Tokens und Output Tokens.

Spielt für das Kontextfenster keine Rolle. Solange das Limit noch nicht erreicht worden ist, berücksichtigt das Sprachmodell ein- und ausgegebene Tokens gleichermaßen. Relevant ist das nur für die Abrechnung bei Nutzung der API.

 

[GuV]

Es gibt im Netz haufenweise Software, um PDFs in das Markdown-Format zu konvertieren. Ich würde damit erstmal starten und zukünftig das Projektwissen als einzelnes Markdown-File einbetten.

Ich hatte mich dahingehend informiert, dass Projektwissen (dass PDFs da ungünstiger sind wie MD Dateien ist natürlich klar, aber ich hab noch genug freie Kapazität beim Projektwissen) NICHT auf die Tokens im Chat angerechnet wird, die chatlänge also nicht negativ. Beeinflusst.

Ist das alles hinsichtlich Datenschutz eigentlich mit der Firmenleitung bzw. Rechtsabteilung abgeklärt?

ist natürlich anonymisiert und Anthropic KI-Modelle trainieren deaktiviert

Danke für die vielen hilfreichen Tips hier, aber meine 3 Ausgangsfragen wurden noch von niemandem adressiert:
-Passiert die Chatbegrenzung, weil die 200.000 Tokens verbraucht sind ?
-Kann man vielleicht im Chat falsche lange Antworten von claude "löschen" und so Tokens frei machen ?
-ist echt nirgendow nachzusehen (Pro-Abo) wieviel Tokens in use sind ?

Ich wundere mich nämlich schon, dass selbst ich kleines Licht tatsächlich da an das Ende der maximalen Chatlänge stosse, ich bin ja im Sonnet-Modell, weil ich damit zufrieden bin und hoffte, weniger Tokens und Kapazität zu verbrauchen als im Opus - würde Opus mein Problem verschärfen, also zwar schlauer, aber kürzere maximale Chatlänge ?

 

[Der_Picknicker]

Kann man vielleicht im Chat falsche lange Antworten von claude "löschen" und so Tokens frei machen ?

Nein

 

[Backfisch]

Ich hatte mich dahingehend informiert, dass Projektwissen (dass PDFs da ungünstiger sind wie MD Dateien ist natürlich klar, aber ich hab noch genug freie Kapazität beim Projektwissen) NICHT auf die Tokens im Chat angerechnet wird

Wo soll das stehen? Damit das Sprachmodell eine externe Informationsquelle nutzen kann, muss diese entweder vollständig im Kontext eingebettet werden, oder aber über ein Embedding in Chunks in einer Vektordatenbank liegen (Stichwort RAG). Sicher, dass Claude letzteres tut?

 

[Micha-]

Ich habe heute mal ein Projekt erstellt. Und eine python Datei hochgeladen. Die kam leider nur mit kaputten Sonderzeichen an. Während es direkt im Chat richtig funktioniert. Für mich so nicht brauchbar.