News Fable 5.2 und Mythos 5.2: Wieso Anthropics Frontier-Modelle im Alltag an Bedeutung verlieren

Also man darf schon sagen, dass die Verbesserungen der letzten 12 Monate krass sind, da ich täglich die besten Modelle anwende, merkt man wenn auf einmal Sachen funktionieren. Auch werden die Ergebnisse immer besser unabhängig vom Prompt (siehe Kommentar A. Karpathy). Ich organisiere mich inzwischen so, dass Sachen die nicht funktionieren einfach nach hinten rutschen, weil ich davon ausgehe das sie whs. in 4-5 Monaten funktionieren. Bisher gute Strategie (privat).
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: hypoxia und User38
Duststorm schrieb:
Ich bin bei ChatGPT Work mit Terra auf Mittel sehr zufrieden! Mich würde mal interessieren, ist jemand hier kürzlich von ChatGPT auf Claude gesprungen und sagt nun ganz "neutral", wow, Gamechanger?!
Manchmal kommts mir so vor, als wär das einfach eine Hypetrain, wo viele aufgesprungen sind. Oder täusche ich mich?

Einen Gamechanger erwarte ich nicht. Die jeweiligen Claude Modelle sind etwas klüger aber dafür um ein vielfaches teurer.
Ergänzung ()

Coenzym schrieb:
Also man darf schon sagen, dass die Verbesserungen der letzten 12 Monate krass sind, da ich täglich die besten Modelle anwende, merkt man wenn auf einmal Sachen funktionieren. Auch werden die Ergebnisse immer besser unabhängig vom Prompt (siehe Kommentar A. Karpathy). Ich organisiere mich inzwischen so, dass Sachen die nicht funktionieren einfach nach hinten rutschen, weil ich davon ausgehe das sie whs. in 4-5 Monaten funktionieren. Bisher gute Strategie (privat).

Was funktioniert denn aktuell noch nicht?
Ergänzung ()

derMutant schrieb:
Kann ich von meinem Projekt leider nicht sagen. Mir sind die sog. Frontier Modelle leider allesamt immer noch viel zu dumm. Ich muss nach wie vor meine Agenten gerade zu zwingen, die engine doku zu lesen wenn sie auf "neue" Erkenntnisse gestoßen sind. Das ist sehr mühseelig. Ich warte hier immer noch auf AGI!

Dann stimmt an deinem Setup was grundlegend nicht.
Ergänzung ()

Xiaolong schrieb:
Die CLAUDE.md von Fable schreiben lassen, durchlesen und korrigieren (kann mal länger dauern). Reinschreiben dass für jeweilige Aufgabenstellung das passende Modell genommen werden soll und dann funktioniert das schon gut. Nicht perfekt aber sehr, sehr brauchbar.

Fable ist dazu völlig überdimensioniert. Opus reicht und auf höheren Stufen schweift es oft sogar zu viel aus.
 
  • Gefällt mir
Reaktionen: sioh
MacFu schrieb:
Dann stimmt an deinem Setup was grundlegend nicht.
Tipps sind sehr willkommen. Die Regel steht in der claude.md und auch im aktuellen Projektplan. Das einzige was mir noch einfällt ist die claude.md zu entschlacken, da sie vermutlich zu dicht geschrieben ist und er aus Faulheit nicht alles lesen möchte. Die app ist nunmal relativ komplex und benötigt entsprechend viele Regeln für den Harness.
 
@derMutant Komplex ist hier wahrscheinlich Ansichtssache. Ich geh mal davon aus, dass das auf keinen Fall das Problem ist.

Mein grundlegendes Setup ist immer eine zentrale CLAUDE.md mit weiteren .md-Dateien und einer passenden Ordnerstruktur dafür. Das soll Claude komplett selbst evaluieren. Opus Extra Hoch wäre das Maximum was ich dafür nutzen würde.

Engine Doku würde ich je Aufgabe als zwingend erwähnen und auch nur dort wo es sehr spezifisch ist. Das sollte nicht in die grundlegende Struktur mit rein.

Ansonsten bei jeder Aufgabe erst ein Plan mit Opus (hoch oder extra hoch). Danach die Ausführung des Plans in Sonnet (hoch oder extra hoch). Allein das wird schon eine enorme Verbesserung der Ergebnisse sein und massiv Token sparen.
 
  • Gefällt mir
Reaktionen: sioh und derMutant
Ich nutze beruflich auch Claude Code Opus 5.5 (high effort) im Alltag und Fable für spezielle Aufgaben dann.
 
Zuletzt bearbeitet:
SheepShaver schrieb:
Die astronomischen Kosten der Top-Tier Modelle verbieten einen Einsatz außerhalb von ganz spezifischen Use-Cases.
Für normale mittelkomplexe Coding/Refactoring-Aufgaben reicht Sonnet völlig aus. Für sehr komplexe Aufgaben dann halt Opus.

Oder eben GLM 5.3 lokal. ;)
Also wenn es rein ums Coding mag das vielleicht zutreffen, aber wenn ich bspw. Ansible Rollen basteln will komm ich mit Sonnett schnell an irgendwelche debilden Grenzen. Versteh echt nicht wie man das produktiv nutzen soll.
Ergänzung ()

Lora schrieb:
sondern wer daraus das bessere Gesamtsystem baut.
Warum gibts genau für so etwas hier keinen richtigen Erfahrungsaustausch? Das meiste was ich lese sind irgendwelche Versuche lokal KI zu betreiben. Aber wie man bspw. die APIs vernünftig in einen Harness einbaut etc. dazu findet man hier im Forum leider verdammt wenig.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Strahltriebwerk und Lora
MacFu schrieb:
Fable ist dazu völlig überdimensioniert.
Kann man so sehen. Die CLAUDE.md ist detaillierter, nimmt mehr mit und beschreibt meine Anforderungen besser als Opus. Im Nachgang fängt auch Fable an die anderen zu orchestrieren. Ich fahre damit sehr gut.
 
Snakeeater schrieb:
Also wenn es rein ums Coding mag das vielleicht zutreffen, aber wenn ich bspw. Ansible Rollen basteln will komm ich mit Sonnett schnell an irgendwelche debilden Grenzen. Versteh echt nicht wie man das produktiv nutzen soll.
Ansible-Rollen sind für Sonnet eigentlich ein einfacher Task. Wenn’s da hakt, liegt’s im Zweifel am Kontext.

Bei mir hat Sonnet Zugriff auf 15+ Repos, zusammen gut 320k Dateien, und liefert auch bei sehr großen Aufgaben, die sich über mehrere Repos ziehen, sehr gute Ergebnisse. Natürlich sind im Harness die passenden MCPs mit den entsprechenden Tools konfiguriert.
Würde ich dafür Opus verwenden, dann wäre unser Konzernweites KI-Budget Mitte des Monats aufgebraucht. Fable+ sind bei uns aus Kostengründen eh gesperrt.
Opus brauch ich wirklich nur in den seltensten Fällen.
 
Gibts hier oder sonstwo einen simplen Aufbau für so einen Harness der nicht 100% aus reine coden ausgerichtet ist? Ich arbeite zugegebenermaßen noch im Browser Chatprompt, also auch noch ohne Agenten.
 
Snakeeater schrieb:
Ich arbeite zugegebenermaßen noch im Browser Chatprompt, also auch noch ohne Agenten.

Also noch ganz klassisch mit Copy & Paste, praktisch als menschliche Schnittstelle zwischen KI und IDE. So verzichtet man natürlich konsequent auf Projektkontext, direkten Codezugriff und automatisierte Workflows. Aber immerhin bleibt die Zwischenablage gut ausgelastet :D
 
  • Gefällt mir
Reaktionen: Snakeeater
SheepShaver schrieb:
Oder eben GLM 5.3 lokal. ;)
Flash nehm ich an oder willst du einen 1 Bit Quant vom Full 5.3 empfehlen ? 😂

Und selbst das ist ein 320B-A18B Model, unter zwei Sparks darfst dann auch hier einen üblen Quant nutzen.🤣

Für das Geld kannst du SEHR lange Abos und API Tokens zahlen.
 
Bonk schrieb:
Also noch ganz klassisch mit Copy & Paste, praktisch als menschliche Schnittstelle zwischen KI und IDE. So verzichtet man natürlich konsequent auf Projektkontext, direkten Codezugriff und automatisierte Workflows. Aber immerhin bleibt die Zwischenablage gut ausgelastet :D
Airgapped ist halt das Problem. Bin auch der erste hier der wohl konsequent KI nutzt.
 
ThirdLife schrieb:
Flash nehm ich an oder willst du einen 1 Bit Quant vom Full 5.3 empfehlen ? 😂

Und selbst das ist ein 320B-A18B Model, unter zwei Sparks darfst dann auch hier einen üblen Quant nutzen.🤣

Für das Geld kannst du SEHR lange Abos und API Tokens zahlen.
Wie oben schon erwähnt, wer hat gesagt, dass ich das zu Hause laufen habe? Läuft bei uns lokal im Konzerninternen Rechenzentrum, kein Flash, nicht quantisiert.
Ansonsten GLM 5.3 Flash NVFP4 passt auf 2 Sparks und ist für einen einzelnen Nutzer auch ganz brauchbar.
Und ich weiss nicht, wie viel du KI nutzt: würde ich bei Anthropic über einen API Key gehen, dann wäre ich pro Monat problemlos im 4-stelligen Bereich, was die Kosten angeht.
Die Kosten für 2 Sparks wären in weniger als einem Jahr amortisiert.
 
Zuletzt bearbeitet:
MacFu schrieb:
Einen Gamechanger erwarte ich nicht. Die jeweiligen Claude Modelle sind etwas klüger aber dafür um ein vielfaches teurer.
Da muss ich aber auch kritisch fragen, wie definierst du klüger? Mir kommt ChatGPT alles andere als "dumm" vor. Mich nervt eher die Verwaltung der Chats, keine Ahnung ob das bei Claude anders ist. Ich hörte zudem, ChatGPT ist derzeit auf jeden Fall immer noch vorne mit VoiceChat, tatsächlich nutze ich das immer mehr und mehr, ist ja sogar mittlerweile in Apple CarPlay integriert
User38 schrieb:
Ist alles schön, solange es läuft… spannend wird es erst wenn es mal zu Problemen kommt und durch Fehler passiert was, fällt was aus und/oder es ist sehr viel Geld im Spiel. Wer haftet dafür? Wer übernimmt die Verantwortung?
Wir haben das Tool nun auf einem lokalen Server bei uns laufen und bis jetzt ist alles rund! Bei komplizierteren Anwendungen bin ich natürlich bei dir. Ich kann mich auch nicht mit jeder gesetzlichen Vorgabe rumschlagen, dafür will ich weiterhin externes Know-How, das mir diese Systeme liefert. Aber gerade so einfache Anwendungen wie ein Fuhrparkmanagement ist es ein echter Mehrwert dies nun selbst machen zu können.
 
SheepShaver schrieb:
Wie oben schon erwähnt, wer hat gesagt, dass ich das zu Hause laufen habe? Läuft bei uns lokal im Konzerninternen Rechenzentrum, kein Flash, nicht quantisiert.
Ah ok, ja hier ist ja auch Konzern- und Firmenbase, da geht man natürlich nur von Rechenzentren und Investments ab 500k€ aus. :daumen:

SheepShaver schrieb:
Ansonsten GLM 5.3 Flash NVFP4 passt auf 2 Sparks und ist für einen einzelnen Nutzer auch ganz brauchbar.
I know. Hab ich als EXL3/TR3 Quant so laufen.

SheepShaver schrieb:
Und ich weiss nicht, wie viel du KI nutzt
Ganz ordentlich würde ich sagen.

SheepShaver schrieb:
würde ich bei Anthropic über einen API Key gehen, dann wäre ich pro Monat problemlos im 4-stelligen Bereich, was die Kosten angeht.
Die Kosten für 2 Sparks wären in weniger als einem Jahr amortisiert.
Anthropic liefert geschätzt 11k$ an API Gegenwert im 200$ Abo. 2 Sparks = 16k€ aktuell = 80 Monate 11k USD Gegenwert. Da du sogar nur vierstellig brauchst, reicht dir wohl das 100$ Abo, dann liegen wir bei 160 Monaten. Ich müsste jetzt ausrechnen wieviel Gegenwert an Deepseek 4.1 Flash du dafür bekämst aber es wäre exzessiv viel.

An welchem Punkt "lohnt" sich das nochmal genau ? 😂

Bis dahin gibts den DGX in der fünften Gen vermutlich und du hast die Ersten zwei noch nichtmal amortisiert in Token-Gegenwert via Cloud. Stand heute zum aktuellen Preis rentiert es sich schlicht nicht, ich würde jetzt gechillt mal 1-2 Jahre mit Abos und API überbrücken bis sich die Preise etwas normalisieren, statt 16k€ in zwei Workstations zu stecken (ich hab selbst 3,1 und 3,5k gezahlt - also noch erträglich und schönredbar).

Alles aus Sicht eines Privatusers / Enthusiasten. Wenn du keine Firma hast und das nicht gegen Aufträge und Steuer gegenrechnen kannst ists aktuell ein totaler loss. Und du bekommst erst noch die schlechtere und langsamere AI oftmals.
 
  • Gefällt mir
Reaktionen: sioh und core2e6300
ThirdLife schrieb:
Anthropic liefert geschätzt 11k$ an API Gegenwert im 200$ Abo.

Es sind eher 7k $ Gegenwert im Monat, zumindest laut der Seite. Ich programmiere beruflich auch so gut wie jeden Tag und komme mit dem Max Abo gut aus. Extra usage brauche ich relativ selten.
 
Zuletzt bearbeitet:
@ThirdLife
Steck dir deinen Sarkasmus sonstwo hin.
Hast du es noch IMMER nicht geschnallt? Wie schwer von Begriff kann man eigentlich sein? Ich habe von beruflicher Nutzung und API-Kosten geschrieben, du kommst mit dem privaten Abo.
Pro, Max und Ultra laufen bei Anthropic unter den Consumer Terms, nur Team, Enterprise und die API unter den Commercial Terms.
Zudem ist die Nurzung der Abos in Third-Party Tools (OpenCode, Hermes etc.) untersagt.

Ich hab mit 4.500 € pro Spark gerechnet, das ist der Preis für die 128 GB Version zu dem wir eingekauft haben. Deine 16k sind der Preis nach der Erhöhung im Oktober. Sagen wir Ich lieg bei rund 2.000 $ API im Monat. 9k gegen 2.000 $ im Monat sind gut 5 Monate. Selbst wenn nur die Hälfte davon lokal läuft, weil GLM-5.3-Flash schwächer ist (geschenkt), bist du unter einem Jahr. Und selbst zum heutigen Preis wären's eher 7 als 80 Monate.
 
Bonk schrieb:
Es sind eher 7k $ Gegenwert im Monat, zumindest laut der Seite. Ich programmiere beruflich auch so gut wie jeden Tag und komme mit dem Max Abo gut aus. Extra usage brauche ich relativ selten.
Ich habe dazu verschiedene Zahlen gelesen, letztlich weiss man eh nie genau was man kriegt, das kann sich ja ständig ändern (leider). So oder so ist aber das was man als Gegenwert kriegt viel mehr als das was man bezahlt, und gerade wenn mans lokaler Hardware aktuell gegenüberstellt, ein Schnäppchen.

SheepShaver schrieb:
Steck dir deinen Sarkasmus sonstwo hin.
Hoher Frustlevel wenn man dir nicht zustimmt ?

SheepShaver schrieb:
Hast du es noch IMMER nicht geschnallt? Wie schwer von Begriff kann man eigentlich sein? Ich habe von beruflicher Nutzung und API-Kosten geschrieben, du kommst mit dem privaten Abo.
Pro, Max und Ultra laufen bei Anthropic unter den Consumer Terms, nur Team, Enterprise und die API unter den Commercial Terms.
Anthropic beschreibt die Verwendung von Claude mit einem Pro, Max oder Ultra-Abo ausdrücklich als:

at work and at home.
Das steht in der offiziellen Anleitung Use Claude Code with your Pro, Max, or Ultra plan.
Die Consumer Terms erwähnen die Nutzung von Claude.ai durch Einzelpersonen oder Unternehmen.

SheepShaver schrieb:
Zudem ist die Nurzung der Abos in Third-Party Tools (OpenCode, Hermes etc.) untersagt.
Korrekt, aber OpenCode kann man dann ja mit anderen Modellen nutzen.

SheepShaver schrieb:
Ich hab mit 4.500 € pro Spark gerechnet, das ist der Preis für die 128 GB Version zu dem wir eingekauft haben.
Cool und was betreibst du darauf ? Sicher nichts was konkurrenzfähig zu einem Frontier-Modell wäre. Und schon gar nicht interaktiv und mit ganzen Teams auf die du dich hier ja beziehst. Und ein GLM 5.3 Full lädt man hier auch nicht drauf wenn man nicht zufällig acht Sparks (+200G Switch) gekauft hat.

SheepShaver schrieb:
Deine 16k sind der Preis nach der Erhöhung im Oktober.
Das ist der aktuelle Preis. Und ich lebe zumindest im hier und jetzt, du nicht ?

SheepShaver schrieb:
Sagen wir Ich lieg bei rund 2.000 $ API im Monat. 9k gegen 2.000 $ im Monat sind gut 5 Monate. Selbst wenn nur die Hälfte davon lokal läuft, weil GLM-5.3-Flash schwächer ist (geschenkt), bist du unter einem Jahr. Und selbst zum heutigen Preis wären's eher 7 als 80 Monate.
Siehe oben: berufliche Nutzung ist nicht untersagt sondern sogar explizit erlaubt. Du bekommst weit mehr als 2k$ für ein 100$ Claude Max Abo. Kannste dir zurechtbiegen wollen wie du willst - auf die API musst du nicht gehen.

Ich seh doch selbst mit meinen zwei Sparks was sich wie sehr wo und wann lohnt. Gar kein Grund hier direkt auszurasten. Entspann dich. 🤷‍♂️
 
  • Gefällt mir
Reaktionen: sioh, core2e6300 und Strahltriebwerk
ThirdLife schrieb:
Siehe oben: berufliche Nutzung ist nicht untersagt sondern sogar explizit erlaubt.

Du musst schon richtig lesen. Im Grunde genau das was SheepShaver schreibt.

Consumer Terms of Service - for Free, Pro, Max, and Ultra users

Non-commercial use only. You agree that you will not use our Services for any commercial or business purposes and we and our Providers have no liability to you for any loss of profit, loss of business, business interruption, or loss of business opportunity.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: ThirdLife
Für deinen Airgap-Fall würde ich mit einem lokalen Modellserver und einer kleinen Werkzeugschleife anfangen, nicht mit einem Coding-Agenten. Wenn das Arbeitsnetz wirklich keine Verbindung nach außen hat, muss auch die Modellinferenz darin laufen; ein externer API-Zugang löst das nicht.

Als Baustein kommt etwa llama.cpp infrage: Der Server unterstützt Werkzeugaufrufe. Dein Harness beschreibt die verfügbaren Funktionen, lässt das Modell einen Aufruf vorschlagen, prüft dessen Argumente und Berechtigungen, führt ihn aus und gibt das Ergebnis ans Modell zurück. Für den Einstieg würde ich nur Textdateien aus einem freigegebenen Ordner lesen lassen; Schreiben erst später mit Bestätigung. Das ist nicht auf Programmieren festgelegt.

Modell, Laufzeit und Abhängigkeiten müsst ihr über euren freigegebenen Importweg hineinbringen. Prüfe zunächst an einer bekannten Datei, ob das Modell tatsächlich das Werkzeug aufruft und dessen Inhalt korrekt verwendet. Werkzeugaufrufe allein sind keine Sandbox; die Zugriffsgrenzen muss dein Programm durchsetzen.
 
Zurück
Oben