Claude liefert schlechtere Antworten als ChatGPT - ist Claude purer Hype?

WoisthierdasKlo

Lieutenant
Registriert
März 2019
Beiträge
528
Moin!

Ich habe ja schon geschrieben, dass ich Claude Pro überraschend schlecht finde, angesichts des Hypes. Manche sagen ja zum Beispiel, dass OpenAI erst mit GPT-5.7 eine Antwort auf Claude Fable liefern werde. Ich habe bisher dagegen keinen einzigen Punkt gefunden, in dem Claude Pro besser als ChatGPT Plus ist; im Gegenteil, die Qualität der Antworten war bislang immer mit Abstand schlechter.
Ein paar Punkte waren z.B. (in dieser Auflistung: bezogen auf Claude Fable Max Thinking):
  • Typografie und Länge der Antworten: Die Antworten sind nicht ordentlich formatiert, stattdessen reiner Fließtext, ohne saubere Absätze, Überschriften etc. Dies mag ja noch Geschmackssache sein, aber auch die Länge der Antworten ist meist viel kürzer als bei ChatGPT und weniger ausführlich
  • keine Bildgenerierung: Claude verweist selber darauf, dass man ChatGPT benutzen soll
  • nach 2-3 Prompts ist bereits das temporäre Limit erreicht
Zudem fiel mir bei Claude Fable Max Thinking auf, dass meine GUI-Vorgaben nicht ordentlich umgesetzt wurden, dass missverständliche Erklärungen gebraucht wurden und dass geforderte Appdesign-Prompts wesentliche Aspekte, die als essenziell explizit deklariert wurden, ignorierten.

Nun kann ich Fable nicht mehr testen, daher bezieht sich Folgendes nunmehr auf Sonnet 4.6:

ChatGPT 5.6 Sol High und Claude Sonnet 4.6 High sollten beide eine Quellenübersicht zu einem Thema liefern. Anschließend haben sowohl ChatGPT als auch Claude die Antworten erhalten und beide Antworten verglichen. Das Résumé beider KI-Modelle ist hier zu lesen:

Résumé von ChatGPT:
Im direkten Vergleich war die Antwort von Claude optisch besser aufbereitet und übersichtlicher strukturiert, enthielt jedoch mehrere gravierende bibliografische Fehler, unklare Publikationsstatus und teilweise zu weitgehende Schlussfolgerungen. Die Antwort von ChatGPT war gestalterisch nüchterner, dafür aber deutlich zuverlässiger: Quellen wurden präziser angegeben, Preprints transparent gekennzeichnet, methodische Grenzen benannt und Aussagen vorsichtiger eingeordnet. Für eine wissenschaftliche Weiterverwendung ist die ChatGPT-Antwort daher klar vorzuziehen; Claude überzeugt vor allem bei der Präsentation, nicht bei der inhaltlichen Absicherung.
Und auch Claude selber résumiert:
ChatGPT lieferte die qualitativ bessere Antwort: Die Quellen sind real, die DOIs stimmen, die Methodenbeschreibungen sind differenzierter, Preprints werden transparent gekennzeichnet, und es gibt eine übergreifende Befundlage mit Empfehlungen zum Kernkorpus. Claude punktete mit ansprechenderer Formatierung — einheitliche Tabellenstruktur, synoptische Übersicht — produzierte aber mehrere halluzinierte oder nicht verifizierbare Einträge, die formal korrekt aussehen, es aber nicht sind. Für wissenschaftliches Arbeiten ist ChatGPT hier klar vorzuziehen; Claudes Ausgabe wäre ohne gründliche Einzelprüfung jeder Quelle nicht direkt verwendbar.
Grund für die bessere visuelle Aufbereitung war, dass Claude eine docx-Datei als Antwort geliefert hat, mit echten Tabellen. Dies war auch ein gutes Beispiel für das, was ich mit "missverständliche Antworten" oben meinte: Im oberen Absatz der Antwort meinte Claude, dass es eine Markdown-Datei bereitstellen werde. Der Anhang war aber eine Microsoft Word-Datei.

-------------- KORREKTUR -----------------
Der Vergleich müsste mit Claude Opus 5 stattfinden. Hier sieht es tatsächlich ganz anders aus:
Résumé von ChatGPT:
Die überarbeitete Antwort von Claude ist gegenüber der ersten Version deutlich verbessert: Sie enthält 16 nummerierte Positionen beziehungsweise 17 eigenständige Hauptquellen, ergänzt um weitere Literatur, trennt theoretische Technologiekritik sinnvoll von empirischen Wirkungsstudien und bietet mehr deutschsprachige sowie experimentelle Forschung. ChatGPT enthält mit 14 Quellen zwar weniger Literatur, ist aber weiterhin etwas enger am konkreten Auftrag ausgerichtet, bibliografisch einheitlicher und bei der Kennzeichnung von Peer Review und Preprints konsequenter. Claude ist nun stärker bei Breite, Deutschlandbezug und empirischen Negativbefunden; ChatGPT bleibt knapp besser als unmittelbar verwendbare wissenschaftliche Quellenübersicht.
Claude hat dagegen ein anderes Résumé:
In diesem direkten Vergleich ist Claudes Antwort die qualitativ stärkere: Die Quellen sind verifizierbar, die inhaltliche Analyse differenzierter, die Methodenkritik expliziter, und der praktische Mehrwert für wissenschaftliches Arbeiten — deutschsprachige Literatur, Suchstrings, Genretrennung, Warnhinweise — deutlich höher. ChatGPT lieferte eine solide, korrekte Übersicht mit ansprechenderer Formatierung, bleibt aber analytisch flacher. Das Ergebnis dieses Vergleichs ist damit nahezu umgekehrt zum ersten Durchgang, was zeigt, dass die Qualität von KI-Antworten stark von Prompt, Kontext und — offenbar — von der jeweiligen Session abhängt.

Was meint ihr? Bitte bedenkt bei euren Antworten, dass für einen Vergleich sinnvollerweise nur Claude Pro und ChatGPT Plus herangezogen werden sollten. (Ich hatte schon mehrere Diskussionen, wo Claude-Befürworter am Ende preisgaben, dass sie Claude Pro mit der Gratisversion von ChatGPT verglichen haben oder dass sie beide Gratisversionen miteinander verglichen.)
 
Zuletzt bearbeitet:
Ich kann den Vergleich nicht ganz Nachvollziehen. Es ist gefühlt jede Woche im Wechsel ein "AI" Unternehmen kurz vorn da irgendein Modell wieder ein klein wenig besser ist.

Meiner Meinung nach sind die Modelle in der Anwendung eben unterschiedlich. Für Programmieraufgaben empfinde ich Claude als deutlich angenehmer u. fehlerfreier im vergleich zu ChatGPT.
Zusammenfassungen erstellen lassen finde ich aber bei ChatGPT besser.

Ob das nur mein Empfinden ist? Vielleicht. Aber an sich sind beide AI's absolut Spitze. Es gibt meiner Meinung nach kein "viel" besser.
 
  • Gefällt mir
Reaktionen: ScareEm, gman32 und nutrix
Also, wie gesagt, ich habe ein paar Beispiele gebracht, wo Claude auch beim Programmieren schlechter war. Hast du denn den gleichen Prompt mal bei ChatGPT laufen lassen? Und wie kannst du mit einem System arbeiten, dass nach 2-3 Prompts müde wird? Okay, jetzt ist Fable ja wieder raus. Aber gerade um Fable ging es ja bei all dem "Hype".
 
Ich benutze beides und habe den Eindruck (Fable 5 / GPT 5.6 Sol Ultra) über die letzten Wochen: Claude wird schwächer und GPT wird besser. Vielleicht subjektiv bei meinen spezifischen Fragen? Ich kann meine Fragestellungen (wissenschaftlich + etwas Programmierung) mit beiden Systemen zufriedenstellend bearbeiten, habe keine Präferenz derzeit (ach so, Credits bei Claude werden sehr viel schneller alle ;)
 
  • Gefällt mir
Reaktionen: derMutant und dermoritz
ChatGPT Sol müsstest du schon mit Claude Opus vergleichen. Sonnet ist zweite Liga. Das OpenAI Gegenstück wäre ChatGPT Terra.
 
  • Gefällt mir
Reaktionen: 3PiOh, konkretor, Tornhoof und 2 andere
Hä?
  • keine Bildgenerierung: Claude verweist selber darauf, dass man ChatGPT benutzen soll
Es gibt Claude Design...

Wie sieht denn deine design.md aus für deine Design vorgaben?
 
  • Gefällt mir
Reaktionen: lazsniper
@Simon#G Danke für den Hinweis. Ich lasse den Test und Vergleich nochmal durchlaufen und werde dann die Résumés entsprechend editieren. Falls sich dabei das Endergebnis ändert, werde ich das entsprechend transparent machen.
Ergänzung ()

Scholle1309 schrieb:
Es gibt Claude Design...
Ich habe das im Chat getestet. Okay, danke für den Hinweis, ich wusste nicht, dass man Bildgenerierung stattdessen in Design durchführen soll. Wie beurteilst du die Bildgenerierungsqualität dort im Vergleich zu ChatGPT?
Aber dies zeigt ja auch wieder, wie missverständlich die Antworten von Claude sind: Darauf hat Claude mich nicht selbständig hingewiesen, sondern direkt auf ChatGPT verwiesen, da es nur SVG-Dateien erstellen könne.
 
  • Gefällt mir
Reaktionen: Simon#G
Ja, es ist purer Hype. Deshalb ist Anthrophic augenscheinlich auch schon profitabel weil nichts funktioniert und jeder mit dem Free Tier arbeitet. Hast du schon ein Upgrade zu Pro oder Max in Erwägung gezogen? Dann gingen auch mehr als 2-3 Prompts.
 
  • Gefällt mir
Reaktionen: adfsrg
@QXARE Mein Text oben bezieht sich auf Claude Pro.
 
Du vergleich Sol 5.6 gegen Sonnet 4.6?
Wenn schon Fable 5 gegen Sol 5.6.

PS:
Ich würde aufhören die Modelle nur über den Browser zu vergleichen, sondern sie richtig anwenden.
 
  • Gefällt mir
Reaktionen: Burfi und lazsniper
AAS schrieb:
Du vergleich Sol 5.6 gegen Sonnet 4.6?
Ist korrigiert. Der letzte Vergleich war unpassend. Der Rest bezog sich auf Fable.
AAS schrieb:
Ich würde aufhören die Modelle nur über den Browser zu vergleichen, sondern sie richtig anwenden.
Ja, meintest du schon im anderen Thread. Erkläre es mir gerne dort, damit das hier nicht off-topic wird. :)
 
  • Gefällt mir
Reaktionen: adfsrg
WoisthierdasKlo schrieb:
Ist korrigiert. Der letzte Vergleich war unpassend. Der Rest bezog sich auf Fable.
Nutz doch mal Fable als Orchestrator und Sonnet in den Workflows, wenn du wirklich eine Recherche willst.
Ich nutze zusätzlich noch andere Subscription&Free CLi Worker mit Firecrawl.
 
Warum benutzt du nicht Sonnet 5?
Das ist doch sogar im free Tier?

Allgemein verwende ich je nach Task Sonnet oder Opus aktuell.
Was man bei jedem Anbieter merkt: Umso näher das Release vom nächsten Model kommt, umso schlechter wird das bestehende gemacht. Das habe ich vor allem bei Opus 4.8 letzte Woche gesehen, es hat wirklich harte Fehler am Ende der Woche gemacht, während Sonnet 5 stabil lief.
Jetzt wurde bei uns Opus 5 freigegeben und zack ist es wieder top...

(Professioneller Einsatz per API Token, ich arbeite mit Claude Code agents als Software Entwickler)
Chatgpt finde ich bei normalen Fragen manchmal ganz gut, aber bei direkter Arbeit mit Code ist es nicht gut im Vergleich.
 
  • Gefällt mir
Reaktionen: gman32
schaut mal hier:

https://artificialanalysis.ai/agent...spark-1-1-xhigh,claude-code-sonnet-4-6-medium

Leider kann man neuere Sonnet modell nicht wählen. Gezeigt werden die besten Modelle je Preis und Leistung. Auf der Linie sind jeweils die besten Modell für den gegebenen Preis. Da siehz man auch das Opus 5 das beste ist aber eben für minimalen Unterschied in Leistung (Vertikale), sehr viel mehr Geld (Token verbrauch) gebraucht wird (Horizontale)

Aktuell verwende ich viel GPT 5.6 Sol und Sonnet 5, seit heute Opus 5. Hatte noch nie das Gefühl dass die teuren Varianten ihr Mehrpreis wert sind.
(Meine Nutzung ist 90% Beruflich - code, doku - 10% private - Problem mit Computer oder Spielen lösen)
 
Burfi schrieb:
Chatgpt finde ich bei normalen Fragen manchmal ganz gut, aber bei direkter Arbeit mit Code ist es nicht gut im Vergleich.
Kannst du ein konkretes Beispiel dafür geben, wo ChatGPT "nicht gut" war, bitte? Würde mich mal interessieren.
 
Es ist DAS meist gehypte Modell. Der Hype war zwischendurch auch gerechtfertigt. Meine besten Ergebnisse hatte ich mit der ERSTEN fable 5. Das second Release Modell von fable 5 schien mir ein Schatten seiner selbst gewesen zu sein und auch opus 5 ist weit davon entfernt das beste Modell zu sein.

Die Dynamik in der Entwicklung ist aber sehr schnell und ich habe zusätzlich den Eindruck, dass jedes Modell mit Shared Medium Problematiken zu kämpfen hat.

Wenn zu viele gleichzeitig darauf zugreifen, sinkt die Leistung, so mein Eindruck.
 
  • Gefällt mir
Reaktionen: WoisthierdasKlo
Okay, spannend, Fable war zu Release also scheinbar besser und wurde schlechter? Magst du das nochmal kurz näher erläutern? Das könnte natürlich einiges erklären. Dann war der Hype vielleicht doch nicht ganz ohne Fundament, nur das Fundament wurde nachträglich abgerissen...
 
Ich weiss ehrlich gesagt die Version vom Modell nicht mehr, aber es hat damals arg viele Fehler im Java Code eingebaut. Also wirklich überall Kompilierfehler, die es dann auch in Iterationen nicht lösen konnte (ich konnte sie manuell direkt lösen). Das passiert selbst mit Sonnet nicht aktuell bei mir.

Davon ab habe ich damals mit ChatGPT im privaten Chat schon einige Male wirklich Rabbit holes gehabt. Es schlägt gerne z. B. bei Linux Problemen exakt einen Weg ein und ist dann vollständig betriebsblind. Also selbst wenn der Output aus dem Terminal gegen die Annahme von ChatGpt geht, versucht es immer weiter die "eigene" Lösung. Auch wenn man es darauf hinweist. Es wird sogar "schnippisch" in einer gewissener Art und Weise, dass es denkt es gäbe nur die eine Lösung und das muss der richtige Weg sein.
Ich habe dabei 2-3 Mal wirklich Abende damit verbracht ein jeweils komplexes Problem zu lösen.
Am Ende habe ich es dann jeweils manuell lösen müssen und wäre damit wahrscheinlich schneller fertig gewesen.

-> Also ja ich habe ChatGpt vollständig ersetzt mit Claude, auch privat - es macht mir einfach viel zu oft Fehler und reagiert nicht auf Input.
 
@Burfi Folgender Satz ist natürlich universell gültig, aber ich sage ihn trotzdem, um "mein ChatGPT" zu "verteidigen": ChatGPT ist deutlich besser geworden und hat in den letzten Versionen unfassbar große Sprünge gemacht beim Programmieren! Du kannst mir gerne als PN Prompts/Dateien zuschicken und ich baller die mal in mein ChatGPT Plus rein. Natürlich nur, wenn du was teilen magst... :)
 
WoisthierdasKlo schrieb:
Okay, spannend, Fable war zu Release also scheinbar besser und wurde schlechter? Magst du das nochmal kurz näher erläutern?
Fable 5 Release 1 Version hat einfach geliefert. Besser kann ich das nicht sagen. Problem wurde sofort richtig verstanden und prompt beantwortet. Ich musste da fast nie nachfassen oder gar einen rollback veranlassen.

Bei allen nachfolgenden Versionen passierten dann wieder so dumme Fehler, aus den klar ein confidence bias abzuleiten war und die mich im Grunde viele weitere Runden Arbeit gekostet haben.

Und ich wiederhole mich hier gerne mit einer Beobachtung. Ich lasse JEDES Opus SPEC von Cursor (im Auto Modus) gegenlesen und JEDES Mal findet dadurch eine wesentliche Verbesserung des SPECS statt. Das wird so von Opus dann auch oft eingesehen.
Der Automodus bei Cursor läuft hauptsächlich auf Composer und Grok 4.5, was bekanntlich KEINE Top Tier Modelle sind.
 
  • Gefällt mir
Reaktionen: WoisthierdasKlo
Zurück
Oben