WoisthierdasKlo
Lieutenant
- Registriert
- März 2019
- Beiträge
- 528
Moin!
Ich habe ja schon geschrieben, dass ich Claude Pro überraschend schlecht finde, angesichts des Hypes. Manche sagen ja zum Beispiel, dass OpenAI erst mit GPT-5.7 eine Antwort auf Claude Fable liefern werde. Ich habe bisher dagegen keinen einzigen Punkt gefunden, in dem Claude Pro besser als ChatGPT Plus ist; im Gegenteil, die Qualität der Antworten war bislang immer mit Abstand schlechter.
Ein paar Punkte waren z.B. (in dieser Auflistung: bezogen auf Claude Fable Max Thinking):
Nun kann ich Fable nicht mehr testen, daher bezieht sich Folgendes nunmehr auf Sonnet 4.6:
ChatGPT 5.6 Sol High und Claude Sonnet 4.6 High sollten beide eine Quellenübersicht zu einem Thema liefern. Anschließend haben sowohl ChatGPT als auch Claude die Antworten erhalten und beide Antworten verglichen. Das Résumé beider KI-Modelle ist hier zu lesen:
Résumé von ChatGPT:
-------------- KORREKTUR -----------------
Der Vergleich müsste mit Claude Opus 5 stattfinden. Hier sieht es tatsächlich ganz anders aus:
Résumé von ChatGPT:
Was meint ihr? Bitte bedenkt bei euren Antworten, dass für einen Vergleich sinnvollerweise nur Claude Pro und ChatGPT Plus herangezogen werden sollten. (Ich hatte schon mehrere Diskussionen, wo Claude-Befürworter am Ende preisgaben, dass sie Claude Pro mit der Gratisversion von ChatGPT verglichen haben oder dass sie beide Gratisversionen miteinander verglichen.)
Ich habe ja schon geschrieben, dass ich Claude Pro überraschend schlecht finde, angesichts des Hypes. Manche sagen ja zum Beispiel, dass OpenAI erst mit GPT-5.7 eine Antwort auf Claude Fable liefern werde. Ich habe bisher dagegen keinen einzigen Punkt gefunden, in dem Claude Pro besser als ChatGPT Plus ist; im Gegenteil, die Qualität der Antworten war bislang immer mit Abstand schlechter.
Ein paar Punkte waren z.B. (in dieser Auflistung: bezogen auf Claude Fable Max Thinking):
- Typografie und Länge der Antworten: Die Antworten sind nicht ordentlich formatiert, stattdessen reiner Fließtext, ohne saubere Absätze, Überschriften etc. Dies mag ja noch Geschmackssache sein, aber auch die Länge der Antworten ist meist viel kürzer als bei ChatGPT und weniger ausführlich
- keine Bildgenerierung: Claude verweist selber darauf, dass man ChatGPT benutzen soll
- nach 2-3 Prompts ist bereits das temporäre Limit erreicht
Nun kann ich Fable nicht mehr testen, daher bezieht sich Folgendes nunmehr auf Sonnet 4.6:
ChatGPT 5.6 Sol High und Claude Sonnet 4.6 High sollten beide eine Quellenübersicht zu einem Thema liefern. Anschließend haben sowohl ChatGPT als auch Claude die Antworten erhalten und beide Antworten verglichen. Das Résumé beider KI-Modelle ist hier zu lesen:
Résumé von ChatGPT:
Und auch Claude selber résumiert:Im direkten Vergleich war die Antwort von Claude optisch besser aufbereitet und übersichtlicher strukturiert, enthielt jedoch mehrere gravierende bibliografische Fehler, unklare Publikationsstatus und teilweise zu weitgehende Schlussfolgerungen. Die Antwort von ChatGPT war gestalterisch nüchterner, dafür aber deutlich zuverlässiger: Quellen wurden präziser angegeben, Preprints transparent gekennzeichnet, methodische Grenzen benannt und Aussagen vorsichtiger eingeordnet. Für eine wissenschaftliche Weiterverwendung ist die ChatGPT-Antwort daher klar vorzuziehen; Claude überzeugt vor allem bei der Präsentation, nicht bei der inhaltlichen Absicherung.
Grund für die bessere visuelle Aufbereitung war, dass Claude eine docx-Datei als Antwort geliefert hat, mit echten Tabellen. Dies war auch ein gutes Beispiel für das, was ich mit "missverständliche Antworten" oben meinte: Im oberen Absatz der Antwort meinte Claude, dass es eine Markdown-Datei bereitstellen werde. Der Anhang war aber eine Microsoft Word-Datei.ChatGPT lieferte die qualitativ bessere Antwort: Die Quellen sind real, die DOIs stimmen, die Methodenbeschreibungen sind differenzierter, Preprints werden transparent gekennzeichnet, und es gibt eine übergreifende Befundlage mit Empfehlungen zum Kernkorpus. Claude punktete mit ansprechenderer Formatierung — einheitliche Tabellenstruktur, synoptische Übersicht — produzierte aber mehrere halluzinierte oder nicht verifizierbare Einträge, die formal korrekt aussehen, es aber nicht sind. Für wissenschaftliches Arbeiten ist ChatGPT hier klar vorzuziehen; Claudes Ausgabe wäre ohne gründliche Einzelprüfung jeder Quelle nicht direkt verwendbar.
-------------- KORREKTUR -----------------
Der Vergleich müsste mit Claude Opus 5 stattfinden. Hier sieht es tatsächlich ganz anders aus:
Résumé von ChatGPT:
Claude hat dagegen ein anderes Résumé:Die überarbeitete Antwort von Claude ist gegenüber der ersten Version deutlich verbessert: Sie enthält 16 nummerierte Positionen beziehungsweise 17 eigenständige Hauptquellen, ergänzt um weitere Literatur, trennt theoretische Technologiekritik sinnvoll von empirischen Wirkungsstudien und bietet mehr deutschsprachige sowie experimentelle Forschung. ChatGPT enthält mit 14 Quellen zwar weniger Literatur, ist aber weiterhin etwas enger am konkreten Auftrag ausgerichtet, bibliografisch einheitlicher und bei der Kennzeichnung von Peer Review und Preprints konsequenter. Claude ist nun stärker bei Breite, Deutschlandbezug und empirischen Negativbefunden; ChatGPT bleibt knapp besser als unmittelbar verwendbare wissenschaftliche Quellenübersicht.
In diesem direkten Vergleich ist Claudes Antwort die qualitativ stärkere: Die Quellen sind verifizierbar, die inhaltliche Analyse differenzierter, die Methodenkritik expliziter, und der praktische Mehrwert für wissenschaftliches Arbeiten — deutschsprachige Literatur, Suchstrings, Genretrennung, Warnhinweise — deutlich höher. ChatGPT lieferte eine solide, korrekte Übersicht mit ansprechenderer Formatierung, bleibt aber analytisch flacher. Das Ergebnis dieses Vergleichs ist damit nahezu umgekehrt zum ersten Durchgang, was zeigt, dass die Qualität von KI-Antworten stark von Prompt, Kontext und — offenbar — von der jeweiligen Session abhängt.
Was meint ihr? Bitte bedenkt bei euren Antworten, dass für einen Vergleich sinnvollerweise nur Claude Pro und ChatGPT Plus herangezogen werden sollten. (Ich hatte schon mehrere Diskussionen, wo Claude-Befürworter am Ende preisgaben, dass sie Claude Pro mit der Gratisversion von ChatGPT verglichen haben oder dass sie beide Gratisversionen miteinander verglichen.)
Zuletzt bearbeitet: