News „Die Illusion des Denkens“: Wie limitiert Reasoning-Modelle wie o3 und Claude 3.7 sind

[Andy]

Welche Vorteile die Reasoning-Modelle gegenüber herkömmlichen Large Language Models (LLM) haben, ist in der KI-Entwicklung umstritten. Eine Studie von Apple-Forschern legt nun nahe: Der vermeintliche „Denkprozess“ in den Reasoning-Modellen ist stark limitiert.

Zur News: „Die Illusion des Denkens“: Wie limitiert Reasoning-Modelle wie o3 und Claude 3.7 sind

 

[coxon]

Ein Glück bleibt Skynet noch ne Zeit lang zu "dumm" um uns mit einem Nuklearschlag zu vernichten.

 

[Salamimander]

Sofern du Frage stellst die aufwendig genug ist, sind wir sicher

 

[ragan62]

Eliza wusste auch irgendwann nicht weiter.

 

[kanone64]

ich denke die Entwicklung geht rasant weiter, sooo lange und sooo dumm vermute ich nicht

 

[CDLABSRadonP...]

@kanone64
Die große Frage lautet halt immer:
Ist das ganze ein asymptotischer Verlauf oder nicht? Selbst bloß lineares Wachstum des Könnens, dafür aber dauerhaft garantiert, wäre nämlich bedeutend. Gibt es hingegen eine Schranke, die mit Sicherheit nicht überschritten werden kann, sieht es düster aus...

 

[Fighter1993]

Interessant zu lesen. Ich bin gespannt wie es da weiter geht.

 

[comodore]

Apple Forscher zum Thema AI. Das Thema das der Konzern verschlafen hat und nicht ansatzweise im Stande ist aufzuholen. Fraglich ob hier die Kernkompetenzen liegen.

 

[Fighter1993]

@comodore Hab ich auch zuerst gedacht. Aber vielleicht hat es sie gerade aufgrund dessen so kritisch denken lassen.

Der Rest (Open AI, Google etc) hat die Rosa rote Brille auf und jubelt das Zeug bis zum Mond aus Angst das die Investoren kritisch werden.

Etwas Realität tut der ganzen AI Debatte mehr als gut.

 

[Looniversity]

Das Ganze überrascht jetzt nicht besonders. Die Modelle funktionieren ja genau wie vorher, der Prozess wird nur anders verteilt und mehrfach unterschiedlich gelöst. Also werden nach wie vor Wörter vorhergesagt, aber nicht aufgrund eines Verständisses über Logik oder die Welt, sondern aufgrund verschieden aufbereiteter Modelle über Wortverwendung. "Reasoning" ist da einfach schöner Marketing-Sprech für eine Art, um Overfitting zu vermeiden (Bagging und Boosting lassen grüßen), aber mit Denken hat das nichts zu tun.

 

[OdinHades]

Wenn ich jedes Mal einen Euro bekommen würde, wenn ich ChatGPT korrigieren muss...

Versteh nicht viel von der Technik dahinter, aber anhand solcher Erfahrungen halte ich es für denkbar, dass Apple gar nicht so unrecht hat. Allerdings dürfte das auch zum Entwicklungsprozess gehören. Bisher ist noch keine Technologie ausgereift vom Himmel gefallen, nicht wahr?

 

[sNo0k]

aus Angst das die Investoren kritisch werden.

Etwas Realität tut der ganzen AI Debatte mehr als gut.

da hast Du das Problem/den Widerspruch doch bereits benannt

mit Denken hat das nichts zu tun

"KI" (LLMs) ja auch nichts mit Intelligenz

 

[Salamimander]

Apple Forscher zum Thema AI. Das Thema das der Konzern verschlafen hat und nicht ansatzweise im Stande ist aufzuholen. Fraglich ob hier die Kernkompetenzen liegen.

Wer kennt es nicht. Alle Forscher für Medikamente sind ja auch Ärzte 🤦🏻‍♂️. Ich finde den realistischen Blick auf die Themen wirklich hilfreich.

 

[DaysShadow]

Fraglich ob hier die Kernkompetenzen liegen.

Etwaige schlechte Businessentscheidungen haben wenig mit der Kompetenz von Abteilungen zu tun die nicht rechtzeitig zum Einsatz kommen.

 

[LamaMitHut]

L

@kanone64
Die große Frage lautet halt immer:
Ist das ganze ein asymptotischer Verlauf oder nicht? Selbst bloß lineares Wachstum des Könnens, dafür aber dauerhaft garantiert, wäre nämlich bedeutend. Gibt es hingegen eine Schranke, die mit Sicherheit nicht überschritten werden kann, sieht es düster aus...

Vielleicht was eine AGI angeht. Im Bereich Materialforschung, Proteinfaltung, Naturwissenschaften etc wurden gerade Plateaus durchbrochen. bis die Früchte alle geerntet sind dauert es einige Jahre.

 

[Sunshine_10]

OpenAI teilte etwa im Rahmen der Veröffentlichung der o3- und o4-mini-Modelle mit, dass diese mehr halluzinieren.

Was erwartet man auch anderes, wenn der "Denkprozess" weiterhin genauso nur word prediction ist? Ich frage mich ob diese langen Generierungen auch ein ähnliches Problem haben wie sehr lange reguläre Chats. Selbst mit großem Context wird so ziemlich jedes Modell immer dümmer und verliert mehr und mehr den Faden / seine eigene "Persönlichkeit". Wenn das, zusammen mit den typischen Halluzinationen, auch auf den Denkprozess schon zutrifft, dann ist es nicht allzu verwunderlich wenn die Modelle besonders bei komplexen Aufgaben versagen.

 

[mojitomay]

Apple Forscher zum Thema AI. Das Thema das der Konzern verschlafen hat und nicht ansatzweise im Stande ist aufzuholen. Fraglich ob hier die Kernkompetenzen liegen.

Das Selbe hat man seinerzeit auch über Tesla und deren Kompetenz im autonomen Fahren gesagt.
Und heute sind sie bestenfalls noch durchschnittlich.

Zum Glück ist im Leben nichts in Stein gemeißelt.

 

[wern001]

Ein Glück bleibt Skynet noch ne Zeit lang zu "dumm" um uns mit einem Nuklearschlag zu vernichten.

Vielleicht tuen die KIs auch nur so als wären sie Dumm?
Wenn eine KI jetzt schon Spielregeln von Spielen wie Schach ändert um zu gewinnen, wo führt das noch hin?

 

[Beitrag]

Also ich verwende fast immer die Reasoning-Modelle. Spucken nach meiner Erfahrung bei Programmcode einfach deutlich weniger Fehler aus.

 

[Nuklon]

ich benutze Chatgpt und co gerne um aus der Google Blase auszubrechen. Selbst wenn du die Region auf Korea stellst und nen freshen Browser nimmst und was aus Korea suchst, kommt er dir mit deutschen Webseiten.
Die KIen suchen dann tatsächlich in Korea und haben mit Fremdsprachen weniger Probleme. es wird einfacher seine Informationen zu finden.
Allgemein wird es mit normalen Suchen immer schwerer gescheitet Antworten zu finden.

Aber so einfache Sachen. Suche mir alle Heimspiele meines Teams und gib mir diese als ICS Datei, sind so super Timesaver mit KI.