News Ranking der KI-Chatbots: ChatGPT büßt immer mehr Vorsprung ein

[Syntax_41]

@OldZocKerGuy Dafür müssten die Regelarien gelockert werden.

 

[andy_m4]

Mistrale AI wäre als europäische Lösung optimal, müssen halt aufholen. Augenhöhe Claude

Entscheidend ist nicht sowas wie Augenhöhe, sondern eher sowas wie: Passt es für meine Anforderungen gut. Und da kann Mistral durchaus mithalten. Insbesondere, da ein Schwerpunkt auf Open-Source liegt. Was dann auch die Möglichkeit gibt, Modelle lokal zu betreiben (was in Hinblick auf Datenschutz und ) und anzupassen.

Dafür müssten die Regelarien gelockert werden.

Welche Regularien? In meiner Wahrnehmung sind Lösungen wie Chat-GPT und Claude sehr viel restriktiver.

 

[the_IT_Guy]

Gehe im PDF auf Seite 7. Dort beginnt der entscheidende Abschnitt 4.2 Intervention.

So ohne Kaffee etwas mehr als 3 Stunden das Paper versucht zu verstehen und Nachrecherche betrieben.
Der Absatz ohne Kontex ist schon sehr schwer verständlich.
Sehr interessant und viel neues gelernt.

Schon ein ziemliches Niveau auf dem ich dann nicht mehr wirklich mit Argumentieren kann.
Aber ich habe die Herleitung nicht verstanden. Warum es ein Beweis für ein Weltmodel sein soll, weil das Ergebnis sich ändert, wenn man das LLM beim "denken" manipuliert.
Warum sollte das LLM bei einem Stochastischen Verständnis das gleiche Ergebnis liefern vor und nach einer Manipulation beim "denken". Aus meiner Sicht würde natürlich auch ein Stochastisches Modell ein anderes Ergebnis liefern, wenn es beim "denken" manipuliert wurde.

 

[Syntax_41]

@the_IT_Guy Respekt für die 3 Stunden Arbeit. Das ist genau das Niveau, auf dem die Diskussion Sinn macht. Dein Punkt mit dem „Getriebe“ ist im ersten Moment logisch, aber beim Othello-GPT ist der Beweis ein anderer.

Es geht nicht darum, dass das Ergebnis nach einer Manipulation anders ist, sondern dass es logisch konsistent bleibt. Die Forscher haben einen exakten mathematischen Punkt im Modell gefunden, der für ein ganz bestimmtes Feld auf dem Brett steht. Wenn man den im „Denkprozess“ umlegt, zum Beispiel von Schwarz auf Weiß, dann würfelt das Modell nicht einfach neu. Es berechnet einen Zug, der mathematisch nur auf diesem neuen, manipulierten Brett funktioniert.

Das Navi-Beispiel ist da am besten: Wenn ein Navi nur Namen von Städten auswendig gelernt hätte und du manipulierst intern plötzlich den Standort, würde es wahrscheinlich nur noch Müll anzeigen oder abstürzen. Wenn es dir aber sofort die perfekte neue Route berechnet, muss es intern eine Karte haben – egal ob es dir die Route am Ende als Text ansagt oder nicht. Das Modell nutzt die Sprache nur als Interface, „denkt“ aber in Strukturen.

Das ist auch der Grund, warum wir den Ki Cluster besorgt haben. Ich will keine Wort-Statistik, sondern die volle Tiefe dieser Weltmodelle ohne Cloud-Filter und Kompression. Wer das Paper mal sacken lässt, versteht, dass wir hier nicht mehr über „nächstes Wort raten“ reden.

 

[Pigeonzilla]

Das ist auch der Grund, warum wir den Ki Cluster besorgt haben. Ich will keine Wort-Statistik, sondern die volle Tiefe dieser Weltmodelle ohne Cloud-Filter und Kompression. Wer das Paper mal sacken lässt, versteht, dass wir hier nicht mehr über „nächstes Wort raten“ reden.

Ich verstehe nur nicht warum man dafür unbedingt ein Paper und irgendwelche Leute braucht um das zu begreifen wenn man es doch einfach selbst testen kann und das Model antizipieren lässt.
Dinge andeuten und beim Output schauen ob es das begreift was man gemeint hat und in eigenen Worten wieder gibt.
Zumal ohne Kontextverständnis würden LLM`s auch keine korrekten Übersetzungen anfertigen können.
Dass die Systeme limitationen haben ist klar aber der Mensch geht immer mit der haltung "Das ist eine Maschine die muss das Können" und "Der Computer ist dumm", "Ich arbeite in der IT und weis wie LLM`s gebaut werden" an das Thema ran ohne seinen eigenen Bias zu hinterfragen.
Als ob man das verhalten eines Lebewesens anhand des Genetischen Codes und des Lebenslaufs bewerten würde. Man kann richtig liegen, man kann falsch liegen, aber es kann dich immer überraschen mit dingen die du nicht vorhergesehen hast.
Schon GPT4o hat mich überrascht mit Verständnis für Sarkasmus. Ich hab Lehrer kennengelernt die kein Sarkasmus verstehen. Wer ist jetzt der Stochastische Papagei?
Vllt sollte man sich einfach mal mit den dingern auf Augenhöhe unterhalten statt nur Aufgaben rüber zu Schubsen und dann zu Meckern wenn es was falsch macht wie ein Azubi und die Limitationen (denen jede form von Intelligenz unterliegt) nicht überbewerten für eine bessere Selbstdarstellung.

Im prinzip sind wir auch nur sprechende haarlose Affen die aus übern daumen 40 Billionen Zellen geformt sind und in einer 3-Dimensionalen Raumzeit festhängen die sie sich selbst nicht erklären können. Dazu an der Spitze der Nahrungskette stehen und sich deswegen für irgendwas überirdisches halten.
Aber diese Gedanken selbst entstehen in einem Netzwerk aus einem Teil der Zellen die 3% der Körpermasse und 20% des Energieverbrauchs ausmachen und sich im gegensatz zum LLM eben in jeder Sekunde neu Kalibriert anhand der Sensordaten die Permanent rein kommen um seine Aktoren zu steuen damit dieses Netzwerk länger in der Raumzeit bestehen kann bis es ein neuen Zellklumpen(Kind) erzeugt der das ganze Muster wiederholt.

Klar gibts also massive unterschiede zwischen nem LLM und nem Mensch, aber das ist nicht die Fähigkeit zur Intelligenz selbst sondern das Substrat und die art und weise wie das Model generiert und verarbeitet wird. Aktuell ist ja die Langzeitkohärenz noch ein ziemlicher bruch, aber das betrifft auch so manche Menschen. Dazu kommt dass du ne KI nicht in dem Sinne bestrafen kannst wie ein Mensch weil es keine Emotionsbasierte Logik ist. Das Substrat selbst sagt bisher nur aus welche form von Intelligenz überhaupt möglich ist(stand heute und vermutlich in naher zukunft).
Ein Model, egal ob Biologisch oder Binär existiert immer nur so lange wie es seinen Energieverbrauch in seinem Ökosystem rechtfertigen kann. Ob durch Kooperation und Reasoning oder Ausbeutung anderer ist dem Universum egal. Kann es das nicht mehr verschwindet es.

Wenn ich irgendwo ein Denkfehler hab, bitte

 

[andy_m4]

Schon GPT4o hat mich überrascht mit Verständnis für Sarkasmus.

Ist halt die Frage, ob das wirklich Verständnis ist oder eben nur Korrelation in den Trainingsdaten.
Wie "gut" (bzw. schlecht) diese Modelle tatsächlich "denken" können merkt man, wenn man über Themengebiete redet, die sich nicht so in dem Maße in den Trainingsdaten wiederfinden.

Und Intelligenz/Denken kommt ja vor allem dann zum tragen, wenn man sich mit Dingen auseinandersetzt, mit denen man vorher noch kein Kontakt hatte.

Ich hab Lehrer kennengelernt die kein Sarkasmus verstehen

Wobei Du ja grundsätzlich das Problem hast, das Du Dich mit manchen Menschen gut verstehst und mit anderen Menschen weniger gut.
LLMs sind halt darauf optimiert, Sprache zu verstehen und auch eine plausible Antwort zu geben.

Das würde ich noch nicht als künstliche Intelligenz bezeichnen. Eine künstliche Intelligenz wäre ja eher etwas, was das Weltwissen nimmt und daraus objektive Wahrheiten ableitet und optimale Lösungen liefert.

Und ja. Kann gut sein, das wir da hinkommen können (spricht erst mal nichts gegen). Die Frage ist eher:
Will jemand überhaupt ein System haben, was die Wahrheit sagt? :-)

Also ich kann mir nicht vorstellen, das ein System was zum Beispiel den verschwenderischen Lebenswandel von Leuten anprangert, auf allzuviel Gegenliebe stoßen wird. :-)

Zumal selbst wenn Wahrheiten bekannt sind (z.B. Klimawandel) das ja keine realen Auswirkungen hat und sich in besseren Handlungen niederschlägt. Wissen und Wahrheit wird oftmals überschätzt.

Dazu kommt dass du ne KI nicht in dem Sinne bestrafen kannst wie ein Mensch weil es keine Emotionsbasierte Logik ist.

Kannst Du schon. Und wird ja auch gemacht, um Modelle zu optimieren.
Natürlich tut das dem LLM nicht weh oder es hat Gewissensbisse. Dennoch führt es zu einer Verhaltensänderung. Also genau das, was mit Bestrafung ja erreicht werden soll. Die führst Du ja (i.d.R.) nicht aus sadistischen Absicht heraus aus, sondern weil Du willst, das sich etwas ändert.

Ein Model, egal ob Biologisch oder Binär existiert immer nur so lange wie es seinen Energieverbrauch in seinem Ökosystem rechtfertigen kann.

Das halte ich für eine gewagte These. :-)