CoPilot kann nicht rechnen

[Nilson]

Das richtige Tool wäre dann der altbewährte Taschenrechner, iss klar.

Genau das. Ein Taschenrechner multiplizieren deterministisch zwei Zahlen. Das macht ein Large Language Model nicht. Zumindest nicht von alleine.

 

[Pyrukar]

@blende11 du schreibst deine Texte auch in Excel oder?

Das ganze habe ich auch noch viel absurder hinbekommen aber ich schätze mal das dass inzwischen bei großen Modellen inzwischen besser ist. Ich habe mal eine Lokale KI mit Internetzugang nach der Biografie eines Historischen Königs gefragt. Die KI hat mir korrekt das Geburtdatum, die Thronbesteigung und den Todestag genannt, ist aber in der Nachfrage glorreich daran gescheitert mir zu sagen, wie alt die Person bei der Thronbesteigung war oder wie lange sie regiert hat

 

[JumpingCat]

CoPilot kann es jedenfalls nicht!

Dann nutze doch einen anderen Anbieter?

 

[|Moppel|]

Du bist auf Werbung reingefallen und jetzt bist du wütend.

Ist schon ok.

 

[XCatenaccioX]

errare humanum est

 

[madmax2010]

Ich dachte immer, schnell und richtig rechnen ist die Kernkompetenz von KI Modellen.

Seit der allersten woche wird u.a bei logik und Mathe darauf hingewiesen, das LLMs nicht rechnen koennen.
Ist auch nicht notwendig, dazu gibt es deterministische methoden und man braucht kein probabilistisches verfahren

Ergänzung (Gestern um 00:17)

Mich wundert halt, das ihr das nicht kritisiert.

das ist so by design - warum soll man etwas dafuer kritisieren, dass es funktioniert wie es gedacht ist?

 

[xxMuahdibxx]

Das richtige Tool wäre dann der altbewährte Taschenrechner, iss klar.

Nö sowas wie Wolfram Alpha ...

 

[madmax2010]

Das richtige Tool wäre dann der altbewährte Taschenrechner, iss klar.

Was ist daran zu verbessern?

Taschenrechner:

• schnell
• effizient
• deterministisch

LLMs:

• Extrem ressourcenintensiv
• probabilistisch
• irgendwo zwischen langsam und sehr langsam

Wobei man nach der Definition auch Taschenrechner als KI sehen wuerde. LLMs sind nicht zum rechnen da.
Ein LLM kann dir halt einen Rechner entwickeln.

 

[Micha-]

Probiert es mal aus.

Die Berechnung von 9687 \times 4453 lässt sich in Python mit einer einfachen Multiplikation durchführen:

result = 9687 * 4453
print(result)

Das Ergebnis der Rechnung ist 43.136.211.

Lerne prompten

 

[BFF]

Oder einfach richtig fragen? @blende11

Mit Gemini gerade "gelabert".

 

[madmax2010]

@BFF da ist im hintergrund auch tool use, in dem fall taschenrechner. je nach Anbieter und modell passiert das mal, und maal nicht.

 

[BFF]

Mag sein. Fuer mich zaehlt nur das was raus kommt. @madmax2010
In meinem Fall halt das Google-Dingens gefragt und eine richtige Antwort bekommen. Was Gemini selbst benutzt ist mir in dem Fall nebensaechlich. 😁

 

[KitKat::new()]

Mag sein. Fuer mich zaehlt nur das was raus kommt. @madmax2010

Dann wolltest du nie das Ergebnis der Berechnung, weil du sonst gar nicht weißt ob das stimmt was ausgespuckt wurde.

 

[BFF]

Unterschiedliche Hashwerte

Eventuell habe ich ja auch nachgerechnet?
Neee. Das Ergebnis wurde ja mehrfach genannt, da schalte ich meinen ollen Taschenrechner nicht extra fuer an. 😉

 

[Froki]

ChatGPT hat die richtige Lösung auch blitzschnell gehabt.

 

[Independent]

Ganz ehrlich: Ich habe das nie so genau überprüft, aber ich finde es schon merkwürdig, dass eine KI nicht richtig rechnen kann. Auch wenn sie nicht speziell dafür gedacht ist – grundlegende Dinge wie Matheaufgaben sollten trotzdem möglich sein und es sollte nicht schwer sein, ihr das beizubringen.

 

[Syntax_41]

Das liegt einfach an der grundlegenden Technik hinter diesen Systemen. Copilot, ChatGPT und Co. sind im Kern Sprachmodelle und keine echten Taschenrechner.

Wenn man da eine Aufgabe wie 9687 * 4453 eingibt, rechnet die KI nicht im mathematischen Sinn. Sie schaut sich den Text der Aufgabe an und ermittelt rein über Wahrscheinlichkeiten, welche Ziffernfolge statistisch gesehen als Antwort folgen müsste.

Bei einfachen Sachen wie 7 * 8 klappt das fehlerfrei, weil genau diese Zeichenfolge millionenfach in den Trainingsdaten aus dem Netz vorkommt. Das Modell hat das quasi "auswendig" gelernt. Solche spezifischen, vierstelligen Multiplikationen tauchen im Trainingsmaterial aber so gut wie nie auf. Weil dem Modell das mathematische Konzept von Stellenwerten und Überträgen völlig fehlt, stückelt es einfach wild Ziffern zusammen und rät das Ergebnis.

Eigentlich haben die Anbieter für sowas kleine Rechner-Tools im Hintergrund angebunden. Wenn die KI aber nicht checkt, dass sie dieses Tool jetzt benutzen sollte, versucht sie die Matheaufgabe rein über ihr Sprachverständnis zu lösen – was dann komplett in die Hose geht. Bei Zahlen darf man diesen Text-KIs einfach nicht blind vertrauen.

Ergänzung (Gestern um 06:22)

Hier funktioniert

 

[Azghul0815]

Von „künstlicher Intelligenz“ erwarte ich schon, das sie Multiplikationsaufgaben richtig berechnen und lösen kann.

Kann sie doch.
Musst halt das richtige Model auswählen....
ChatGPT, Gemini, Perplexity, kam überall das gleiche Ergebnis raus.

 

[Incanus]

Bei Zahlen darf man diesen Text-KIs einfach nicht blind vertrauen.

Das darf man eben nie und genau da ist der Haken. Man weiß nicht, ob man etwas glauben kann oder nicht. Bei einer Rechenaufgabe ist das noch einfach nachprüfbar, bei andern Dingen eben nicht. Von daher sind die Modelle für mich im Augenblick noch relativ nutzlos,

 

[Schwachkopp]

Wenn man da eine Aufgabe wie 9687 * 4453 eingibt, rechnet die KI nicht im mathematischen Sinn. Sie schaut sich den Text der Aufgabe an und ermittelt rein über Wahrscheinlichkeiten, welche Ziffernfolge statistisch gesehen als Antwort folgen müsste.

Bin mir nicht sicher, ob das wirklich eine grundsätzliche Einschränkung ist. Wenn man ihr sagt, führe eine schriftliche Multiplikation durch, dann tut sie das auch und anscheinend ohne, dass da irgendwelche Tools im Hintergrund aktiv sind. Sie wendet einfach das Rechenschema an und führt 9687 * 4453 auf Operationen zurück, die sie kennt. Das Gleiche funktioniert bei symbolischen Berechnungen hervorragend. Also denke ich, es geht eher darum zu erkennen wenn welche Schritte erforderlich sind.