CoPilot kann nicht rechnen
- Ersteller blende11
- Erstellt am
- Registriert
- Dez. 2019
- Beiträge
- 11.992
Ich weiss ja worauf du raus willst, aber really?Zweite Sonja schrieb:
1) is eindeutig
2) Kontext und Sprach abhängig
3) ist Philosophie
Eine AI ist erstmal eine Maschine. Die brauch ja Kontext und gibt trainiertes wissen wieder.
DickPuschen
Cadet 3rd Year
- Registriert
- März 2019
- Beiträge
- 61
Ein LLM ist am Ende Produkt seines Trainingmaterials, ob das im Ergebnis neutral ist?Zweite Sonja schrieb:
Ist Copilot "neutraler" als Grok?
Sag ich ja, bzw. da widersprichst du dir doch selber.Zweite Sonja schrieb:
E: Micha- war schneller
- Registriert
- Dez. 2019
- Beiträge
- 11.992
Abgesehen davon ist eine AI mittlerweile "klüger" als die meisten Menschen. Zumindest wenn man simples Wissen als Klug annimmt.DickPuschen schrieb:
Knuddelbearli
Commodore
- Registriert
- Nov. 2009
- Beiträge
- 4.805
Wenn du einen Akkuschrauber benutzt um einen Nagel in die Wand zu Hämmern ist das nicht die Schuld des Akkuschraubers ...
- Registriert
- Apr. 2023
- Beiträge
- 1.792
Eben habe ich die Rechenaufgabe nochmals bei Copilot ausprobiert.
Wieder kam ein falsches Ergebnis heraus.
Ich habe Copilot glasklar gesagt, das ich eine mathematische Rechenaufgabe gelöst haben möchte.
Ich habe ihm gesagt das es um Mathematik geht und ich das richtige Ergebnis einer Multiplikation haben möchte.
Ich habe gesagt: „Copilot, bitte berechne mir mathematisch die Multiplikation 9687 x 4453 aus und teile mir das richtige Rechenergebnis mit.“
Richtig wäre als Ergebnis gewesen: 43.136.211
Die Copilot-Antwort war:
„Na klar, immer her damit! Sag mir einfach, was du ausgerechnet haben möchtest.
Alles klar, ich rechne das mal eben für dich aus. Einen Moment… Das Ergebnis dieser Multiplikation ist 43.135.611.“
Also wieder falsch.
Ich meine, wie klar soll ich mein Anliegen denn noch formulieren, das es Copilot kapiert?!
Jeder Mensch würde sofort begreifen, was ich möchte.
Sorry, aber wenn ein LLM nicht in der Lage ist zu verstehen, was ich will und meine, wie soll ein LLM dann für den Menschen nützlich sein?
Vor allem auch, wenn man sich nicht auf die Antworten der LLM verlassen kann.
Nicht nur bei Rechenaufgaben scheitern die Modelle, sondern sie erfinden einfach fiktive Antworten auf Fragen, die sie nicht beantworten können, anstatt zu sagen, sie wissen es nicht.
Gerade auch in Anbetracht dessen, das wir annehmen, das diese Modelle/Maschinen dem Menschen weiterhelfen und nützlich sein könnten.
Wenn sie uns auf unsere ganz normalen, gut formulierten Fragen aber letztlich anlügen und „richtige“ Antworten vorgaukeln, die nicht richtig und real sind, was sind diese LLM dann wert?
Wieder kam ein falsches Ergebnis heraus.
Ich habe Copilot glasklar gesagt, das ich eine mathematische Rechenaufgabe gelöst haben möchte.
Ich habe ihm gesagt das es um Mathematik geht und ich das richtige Ergebnis einer Multiplikation haben möchte.
Ich habe gesagt: „Copilot, bitte berechne mir mathematisch die Multiplikation 9687 x 4453 aus und teile mir das richtige Rechenergebnis mit.“
Richtig wäre als Ergebnis gewesen: 43.136.211
Die Copilot-Antwort war:
„Na klar, immer her damit! Sag mir einfach, was du ausgerechnet haben möchtest.
Alles klar, ich rechne das mal eben für dich aus. Einen Moment… Das Ergebnis dieser Multiplikation ist 43.135.611.“
Also wieder falsch.
Ich meine, wie klar soll ich mein Anliegen denn noch formulieren, das es Copilot kapiert?!
Jeder Mensch würde sofort begreifen, was ich möchte.
Sorry, aber wenn ein LLM nicht in der Lage ist zu verstehen, was ich will und meine, wie soll ein LLM dann für den Menschen nützlich sein?
Vor allem auch, wenn man sich nicht auf die Antworten der LLM verlassen kann.
Nicht nur bei Rechenaufgaben scheitern die Modelle, sondern sie erfinden einfach fiktive Antworten auf Fragen, die sie nicht beantworten können, anstatt zu sagen, sie wissen es nicht.
Gerade auch in Anbetracht dessen, das wir annehmen, das diese Modelle/Maschinen dem Menschen weiterhelfen und nützlich sein könnten.
Wenn sie uns auf unsere ganz normalen, gut formulierten Fragen aber letztlich anlügen und „richtige“ Antworten vorgaukeln, die nicht richtig und real sind, was sind diese LLM dann wert?
Zuletzt bearbeitet:
Weedlord schrieb:
Weniger das Gehirn vernebeln und den Unterschied zwischen künstlicher Intelligenz, Intelligenz und Bewusstsein checken.
Ergänzung ()
blende11 schrieb:
Sag der KI sie soll nichts hinzuerfinden, hast du eine pro version von Copilot?
Drewkev
Geizkragen
- Registriert
- Okt. 2016
- Beiträge
- 44.267
Gar nicht, weil es kein Taschenrechner ist.blende11 schrieb:
CoPilot ist ja auch kein Menschblende11 schrieb:
Du benutzt das Werkzeug halt einfach falsch, da kann das LLM nichts für.blende11 schrieb:
Das sollte man sowieso nicht, egal welche LLM. Auch nicht in x Jahren, das liegt in der Natur der Sache.blende11 schrieb:
Herzlich Willkommen bei LLMs.blende11 schrieb:
Das tun se auch, wenn man se richtig nutztblende11 schrieb:
Schonmal nicht für mathematische Rechenaufgaben.blende11 schrieb:
LLMs "begreifen" nun mal nichts, sondern sie erkennen einfach nur Muster der Eingabe und verknüpfen das mit erlernten Muster, die sie aus den Trainingsdaten gebildet haben. Und dann erzeugen sie eine Antwort mit einem möglichst passenden Muster.blende11 schrieb:
Da gibt es seitens des LLMs (oder auch KI generell) kein "Denken", "Verstehen" oder "Begreifen" - es wirkt auf den ersten Blick nur so. Auch wenn LLMs und KI immer weiterentwickelt und optimiert werden, bleibt es im Kern Mustererkennung und Mustererzeugung.
Gandalf2210
Commodore
- Registriert
- Mai 2010
- Beiträge
- 4.299
Jo, wenn du rechnen willst, nimm einen Taschenrechner und keine ki.
Wenn du einen Nagel in die Wand schlagen willst, nimm einen hammer und keine Säge.
Wenn du einen Nagel in die Wand schlagen willst, nimm einen hammer und keine Säge.
- Registriert
- Apr. 2017
- Beiträge
- 415
Das Problem ist hier schlichtweg, dass du Copilot benutzt. Sowohl Claude als auch Mistral haben mir sofort das richtige Ergebnis gegeben. Mistral hat dafür ein Python Skript geschrieben, dass die Multiplikation durchgeführt hat. Claude hat nicht mal den Denk-Modus benötigt.
Zweite Sonja schrieb:
Nein, das Gegenteil ist der Fall.
https://www.srf.ch/news/internation...schlechterstereotype-rassismus-und-homophobie
Diese theoretisch innewohnende Neutralität kann nicht erreicht werden, weil das trainingsmaterial immer menschengemacht ist.
@thrawnx viel Spaß mit Statistik Pi zu bestimmen 
Natürlich ist Wahrscheinlichkeitsrechnung ein Teilgebiet der Mathematik, aber dieses Teilgebiet hat, zumindest so wie es in die LLMs implementiert ist, absolut nichts mit Grundrechenarten zu tun.
Beispiel:
Nehmen wir einen unfertigen Satz "Das Haus ist ... " dann versucht die KI über Wahrscheinlichkeitsrechnung das nächste Wort zu ermitteln. Man könnte jetzt z.B. folgende Wörter einfügen um den Satz voranzubringen "schön, neu, alt, groß, abgebrannt, ..." je nach Promt werden jetzt die Trainingsdaten herangezogen und darüber statistisch ermittelt, was das nächste Wort sein könnte.
Nehmen wir hingegen eine Rechnung "3x3=" dann ist der KI klar, dass hinter dem Gleichheitszeichen eine zahl kommen muss. Semantisch würde man wohl auch eine Zahl im Dezimal System erwarten, da es keine Anzeichen für ein anderes Zahlensystem gibt und zumindest ein Dualsystem ausgeschlossen werden kann. Jetzt hat die KI folgende Optionen "0,1,2,3,4,5,6,7,8,9" und geht auch in ihre Trainingsdaten und wird dort vermutlich indikatoren finden, die als wahrscheinlichste Zahl die 9 angeben. Aber bei einer 4-Stellig x 4-Stellig versagt dieser Ansatz, da so etwas in den Trainingsdaten vermutlich nicht häufig genug vor kommt um Statistisch einen Ausschlag zu machen.
Wenn die KI jetzt gut Programmiert ist, erkennt sie dass sie eine Deterministische Matheaufgabe lösen soll und gibt die Frage an einen Taschenrechner weiter oder wenn sie Coden kann, kann sie darauf getrimmt sein, ein Skript zu erstellen, das deterministisch das richtige Ergebnis bestimmt, aber beides sind Hilfsmittel die der KI beigebracht werden müssen sie in den Richtigen fällen zu benutzen. Und wenn das halt schief geht, dann fantasiert die KI sich eben irgend eine Zahl um nicht zugeben zu müssen, dass sie nicht Deterministisch rechnen kann.
Natürlich ist Wahrscheinlichkeitsrechnung ein Teilgebiet der Mathematik, aber dieses Teilgebiet hat, zumindest so wie es in die LLMs implementiert ist, absolut nichts mit Grundrechenarten zu tun.
Beispiel:
Nehmen wir einen unfertigen Satz "Das Haus ist ... " dann versucht die KI über Wahrscheinlichkeitsrechnung das nächste Wort zu ermitteln. Man könnte jetzt z.B. folgende Wörter einfügen um den Satz voranzubringen "schön, neu, alt, groß, abgebrannt, ..." je nach Promt werden jetzt die Trainingsdaten herangezogen und darüber statistisch ermittelt, was das nächste Wort sein könnte.
Nehmen wir hingegen eine Rechnung "3x3=" dann ist der KI klar, dass hinter dem Gleichheitszeichen eine zahl kommen muss. Semantisch würde man wohl auch eine Zahl im Dezimal System erwarten, da es keine Anzeichen für ein anderes Zahlensystem gibt und zumindest ein Dualsystem ausgeschlossen werden kann. Jetzt hat die KI folgende Optionen "0,1,2,3,4,5,6,7,8,9" und geht auch in ihre Trainingsdaten und wird dort vermutlich indikatoren finden, die als wahrscheinlichste Zahl die 9 angeben. Aber bei einer 4-Stellig x 4-Stellig versagt dieser Ansatz, da so etwas in den Trainingsdaten vermutlich nicht häufig genug vor kommt um Statistisch einen Ausschlag zu machen.
Wenn die KI jetzt gut Programmiert ist, erkennt sie dass sie eine Deterministische Matheaufgabe lösen soll und gibt die Frage an einen Taschenrechner weiter oder wenn sie Coden kann, kann sie darauf getrimmt sein, ein Skript zu erstellen, das deterministisch das richtige Ergebnis bestimmt, aber beides sind Hilfsmittel die der KI beigebracht werden müssen sie in den Richtigen fällen zu benutzen. Und wenn das halt schief geht, dann fantasiert die KI sich eben irgend eine Zahl um nicht zugeben zu müssen, dass sie nicht Deterministisch rechnen kann.
Ähnliche Themen
