News KI-Halluzinationen: Google haftet, wenn der AI Overview Falsches behauptet

[DevPandi]

IMHO richtiges Urteil, weil ich bereits jetzt sehe dass sich viele Leute auf diese KI-Zusammenfassungen verlassen.

Nun, was ändert sich durch die KI an der Stelle aber wirklich?

Das beste Beispiel ist hier doch die Bildzeitung sowie andere Boulevardblätter. Oft werden hier sogar bewusst Informationen verfälscht und am Ende kommt eine kleine Richtigstellung, während die Firmen teilweise sehr gut Geld damit verdienen.

Bei der KI kann man zumindest keine „mutwillige“ Handlung annehmen, sondern es ist statistisches Muster.

deutsche Korinthenkacker mit Vollkasko-Mentalität

Das Problem hast Du nicht nur in Deutschland. Die Sache ist nur deutlich komplexer. Dass sich Menschen falsch auf Google, KI, Lexika und Co verlassen haben ist nicht neu.

Du als Privatperson müsstest ebenso in Haftung gehen

Nein und ja. Hier ist entscheidend,
Ob Du besseren Wissens handelst als private Person.

Tut keiner und ist allen bewusst, aber Juristisch wäre das dann vermutlich schon wieder ein ganz anderer fall.

Das ist genau der Punkt und es ändert sich nicht. Ich empfehle mal von Rheinhardt Mey: Was in der Zeitung steht.

1. die Gesellschaft muss lernen, dass KI keine 100% zuverlässigen Antworten liefert und kaum zugibt, wenn sie etwas nicht weiss sondern anfängt zu haluzinieren.

Ja und Nein. Ich habe mit Gemini, was das angeht bereits lustige Chats gehabt, die hat jedoch auch eingesehen, wenn sie falsch lag. An der Stelle habe ich jedoch mit Fakten und Quellen gearbeitet. Wer einfach nur sagt das es falsch ist, ja.

Man muss hier schon auch dann die richtigen „Prompts“ liefern.

 

[Serana]

Die Gleichsetzung LLM <> AI/KI fällt uns mehr und mehr auf die Füsse, weil die Mehrheit der Internetnutzer eben nicht weiß oder realisiert, daß ein LLM absolut nichts mit dem zu tun hat was Menschen gemeinhin als Intelligenz ansehen. Da kann es dann eben passieren, daß Menschen mit dem Brustton der Überzeugung Falschinformationen verbreiten weil "die KI hat es ja gesagt".

Daß die hochgelobte AI (das Akronym löst sich auch im deutschen zutreffend in "Artifizielle Intelligenz" auf) in Wahrheit weniger Intelligenz sondern mehr eine Art stochastischer Papagei ist, und vor allem den Unterschied dazwischen, versteht die Mehrheit anscheinend nicht.

Ein LLM kann eben prinzipbedingt nicht zwischen wahr und falsch unterscheiden und Zusammenhang ist für die AI lediglich Statistik. Auch Halluzinationen gehören so sehr zur AI wie Träume zum Schläfer. Beides läßt sich nicht verhindern.

Bleibt nur die Frage wie man die Nutzer dazu bringt die Ergebnisse der AI als das zu betrachten was sie sind. Mehr oder weniger nützliche Zusammenfassungen die einen ersten Überblick geben können aber weiterer Verifikation bedürfen. Leider schaffen wir es ja schon bei der Wettervorhersage nicht den Leuten klar zu machen, daß die Vorhersage für die nächste Woche auch nur den jetzigen Stand des jeweiligen Hauptlaufes der Modelle abbildet und keinesfalls "in Stein gemeißelt" ist.

Wie bringt man Menschen bei, daß allein die Tatsache, daß ein Computer etwas behauptet, für sich genommen noch nicht allzuviel zu bedeuten hat?

 

[DevPandi]

Die Gleichsetzung LLM <> AI/KI fällt uns mehr und mehr auf die Füsse, weil die Mehrheit der Internetnutzer eben nicht weiß oder realisiert,

Das ist an der Stelle zum Teil allerdings auch eher ein speziell „deutsches“ Problem, weil Artifical Intelligence bei uns als künstliche Intelligenz übersetzt wird.

Software Artifical als auch Intelligence haben im englischen jedoch mehrere Bedeutungen, während wir in Deutschland dafür mehrere Synonyme haben. Was genau gemeint ist, erschließt sich für uns erst im Kontext. So kann Intelligence auch als Inforamtion gelten.

 

[NoNameNoHonor]

@steirerblut ... genau das ist aber das Problem, das blinde Vertrauen, welche doch sehr viele der KI-Antwort (eigentlich ist es keine "KI", sondern ein LLM) entgegenbringen.
Als Informatiker kann ich nur dazu sagen, das System kann zum Einen nur so schlau sein wie es die Trainingsdaten hergeben, steht in den Trainingsdaten viel Blödsinn, kann das System das nicht beurteilen, weil es ja nicht von vornherein weiß, dass es sich um Blödsinn handelt.
Zum Anderen "bastelt" halt so ein LLM abhängig von der Wahrscheinlichkeit die Daten zusammen, es handelt sich also eben NICHT um ein Algorithmus, der immer die gleichen Antworten geben (muss).
Daher würde ich es lieber sehen, dass diese vorgefertigte "KI-Antwort" wieder bei Google verschwindet, weil es doch zu viele gibt, die eben kein Grundverständnis zu der Arbeitsweise eines LLM besitzen.

 

[ZeroCoolRiddler]

Warte, die Central Intelligence Agency ist keine Agentur für intelligente Personen?

 

[BxBender]

Es gibt keine Google KI.
Das waren immer schon dynamische, erweiterte Suchergebnisse.
Ein Computer wäre schon immer in seiner Gesamtheit eine KI gewesen.
Schon ein Taschenrechner hätte Anspruch darauf, weil er schneller und besser mit Zahlen jongliert als ein Mathegenie.
Die von Firmen angepriesenen KI-Systeme sind aber nicht wirklich superintelligent, sie machen zu viele Fehler, weil sie einfach nur auf Daten zugreifen, die falsch sein können.
Und weil sie wild alles zusammenschmeißen, mixen, und neu ausspucken, werden zwangsweise noch mehr Fehler eingebaut, weil die Sinnhaftigkeit oft genug gar nicht mehr gegeben ist.
Also das 10% der Aussagen von Google Mist sind, kann ich definitiv bestätigen.
Das Ding hat schon Probleme Befehle und Grundlagen von Linux und Windows auseinander zu halten, geschweige denn Linux Derivate mit ihren Grundstruktueren wie Arch und Debian.
Tippt man etwas ein, steht irgendwie immer Müll dabei mit drin, oder es ist nicht genau das, was man gesucht hat.
Ich als Mensch bin auf jeden Fall dazu angehalten die Angaben gegenzuprüfen und logisch nachzudenken, ob das auch wohl sein kann.
Dazu benötigt man aber auch ein gewisses Maß an Grundwissen und eine gehörige Portion Skepsis.
Wer im Auto dem Navigerät ins Meer oder den Fluss folgt, der wird auch hier irgendwann sein wahres Wunder erleben.

 

[Serana]

Das ist an der Stelle zum Teil allerdings auch eher ein speziell „deutsches“ Problem, weil Artifical Intelligence bei uns als künstliche Intelligenz übersetzt wird.

Ja und Nein.

Viele Deutsche haben eindeutig Defizite beim Thema Technikverständnis. Im Allgemeinen gilt, je älter die Technik desto mehr Vertrauen wird ihr entgegengebracht.

Auf der anderen Seite hat Sam Altman, der als CEO von OpenAI an sich wissen sollte was ein LLM und die diesem zugeschriebene AI tatsächlich ist, schon Äußerungen von sich gegeben bei denen er den Energiebedarf eines LLM und eines Menschen bis zum Erwachsenenalter verglich und meinte, daß ein LLM ebenso viel Energie wie ein Mensch bräuchte bis es schlau geworden sei.

Auch Sam Altman setzt also menschliche und artifizielle Intelligenz implizit gleich.

 

[herrStreusalz]

und AGB Zustimmung.

Wie viele Menschen kennst du denn, die sich wirklich AGBs durchlesen. Bei mir ist es keiner (leider)

 

[R4Z3R]

Irrelevante Entscheidung eines Wald-und-Wiesen-Landgerichts die in der Praxis völlig bedeutungslos ist.

Wird hier natürlich wieder komplett misinterpretiert wie so regelmäßig bei juristischen Themen.

 

[Turrican101]

Prinzipiell richtig, auch wenn ich solche KI-Zusammenfassungen eigentlich sehr praktisch finde, da sie mittlerweile in der Regel gute Ergebnisse liefert und man dann schon nen groben Überblick hat. Daher wäre es eher schade, wenn wegen einzelnen Ergebnissen die ganze Funktion gestrichen werden könnte, bloß damit man auf der sicheren Seite ist.

 

[Astorek86]

und so landen am Ende 100 Warnhinweise auf Kaffeebechern.

Achtung Kaffee ist heiß... Ja ach nee. Ist ja auch Kaffee

Der Vergleich zieht nicht, weil nicht jeder weiß, dass eine KI halluzinieren kann. Also, wir Techniknerds schon, aber nicht alle.

Insbesondere in den USA gibt es schon Fälle, wo Firmen zuerst einige Dutzend Angestellte entlassen haben - und dann wieder eingestellt werden mussten, weil die KI doch nicht deren Aufgaben mit derselben, geringen Fehlerrate übernehmen kann. Auf Golem wird grade darüber berichtet, dass ein Gericht ein Verfahren eingestellt hat, weil Anwälte aus beiden Parteien KI genutzt haben, die wiederum auf Referenzen Bezug genommen haben die nicht existieren - die Richterin hat einem Anwalt sogar Berufsverbot erteilt, weil er das schon wiederholt gemacht hat.

EDIT: Hier schweife ich etwas ab, darum in Spoiler:

Spoiler

Hierzulande hat sich Mario Voigt einen Gastbeitrag für die FAZ komplett per KI erstellen lassen. Warum denn auch in politische Debatten mit eigenen Überzeugungen mitmischen wollen, wenn man das alles der KI überlassen kann? Dann können wir Politiker gleich ganz abschaffen... (ich hoffe, man hört meinen Sarkasmus raus...)

Das alles unter der Prämisse, dass die Techfirmen alle das Internet abgegrast haben von Leuten, die freiwillig und unentgeltlich Beiträge erstellt haben um andere zu helfen, und dafür jetzt Milliardengewinne kassieren. Während jetzt KI-Bots u.Ä. dafür sorgen, dass das Internet ein Stück weit unbenutzbarer wird, ja schönen Dank auch...

Es gibt 'nen Grund, weshalb insbesondere jüngere Generationen so dermaßen gegen KI wettern... Vom Kosten-/Nutzen-Verhältnis und was für Schäden das u.a. der Umwelt anrichtet, fange ich lieber garnicht erst an...

Zurück zum Thema: Noch dazu wurden die, den Techfirmen entgegenkommenden, Gesetze und Urteile auch ausgenutzt, etwa was Moderationspflichten angeht (ich könnte das Thema noch viel weiter vertiefen, aber ich lass das erstmal... Will keinen zweiten Spoilerkasten machen^^).

Ich finds gut, dass da ein Riegel vorgeschoben wird. Und sei es nur, dass sich allgemein ein Bewusstsein dafür formt, dass bei einer KI der Teufel in den Details stecken kann, auch wenn die KI-Antwort auf den ersten Blick korrekt und valide aussieht...

 

[gustlegga]

Wieso sehe ich nie etwas von diesen Halluzinationen?

biddeschön : (Thread)

https://bsky.app/profile/arminwolf.at%2Fpost%2F3mnwijhvqmc2j

(Erklärung zur Person Armin Wolf: Moderator der 22 Uhr Nachrichten und stellvertretender Chefredakteur der Newsabteilung des Österreichischen Rundfunks ORF)

 

[R4Z3R]

Daher wäre es eher schade, wenn wegen einzelnen Ergebnissen die ganze Funktion gestrichen werden könnte, bloß damit man auf der sicheren Seite ist.

Wird es natürlich nicht.

Es ist in der Praxis völlig bedeutungslos. Vielleicht kommt noch ein Warnhinweis mehr oder ähnliche, mehr nicht.

Absoluter Nothingburger.

 

[JanMH]

Eine "überwâltigende Mehrheit an korrekten Informationen" hat aber immer noch eine nicht zu vernachlässigende Zahl an schlicht falschem Auswurf.
Wenn man dauernd noch zusätzlich nachprüfen muß, ob etwas korrekt ist, dann ist daß einfach doof, und diese Zusammenfassung nicht zu gebrauchen.

Und nein Google: hört einfach auf das Urteil zu prüfen. Akzeptiert es einfach, und macht euch an die Arbeit, was fehlerfreies zu bauen.

Warum müssen diese Konzerne immer diskutieren? Wenn man einen Fehler gemacht hat, akzeptiert man daß, und arbeitet glaubhaft an sich, damit es nie wieder passiert.

 

[Ranayna]

deutsche Korinthenkacker

Hat auch schon Urteile in den USA gegeben.
Wie zB ein Chatbot einer Fluglinie, der behauptet haette es gaebe einen Rabatt, wenn man als Kunde zu einer Beerdigung eines nahen Verwandten fliegt.
Den Rabatt gab es wohl tatsaechlich mal, wurde aber irgendwann gestrichen. Daher hatte der Chatbot wohl die Info, aber er hat "vergessen" dass es den Rabatt nicht mehr gibt.

Die Fluglinie ist fuer diese Falschaussage belangt worden und musste den Kunden entschaedigen. Wie sie fuer jede Falschaussage des Supports belangt worden waere. Was by the way der Grund ist warum der First Level Support frueher bei fast allem erstmal Ruecksprache mit dem Supervisor halten musste, als es noch First Level Support gab

Unternehmen sich mit der Begründung "Das war die KI." aus der Verantwortung stehlen könnten.

Das Haftungsprivileg war sowieso immer so ein bisschen eine komische Sache finde ich.
Platformen die dieses Privileg geniessen, koennen sich quasi von allem was auf ihren Seiten passiert freisprechen.
"Waren wir nicht! War jemand anders!"
Bei Content der wirklich von jemand anderem kommt, kann ich es ja sogar noch halbwegs nachvollziehen. Und so Sachen wie das Recht auf Vergessen und das NetzDG setzen den Unternehmen ja zumindest kleine Schranken.

Aber der KI Inhalt kommt von Google. Da beisst die Maus keinen Faden ab. Sich mit dem Haftungsprivileg rauszureden kann da nicht funktionieren. Darf da nicht funktionieren.

Ergänzung (11. Juni 2026)

Das beste Beispiel ist hier doch die Bildzeitung sowie andere Boulevardblätter. Oft werden hier sogar bewusst Informationen verfälscht und am Ende kommt eine kleine Richtigstellung, während die Firmen teilweise sehr gut Geld damit verdienen.

Zeitungen muesste man eh viel staerker ran nehmen wenn sie Luegen.

 

[Drummermatze]

Gemini ist für mich schlicht nicht brauchbar.
Ich habe letztens Fragen zum Steuerrecht gestellt und meinen konkreten Fall genau beschrieben.
Er hat Informationen aus einem völlig anderen Kontext auf meinen Fall übertragen.

Claude hat hier direkt die korrekte Antwort geliefert.

In diversen anderen Anfragen aus unterschiedlichen Bereichen ein ähnliches Bild.

Google würde hier niemals haften wenn ich durch falsche KI-Aussagen Steuern hinterziehen würde.

 

[gustlegga]

Früher haben die Leute gesagt "Glaub nicht alles was im Internet steht" oder wenigstens am 1. April noch nachgedacht, ob eine Meldung stimmen könnte.
Fact checking ist für die meisten ein Fremdwort, Bilder und Meldungen werden ungeprüft geteilt.
Aber Dr. Google wird für Diagnostik vertraut, weil bei KI/AI steckt ja das Wort "Intelligenz" dahinter; etwas das bei manchen offensichtlich abhanden gekommen ist. 🤷‍♂️

 

[HAse_ONE]

was wenn die faslschen aussagen daher kommen dass die ki schon mit falschen inhalten gefüttert wurde - gerade wenn die zusammenfassungen auf websuchen basieren und unter diesen ist auch murks...?

Ja dann ist das kein Fehler von Seiten der KI und deren Betreiber. Aber in dem vorliegenden Fall, sofern ich mich jetzt da nicht verlesen habe, war es ja so, dass die KI Blödsinn halluziniert hat, das was sie geschrieben hat, stand nicht in den Quellen die sie für ihre Antwort genutzt hat. Also die KI hat quasi selbst was dazugedichtet.

 

[BOBderBAGGER]

An der Stelle habe ich jedoch mit Fakten und Quellen gearbeitet. Wer einfach nur sagt das es falsch ist, ja

Ähm ne. KI soll ein Werkzeug sein, so wirds zumindest verkauft... Ich muss meine Bohrmaschine auch nicht überreden wenn ich ein Loch bohren will.

Wieso sehe ich nie etwas von diesen Halluzinationen? Will auch mal solche lustigen Dinge erleben.

Die sind leider nicht immer so offensichtlich und lustig die allermeisten Fallen insbesondere wenn man nicht selbst experte zum thema ist einfach nicht auf.

 

[Serana]

auch wenn die KI-Antwort auf den ersten Blick korrekt und valide aussieht...

Genau da steckt ja der von dir zitierte Teufel. Die AI wird mir in den meisten Fällen eine plausibel klingende Antwort liefern. Aber allein die Tatsache, daß etwas plausibel klingt, sagt ja noch nichts über den Wahheitsgehalt.

Und nein Google: hört einfach auf das Urteil zu prüfen.

Äh nein, einfach nur nein.
Einer der Gründe warum es z.B. verschiedene Instanzen gibt ist, daß auch Richter fehlbare Menschen sind. Und wenn es jetzt einfach nur noch heißt "Jammer gefälligst nicht rum und akzeptiere einfach das Urteil." dann können wir uns so Scherze wie die verschiedenen Bundesgerichte auch direkt sparen. Auch das Bundesverfassungsgericht können wir dann mit einstampfen.

Auch Google muß (bei aller verdienter Antipathie) das Recht haben ein ergangenes Urteil zu prüfen und gegebenenfalls in Berufung oder Revision zu gehen.

Es gab ja auch bekanntlich noch niemals in der jüngeren deutschen Geschichte (ab 1945) Fehlurteile oder Justizirrtümer. Und ja, das Rechtssystem kann manchmal frustrierend sein und auch mal Urteile fällen bei denen man sich fragt in welchem Universum diese gerecht sein sollen.