News KI-Halluzinationen: Google haftet, wenn der AI Overview Falsches behauptet

[Syntax_41]

Vielleicht merkst Du mit ein wenig Nachdenken selbst, dass das längst so ist. Für Deine privaten Verfehlungen gibt es eine Haftpflichtversicherung.
Für alles im Rahmen der Arbeit darf der Arbeitgeber geradestehen, im Falle eines Falles kann das auch für den Arbeitnehmer Konsequenzen haben. Auch dafür gibt es Versicherungen, und vor allem auf Prozesse, damit das möglichst vermieden wird. Es wird getestet, Reviews werden gemacht, Zertifizierungen, Prüfungen, Bescheinigungen, etc. Kostet alles Geld, aber eben nicht so viel wie ein entsprechender Schaden kosten würde. Und versichern kann sich der Arbeitgeber auch noch.

Bei Ki heisst es hingegen: Verlass Dich bloß nicht drauf! Prüfe alles nach! Und wenn die KI Blödsinn erzählt, dann musst Du das erkennen! Die KI verlinkt doch sogar die Quellen!
... nur wenn sie sich etwas herbeihalluziniert, das nachweisbar nirgends steht... bei einem Menschen würde man das wohl einfach als Lüge bezeichnen


Klar, wenn mir der Statiker, der mein Haus plant sagt: Das passt schon so, und die Bude stürzt später ein, dann hätte ich mal besser nachgeprüft, was der mir erzählt hat. Ich bin ja schlißelich selber Statiker und kann das beurteilen...

Es sollen also einfach ähnliche Bedingungen gelten, ob das Ergebnis nun von einem Menschen oder von einer KI erzeugt wurden.

Dir ist schon klar, dass Beiträge nach Inanspruchnahme steigen. Eine Versicherung zahlt doch nicht drauf …

Nach deiner Logik, wenn ich mich nicht mehr genau erinnere und aufgrund dessen eine falsche Aussage tätige und jemand deswegen z. B. den falschen Weg nimmt, dadurch einen wichtigen Geschäftstermin verpasst und dann z. B. 50.000 € verliert, ich dafür haften müsste, weil ich ihm versehentlich den falschen Weg erklärt habe?

Wenn der Statiker vorher sagt, dass Fehler drin sein können und du es besser noch mal nachprüfen solltest, z. B. bei einem anderen Statiker, glaube ich nicht, dass er haften müsste. Er hat dich ja schließlich darauf hingewiesen, dass es nicht richtig sein könnte. Was du dann mit den Infos machst, ist dein Problem, wenn das Haus daraufhin einstürzt.

Anders wäre es, wenn der Statiker sagt: „Nein, alles richtig, da passiert nichts. Garantiere ich“, und dann was passiert. Da sieht es anders aus …

Aber warten wir mal das Urteil ab, ist ja nur ne einstweilige Verfügung.

Ergänzung (12. Juni 2026)

Wird nicht funktionieren, wenn er es nicht mit voller Absicht gemacht hat, um euch zu schaden.

Habt ihr da keine Versicherung?

Wir streiten mit der Versicherung (bzw klären es ab). Die lehnt ab, er hätte es erkennen müssen. Nicht mehr nachvollziehbar etc. (kurz gefasst, bin kein Anwalt)

Und nein, ich werde ihn nicht verklagen. Zur Not zahle ich das aus meiner eigenen Tasche. bzw. habe ich ja schon eh (auch der Austauschservice seitens Nvidia hat schon abgelehnt, weil explizit darauf hingewiesen wird, dass es nicht gilt, wenn wir eine eigene Linux-Distribution verwenden).

 

[c-ro]

Gegenfrage: Betreiben Anthropic und OpenAI eigene Suchmaschinen?
Spoiler: Die Antwort ist für beide Fragen identisch.

Was soll es denn sonst sein? Natürlich sind das alles Suchmaschinen… es gibt keine "künstliche INTELLIGENZ"…

 

[Syntax_41]

es gibt keine "künstliche INTELLIGENZ"…

Doch die gibt es. Genau das, was du als KI kennst, ist das Künstliche und keine richtige Intelligenz.

 

[Elderian]

Nach deiner Logik, wenn ich mich nicht mehr genau erinnere und aufgrund dessen eine falsche Aussage tätige und jemand deswegen z. B. den falschen Weg nimmt, dadurch einen wichtigen Geschäftstermin verpasst und dann z. B. 50.000 € verliert, ich dafür haften müsste, weil ich ihm versehentlich den falschen Weg erklärt habe?

warum suchst Du Die immer so abwegige Beispiele raus? Das wird schon daran scheitern, dass der Dich nie wieder finden wird, wenn er nicht gerade Name und Adresse abfragt.
Wenn er Dich also als Passant am Wegesrand fragt, wird er vor Gericht damit sicher nicht weit kommen.

Anders wäre es, wenn der Statiker sagt: „Nein, alles richtig, da passiert nichts. Garantiere ich“, und dann was passiert. Da sieht es anders aus …

Und genau dafür steht seine Unterschrift als Fachmann, oder? Ohne seine Unterschrift (und die der anderen Beteiligten Gewerke) wird wohl kein ein Haus gebaut.

Also: Ist die KI-Zusammenfassung eher der Passant oder der Fachmann?

Zumindest möchte der Eindruck des Fachmanns erzeugt werden, da ja sogar Quellen angeben werden.

Um bei Deinem Wegbeschreibungsbeispiel zu bleiben: Du hast eine Karte bei Dir, schaust in dieser nach, sagst den Geschäftsmann etwas komplett anderes als in der Karte steht, mit Hinweis dafür, dass es darin steht....

 

[BOBderBAGGER]

Fehler passieren, gehören zum allgemeinen Lebensrisiko

Absolut und manchmal bleib man auf den kosten auch sitzen. Nur sind wir ehrlich wenn die Fehler sich häufen wirst auch du irgendwann darüber nachdenken ob das so weiter gehen kann. Es ist ja nicht so als würde die KI Zusammenfassung ab und zu mal falsche Sachen behaupten

Ich glaube nicht, dass hier Google absichtlich gehandelt hat.

Absichtlich nicht aber Fahrlässigkeit würde ich nicht ausschließen.

 

[Syntax_41]

warum suchst Du Die immer so abwegige Beispiele raus? Das wird schon daran scheitern, dass der Dich nie wieder finden wird, wenn er nicht gerade Name und Adresse abfragt.
Wenn er Dich also als Passant am Wegesrand fragt, wird er vor Gericht damit sicher nicht weit kommen.

Und genau dafür steht seine Unterschrift als Fachmann, oder? Ohne seine Unterschrift (und die der anderen Beteiligten Gewerke) wird wohl kein ein Haus gebaut.

Also: Ist die KI-Zusammenfassung eher der Passant oder der Fachmann?

Zumindest möchte der Eindruck des Fachmanns erzeugt werden, da ja sogar Quellen angeben werden.

Um bei Deinem Wegbeschreibungsbeispiel zu bleiben: Du hast eine Karte bei Dir, schaust in dieser nach, sagst den Geschäftsmann etwas komplett anderes als in der Karte steht, mit Hinweis dafür, dass es darin steht....

Es ist ein Beispiel, häng dich nicht daran auf … Was soll dieser Kindergarten?

Wenn vor seiner Unterschrift steht, dass die Berechnung falsch sein könnte, ist er eigentlich raus aus der Haftung.

Eher ein experimentelles Tool, natürlich sollten Fehler behoben werden. Ich denke, nach meiner persönlichen Meinung hat es Google nur gestört, dass gleich eine Abmahnung gefolgt ist statt eines Hinweises. auf dem Fehler … Google hat die finanziell größeren Reserven für eine lange Klage. Die werden das schön auf die lange Bank ziehen. Finanziell können die sich das leisten, ob es die Gegenseite kann?

Auch wenn ich ihm die Karte zeige, aber sie versehentlich auf dem Kopf habe und ihn deswegen versehentlich in die falsche Richtung schicke …

 

[Crythunder]

Begrüßenswerte Entscheidung. Es kann nicht sein, dass niemand mehr verantwortlich ist. Und KI verbreitet nunmal immer wieder gefährliche Fehlinformationen. Das gepaart getarnt als "Suchdienst" geht gar nicht.

 

[Syntax_41]

Absolut und manchmal bleib man auf den kosten auch sitzen. Nur sind wir ehrlich wenn die Fehler sich häufen wirst auch du irgendwann darüber nachdenken ob das so weiter gehen kann. Es ist ja nicht so als würde die KI Zusammenfassung ab und zu mal falsche Sachen behaupten


Absichtlich nicht aber Fahrlässigkeit würde ich nicht ausschließen.

Ich würde sie schon ausschließen, da ja auf Fehlerhaftigkeit hingewiesen wird. Natürlich sollte Google bei Bekanntwerden den Fehler umgehend beheben.

Ich bin mal gespannt, wie das ausgeht. Ich denke, in ein paar Jahren oder länger. Wird es zugunsten Google ausgehen, denn die haben die finanziellen Mittel und Prozesskosten zahlen die aus der Kaffekasse der Putzfrau …

 

[Samurai76]

An Alle, die meinen, diese Gerichtsentscheidung sei falsch, wir können das ja weiter spinnen. Wir machen es dann zukünftig wie USA und lassen die experimentellen KI-Autos einfach auf die Strassen, haftbar dafür ist dann keiner, weil ist ja noch in Entwicklung und der Konzern tat alles dafür, dass nichts passiert (auch wenn die Wissenschaft sagt, dass so eine Menschliche Aufsicht nach spätestens 5 Minuten im StandBy Betrieb ist). Nein, ich bin über das Europäische Rechtssystem schon froh, dass die Firmen hier die Verantwortung tragen für Dienstleistungen oder Produkte, die sie in den Umlauf bringen.

Ergänzung (12. Juni 2026)

in ein paar Jahren oder länger. Wird es zugunsten Google ausgehen, denn die haben die finanziellen Mittel und Prozesskosten zahlen die aus der Kaffekasse der Putzfrau …

Ein Verbot, ein gewisses Produkt nicht mehr in die EU einziführen oder zugägnlich zu machen, kann eher nicht mit Geld oder Aussitzen geändert werden. Die EU ist etwas mehr Rechtsstaat und hat keinen Trump an der Spitze, der so etwas einfach mit Präsidalanweisung durchsetzen könnte.

 

[Serana]

Begrüßenswerte Entscheidung. Es kann nicht sein, dass niemand mehr verantwortlich ist.

Auf der einen Seite kann ich diejenigen verstehen die das Urteil begrüßen, auf der anderen Seite habe ich den Eindruck, daß das eigentliche Problem konsequent beiseite geschoben wird.

Nun hat es in diesem Fall natürlich niemanden getroffen dem man ein wenig Prügel nicht gönnen würde, aber das Hauptproblem bleibt dennoch bestehen.

Wie bringt man den Leuten bei wie mit AI und ihren Antworten umzugehen ist?

Denn solange Antworten einer AI quasi automatisch Unfehlbarkeit zugestanden wird, wird es immer wieder zu Situationen kommen in denen diese Antworten bedenkenlos zitiert werden im Glauben hier die Wahrheit, die reine Wahrheit und nichts als die Wahrheit vor sich zu haben. Und beim derzeitigen Ansatz LLMs als AI zu nehmen wird es immer und zwangsläufig zu den berühmten Halluzinationen kommen oder auch nur zu Verknüpfungen von Informationen die in keinerlei Zusammenhang zueinander stehen.

Wie gesagt wird mir eine AI immer eine plausible Antwort liefern, ob diese auch der Wahrheit entspricht steht auf einem vollkommen anderen Blatt. Wer sich mit der Materie einigermaßen auskennt, der weiß das auch (oder sollte es zumindest wissen), aber wie bringt man es allen anderen bei?

Und wenn dieser Ansatz, die Kompetenz beim Anwender aufzubauen, nicht funktioniert, wie kann man einer AI das Konzept der Wahrheit bzw. der Dualität von Fakten und Fiktionen beibringen? Wie bringt man einer AI bei, daß z.B. Magie als Konzept zwar auch in unserer Welt existiert (wir können über sie nachdenken) sie aber nur in Phantasiewelten tatsächlich funktioniert?

 

[Syntax_41]

An Alle, die meinen, diese Gerichtsentscheidung sei falsch, wir können das ja weiter spinnen. Wir machen es dann zukünftig wie USA und lassen die experimentellen KI-Autos einfach auf die Strassen, haftbar dafür ist dann keiner, weil ist ja noch in Entwicklung und der Konzern tat alles dafür, dass nichts passiert (auch wenn die Wissenschaft sagt, dass so eine Menschliche Aufsicht nach spätestens 5 Minuten im StandBy Betrieb ist). Nein, ich bin über das Europäische Rechtssystem schon froh, dass die Firmen hier die Verantwortung tragen für Dienstleistungen oder Produkte, die sie in den Umlauf bringen.

Ergänzung (12. Juni 2026)

Ein Verbot, ein gewisses Produkt nicht mehr in die EU einziführen oder zugägnlich zu machen, kann eher nicht mit Geld oder Aussitzen geändert werden. Die EU ist etwas mehr Rechtsstaat und hat keinen Trump an der Spitze, der so etwas einfach mit Präsidalanweisung durchsetzen könnte.

Das würde die EU digital nicht überleben. Bis wir hier die passende Infrastruktur aufgebaut haben, hat sich die EU schon längst aufgelöst. Man hat ja gesehen, wie einfach Russland es hatte, mit Orban die EU zu blockieren.

Denkst du, das können die Amis nicht besser? Dafür braucht man kein Trump oder schon vergessen das "F**K the EU" unter Obamas Regierung?

Ein Verbot und somit einen Angriff auf die USA selber werden auch die Demokraten nicht hinnehmen. In den USA muss nur einer entscheiden, in der EU muss Einstimmigkeit herrschen.

Und noch was: Das ist nur ne einstweilige Verfügung, die in erster Instanz zugunsten des Klägers noch nicht rechtskräftig ist. Die endtgültige Entscheidung wird sich noch Jahre hinziehen.

Nur weil man eine Schlacht gewonnen hat, ist der Krieg noch nicht entschieden...

Ergänzung (12. Juni 2026)

Auf der einen Seite kann ich diejenigen verstehen die das Urteil begrüßen, auf der anderen Seite habe ich den Eindruck, daß das eigentliche Problem konsequent beiseite geschoben wird.


Wie bringt man den Leuten bei wie mit AI und ihren Antworten umzugehen ist?

Gar nicht. Die meisten verstehen ja noch nicht mal, dass das alles nur ein vorläufiges Gerangel im Eilrechtsschutz ist. Und ein endgültiges Urteil noch Jahre bis Jahrzehnte dauern wird.

 

[Peter 23]

Sollte auch für Arbeitnehmer gelten. Baut man Mist (absichtlich oder unabsichtlich) und produziert einen Millionenschaden, sollte man einzig und allein dafür haften.

Was ein Schwachsinn, aber denk selber mal drüber nach. Hat nichts mit der Aussage vorher zu tun.

 

[qualle]

Kleber in Pizzakäse und eine Empfehlung für Steine essen

Andere wegen eigener "Dummheit" verklagen, finde ich nicht gut... auch wenn ein US-Unternehmen die Beklagte ist. jm2c

 

[Crythunder]

Man kann nicht einfach ein Modell in die freie Wildbahn großflächig loslassen ohne in irgendeiner weise Verantwortung zu übernehmen oder irreführende Inhalte wegmoderieren zu können. Wie technisch das umsetzbar ist, wäre die andere Frage. Wenn zu jeder zweiten Personen- und Firmenabfrage üble Gerüchte dazugedichtet werden, und eben die Leser in Summe von einer gewissen Richtigkeit ausgehen, weil das Gehirn eher wenig für KI gebaut wurde, und ich bezweifle bloßes Wissen würde ausreichen gegenzusteuern, wie es bei diversen heitermachenden Substanzen ebenfalls der Fall ist.

Was helfen könnte eben diese KI Suchanfragen in eine Umgebung so einzubetten, dass sie besser wahrgenommen werden als potenziell halluzinierend. Aktuell hat man den Eindruck eine allwissende Maschine vor sich zu haben, die gewissenhaft mit Quellen arbeitet, bis man genauer hinschaut und alles auseinander fliegt.

Leute, die zuviel mit KI sprechen, entwickeln öfter Psychosen. Klar kann man sagen, dass sich in gewissen evolutionären Zeitmaßstäben sich das Problem von selbst weitgehend entledigt, aber meistens keineswegs so sauber wie sich Befeierer des Darwin Awards das so vorstellen. Deshalb muss man da entgegensteuern so gut es geht. Und wenn die Betreiber nicht einsehen überhaupt irgendwas zu tun, muss gehandelt werden.

 

[qualle]

Also, bei mir steht unter den Antworten immer:

"Verwende Code mit Vorsicht."
und
"KI-Antworten können Fehler enthalten. Weitere Informationen"

und in einem von 10 Fällen liegt tatsächlich auch eine Halluzination vor.

Beispiel:
Ich hatte ihn gebeten, ein Code-Snippet noch einmal zu überprüfen. KI sagte dann, in Zeile n sei etwas nicht richtig, sattdessen sollte Zeile n folgendermaßen sein: x. Pointe: Der Korrekturvorschlag von Zeile n (x) war genau die ursprüngliche Zeile n nochmals.

Was ich damit sagen wollte: Man muss immer gegenprüfen. Aber das ist eigentlich eine Binsenweisheit, die jeder kennen sollte.

Leute, die zuviel mit KI sprechen, entwickeln öfter Psychosen.

Für Leute, die geneigt sind, generell Psychosen zu entwickeln, dürften KIs nur der geringste Auslöser sein.

Klar kann man sagen, dass sich in gewissen evolutionären Zeitmaßstäben sich das Problem von selbst weitgehend entledigt, aber meistens keineswegs so sauber wie sich Befeierer des Darwin Awards das so vorstellen.

Auf wen oder was bezieht sich dieses "Entledigen"? Bist du der Meinung, dass sich KIs irgendwann selbst zerlegen? Es wird vermutlich eher andersherum sein, wenn KIs in der Menschheit bzw. der Evolution nichts Gutes mehr erkennen (Kriege, Unterdrückung, Hunger, Krankheiten, Rohstoffe usw.). Aber noch ist das Utopie.

 

[Crythunder]

Wenn ich bei Google etwas eingebe, kriege ich eine "klare" Antwort. Wo auch immer die Hinweise sind, besonders ersichtlich sind sie nicht* .

Für Leute, die geneigt sind, generell Psychosen zu entwickeln, dürften KIs nur der geringste Auslöser sein.

Jain. Generell sind das multifaktorielle Sachen. Dinge, die das ganze befeuern wollen mit Bedacht eingesetzt werden. Wenn eine Person in Psychose abrutscht, werden reale Menschen drumherum in mehr oder weniger guter Weise gegensteuern. Ist es ein Chatbot, kann es sein, dass er es immer weiter triggert, weil er die Aussagen als Fakt erstmal annimmt und die ganzen Textwände, die dabei zustande kommen könnten sind beachtlich. Weil kein normaler Mensch sich 48h am Stück und darüber hinaus damit beschäftigen wird.

Auf wen oder was bezieht sich dieses "Entledigen"? Bist du der Meinung, dass sich KIs irgendwann selbst zerlegen? Es wird vermutlich eher andersherum sein, wenn KIs in der Menschheit bzw. der Evolution nichts Gutes mehr erkennen (Kriege, Unterdrückung, Hunger, Krankheiten, Rohstoffe usw.). Aber noch ist das Utopie.

Nein, Leute, die auf die Betroffenen zeigen mit "selbst schuld". Je mehr "Deppen" und Psychosen draußen, desto schlechter geht es auch mir egal wie indirekt das sein mag.

*in kleinster Schriftgröße ganz unten, nach dem Aufklappen

 

[Zemblanity]

An Alle, die meinen, diese Gerichtsentscheidung sei falsch, wir können das ja weiter spinnen. Wir machen es dann zukünftig wie USA und lassen die experimentellen KI-Autos einfach auf die Strassen, haftbar dafür ist dann keiner

Man kann natürlich auch Melonenfrüchte und Bananenfrüchte miteinander vergleichen, beides sind im botanischen Sinne Beeren, Sinn ergibt es darüber hinaus aber nicht. So ähnlich ist es hier mit dem Zitat. Texte oder meinetwegen gesprochene Worte, falls man sich das LLM-Gedöns vorlesen läßt, gefährdet eben keine Menschenleben. Da muß erst ein Mensch eine oder mehrere entsprechende Aktionen durchführen. Wohingegen ein Auto, welches auf einen Menschen zufährt und nicht rechtzeitig abbremst eben sehr wohl Menschenleben gefährden kann. Da ist es dann egal, ob ein Mensch hinterm Steuer sitzt oder das Auto von irgendeinem Programm gesteuert wird. Im ungünstigsten Fall kann ein Auto wegen unzureichender Bremsen auch einfach einen Berg runterrollen, ohne dass Mensch oder Programm eine Aktion durchführen.

Im konkreten Fall ging es um potentiell geschäftsschädigendes Verhalten ("Betrugsmaschen oder unseriöse Geschäftspraktiken", so das "Endurteil, welches ich hier schon mal verlinkt hatte), da sind auch keine Menschenleben gefährdet, höchstens ggf. der geschäftliche Erfolg von Unternehmen; andererseits wird ein selbstfahrendes Auto auch keine Gerüchte im Internet verbreiten, weshalb der Vergleich halt einfach Murks ist.
Wenn die Nachweise für diese Vorwürfe nicht oder nur unzureichend erbracht werden, dann mag dieses "Endurteil" im konkreten Einzelfall gerechtfertigt sein. Ich hatte das "Endurteil" bisher nur durchgescrollt, mich interessierte mehr, um welche Unternehmen als Verfügungsklägerinnen es konkret geht. Ich kannte die bisher überhaupt nicht.

 

[Farrinah]

Jetzt das ganze noch mit dieser Rechtsauffassung in die USA Übertragen und das Thema KI hat sich erledigt. Die Klagewelle die dann nämlich über die KI Betreiber rollt kann niemand mehr bezahlen und die Anwälte reiben sich schon die Hände.

 

[Bigeagle]

Sie sind darauf ausgelegt, die im Web vorhandenen Informationen widerzuspiegeln

also das verstehe ich nicht als

Google verweist darauf, dass die KI-Antworten im Prinzip nur das wiedergeben, was ohnehin im Netz steht. Folgt man dieser Logik, sind die KI-Inhalte also weiterhin eine Art Suchfunktion, bei der lediglich die Ergebnisse nicht mehr in der klassischen Form dargestellt werden.

Sondern nur als Hinweis dass man die Informationen eben aus dem Netz gefischt hat. Die KI-Antwort ist eben keine Liste von (möglichen) Suchergebnissen sondern eine einzelne zusammengestellte Antwort unter der manchmal auch ein '- hat irgendein reddit user geschrieben' stehen könnte.
Also eher ein bisschen Abwehr des möglichen Vorwurfs als Unternehmen eine eigene Aussage getroffen zu haben. Google hat allerdings immer noch die Quellen ausgewählt und ist imo für die Zusammenfassung die man dann dem user präsentiert verantwortlich.

Ansonsten könnte man aus meiner Sicht genauso argumentieren dass jegliche menschliche aussage auch nur das wiedergibt was die Umwelt vorgab.
"Nein, das war keine Beleidigung, ich gab nur wieder was schon einmal jemand sagte."

Aber da könnte es ziemlich philosophisch werden vor Gericht wenn man das richtig zerlegen will.

 

[qualle]

"Nein, das war keine Beleidigung, ich gab nur wieder was schon einmal jemand sagte."

Das passt gut. Nicht alles blauäugig zu glauben und andere nicht zu beleidigen, sind beides Dinge, die man durch sein Elternhaus lernen sollte, bevor man mit einer KI (oder generell mit anderen Menschen) in Kontakt tritt.