News Klage gegen OpenAI: ChatGPT Health löst lebens­be­drohliche Situation aus

Pontus schrieb:
Hier der Beweis, dass dir KI nur das erzählt was du auch hören möchtest.
In meinen Augen eher der Beweis dafür, dass eine KI gesunden Menschenverstand nicht ersetzen kann bzw. dass es solchen zu ihrer Verwendung braucht. Wenn du selbst nur Unsinn im Kopf hast, kaum geradeaus denken kannst und obendrein nicht weißt, wie ein korrekter Prompt auszusehen hat, kommt halt solcher Mist dabei raus. Frei nach dem Motto: Shit in, shit out.

Wenn ein LLM, egal welches, beispielsweise solche Ergebnisse auswirft, hat man seinen Kontext vorher mit Sicherheit mit pseudotheologischem Schwachfug vollgemüllt. Anders kann so etwas gar nicht zustande kommen.

Dafür kann die KI selbst mMn weniger etwas, am Ende ist sie ein Werkzeug und sollte als solches auch verstanden und genutzt werden. Wenn ich einen Hammer dazu nutze, mir den Finger zu zertrümmern, wird mir schließlich auch keiner Verständnis entgegenbringen und mir die Ausrede durchgehen lassen, der Hersteller müsse ja dafür haften, dass er nicht darauf hinweise, dass ich den Hammerkopf gegen Nägel anstatt gegen Gliedmaßen zu verwenden hätte.

Noch dazu sollte man ein LLM, das man zu Recherchezwecken verwendet, immer auch Quellen auswerfen lassen, so dass man im Zweifel selbst kritisch prüfen kann, was als Ergebnis geliefert wurde. Wer so weit nicht denkt, ist in m.E. selber schuld.

Combine schrieb:
Gibt dir der Messerhersteller aktiv Ratschläge wie du etwas zu schneiden hast und nicht auf andere Ratschläge hören sollst?
ChatGPT spielt sich als Arzt auf. Der Messerhersteller hält den Mund und überlässt dir die Verantwortung. Komplett andere Geschichte.
ChatGPT spielt sich nur dann als Arzt auf, wenn du es dazu aufforderst. Der Nutzer ist für solche Rollenzuweisung selbst verantwortlich.
Und dass sich der Hinweis, dass ChatGPT sich irren könne und man Aussagen zu prüfen habe, sich am Ende jedes Chats findet, ist in diesem Kontext eindeutig nicht irrelevant. Sprich von Floskeln, wenn du das willst, aber bei einem normal denkenden Menschen sollte das schon etwas anregen.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: stevefrogs, Micha-, DNS81 und 2 andere
Da bietet Openai einen Chatbot namens ChatGPT Health an und warnt gleichzeitig (gut versteckt in den AGB) davor, ihn für gesundheitliche Beratungen zu verwenden. Das ist wie bei Teslas Autopilot schlichtweg irreführende Werbung.

Gleichzeitig hat man hier eine Person, die sich lebensbedrohlicher Symptome an einen Chatbot wendet.

Unterm Strich ist dies einmal mehr ein Fall von fehlender natürlicher Intelligenz auf beiden Seiten.
 
  • Gefällt mir
Reaktionen: Kenshin_01, Alphanerd, Novafang und 6 andere
Azeron schrieb:
Also so ein bisschen Hirn sollte man den Leuten als Konzern schon zumuten.
Klar, hab ich ja auch am Anfang meines Posts selbst gesagt. Man muss aber auch die Realität der Leute betrachten, dass ein Arztbesuch in den USA schnell teuer wird, und eben nicht jeder mental auf der gleichen Höhe ist wie du und ich es (hoffentlich) sind.

Azeron schrieb:
Wobei, in den USA geht vermutlich auch das.
Cr4y schrieb:
Da winken ja immer gleich mehrere Millionen.
Die Klagen in den USA sind übrigens gar nicht so viel schlimmer als hierzulande. Lediglich die ursprünglich verlangten Strafen sind oft höher, aber was am Ende gezahlt wird meist nicht. Das ist einfach ne Eigenheit des Rechtssystems dort.

Das berühmte Beispiel der Frau, die sich im McDonalds mit Kaffee verbrüht hat, zum Beispiel lag anfangs auch bei 3 Millionen, aber wurde sehr schnell auf einen Bruchteil davon reduziert. Davon abgesehen dass der Kaffee wirklich lächerlich heiß war und die Frau sich zunächst außergerichtlich mit McDonalds einigen wollte.

icecoldkilla schrieb:
Möglicherweise unterstelle ich dem Herrn, der AI bewusst Kontext gegeben zu haben Mediziner zu verabscheuen und nicht auf Familienmitglieder zu hören um diese Klage zu starten.
Ich glaube nicht, dass er das aktiv getan hat, um klagen zu können, aber die Chance, dass ein amerikanischer Pastor von sich aus etwas... unkonventionell ist, ist sehr hoch. Das ist halt die Gefahr daran, dass er Chatbot sich im Laufe der Zeit immer mehr nach seinem Nutzer richtet. Ein "frisches" ChatGPT wird garantiert nicht auf Gott verweisen, wenn man von einer Krankheit erzählt, sondern zurecht auf einen Arzt.
 
  • Gefällt mir
Reaktionen: steff0rn und Astorek86
Warum hat man das Gefühl, dass solche außergewöhnlichen Geschichten immer aus den USA kommen?
Liegt das an gesellschaftlichen oder kulturellen Faktoren?
Einige Entwicklungen in den USA erscheinen mir ziemlich seltsam😁
 
  • Gefällt mir
Reaktionen: derohneWolftanzt
Winters hatte sich laut Klage mit gesundheitlichen Symptomen an ChatGPT gewandt

Gut, man könnte auch zu einem Arzt gehen, aber warum auch.
Für mich ist das eine neue Stufe der menschlichen/gesellschaftlichen Verblödung!
 
Simsalartist schrieb:
Das ist wie Teslas Autopilot, der kein Autopilot ist, schlichtweg irreführende Werbung.

Tesla hat das auch erst nach öffentlichem Druck ab 2024 angepasst, seit dem steht "(Supervised)" hinter dem FSD um klarzumachen dass das doch nur ein Level 2 System ist.

Simsalartist schrieb:
Unterm Strich ist dies einmal mehr ein Fall von fehlender natürlicher Intelligenz auf beiden Seiten.

Wie so oft. Woran liegts? Falsche Erwartungshaltung auf der Nutzerseite? Fahrlässigkeit auf der Anbieterseite?
 
Conqi schrieb:
Außerdem sollte jeder selbst wissen, dass ein LLM keine abschließende Instanz für komplexe Themen wie Gesundheit ist.
Also wenn du ein dahingehend spezialisiertes Produkt auf den Markt bringst, dann sollte man davon ausgehen, dass der Otto Normalverbraucher auch davon ausgeht, dass es kompetent diese Fragen beantworten kann und nicht einfach Müll für die Tonne produziert. Egal wie viele Disclaimer du in die AGBs packst.
 
  • Gefällt mir
Reaktionen: HolySkillet, CeeSA und Alphanerd
@leipziger1979 wie gesagt, bevor die Leute KI nutzten haben sie Dr. Google gefragt. Das ist prinzipiell nichts Neues. Nur dass KI sagt "passt schon, ist alles Tiptop, ich kenn mich aus" hat ne neue Qualität in diesem Bereich.
 
  • Gefällt mir
Reaktionen: HolySkillet
Conqi schrieb:
Aber hey, steht ja irgendwas in den Nutzungsbedingungen, die keiner liest.
Beim normalen ChatGPT steht die Warnung dauerhaft unter jeder Antwort. Ich denke bei Health wird das noch deutliche zu bestätigen sein.
 
  • Gefällt mir
Reaktionen: dualcore_nooby und stevefrogs
DriveByFM schrieb:
Die KI treibt die Verdummung immer nur schneller voran.
Mag sein, aber ob da jetzt ein gegoogeltes Ergebnis so viel besser gewesen wäre, wage ich zu bezweifeln
 
supertramp schrieb:
Warum hat man das Gefühl, dass solche außergewöhnlichen Geschichten immer aus den USA kommen?
Liegt das an gesellschaftlichen oder kulturellen Faktoren?
Einige Entwicklungen in den USA erscheinen mir ziemlich seltsam😁

Creeping.Death schrieb:
Weil man dort für absurde Klagen gelegentlich auch absurde Entschädigungen erhält.
Daran und das Health Care für die meisten Normalsterblichen ziemlich teuer ist.
 
  • Gefällt mir
Reaktionen: Alphanerd und derohneWolftanzt
Dachte, das die Leute nach "Dr. Google" gelernt hätten?
 
Naja, es soll auch Leute geben, die dem aktuellen Wetter der Wetter-App mehr trauen als dem Blick aus dem Fenster.
 
  • Gefällt mir
Reaktionen: Kuristina
Ich warte nur darauf, wann eine KI auf die Idee kommt, dass der Mensch weg muss
 
Combine schrieb:
Gibt dir der Messerhersteller aktiv Ratschläge wie du etwas zu schneiden hast und nicht auf andere Ratschläge hören sollst?
ChatGPT spielt sich als Arzt auf. Der Messerhersteller hält den Mund und überlässt dir die Verantwortung. Komplett andere Geschichte.
Du bist also der Meinung dass OpenAI mit ChatGPT hier ne Mitschuld trägt oder wie ist das zu verstehen?

Schöne neue Welt 🙄

Anderes Beispiel: Das Navi lässt mich in einen See fahren weil ich zu dumm bin selber nachzudenken ob das klug ist jetzt in den See zu fahren obwohl mir das Navi diese Richtung angibt. Kann man dann auch den Navihersteller verklagen? Der bzw. sein Navi hat mir immerhin gesagt ich soll da lang fahren.
 
So sehr ich diese Vollkasko-Mentalität auch für dumm halte, muss man dennoch sagen dass die KI bzw. den Hersteller der Disclaimer nicht vor Strafen schützt... Ist ähnlich wie das "für Schließfächer keine Haftung" Schild in meinem Sportstudio, das entbindet die Betreiber rechtlich trotzdem nicht.
Ergänzung ()

Pontus schrieb:
Hier der Beweis, dass dir KI nur das erzählt was du auch hören möchtest.

Deswegen mögen Manager KI auch so gerne. :D
 
  • Gefällt mir
Reaktionen: HolySkillet
Azeron schrieb:
Die US-Amerikaner sind wirklich ein sehr spezielles Volk 🤦‍♂️
Ich weiss dabei nicht ob ich es dumm nennen soll oder gespielt dämlich, um überall verantwortung abzudrücken um sich selbst bereichern zu können.

Zum Thema: Chatbots weisen an diversen Stellen darauf hin, dass ihre Aussagen fehlerhaft sein können.
Wer dies ignoriert, ist selbst schuld.
Kein Mitleid mit leuten die nur versuchen ihre eigene Dummheit anderen zum problem zu machen. Das passiert schon ohne Intention zur genüge.
Die Menschheit braucht mal wieder etwas mehr gelebten "Darwinismus".
Soll nicht heissen, recht des stärkeren. Soll heissen, lebt mit den Konsequenzen eures Handelns. Und die sollten weitestgehend ungefiltert kommen.
 
  • Gefällt mir
Reaktionen: stevefrogs
Four2Seven schrieb:
Naja, es soll auch Leute geben, die dem aktuellen Wetter der Wetter-App mehr trauen als dem Blick aus dem Fenster.

Zumindest sind die Wettervorhersagen einigermaßen zuverlässig, zumindest was das lokale Wetter angeht.
 
Zurück
Oben