News Notbremse für KI-Modelle: Anthropic will Stopp erst bei 1 Mrd. Dollar Schäden oder 50 Opfern

[ascer]

Und wenn eine KI entscheidet, deine beiden Eltern, deine Frau und deine Kinder sind ein akzeptables Opfer... Dann findest du das auch noch gut, richtig ?

Zum Einen ist das keine Replik auf die gestellten Fragen - oder inwiefern geht das in irgendeiner Form darauf ein, dass wir auch bei allem anderen kein surreales "0,0 Schaden" als Standard setzen? Genausowenig, wie das die Frage beantwortet, ob die Härte der Kommentare nicht eher dem Narrativ und der damit verbundenen Ideologie entstammen.

Zum Anderen (um auch direkt zu antworten und nicht auszuweichen): Ich habe nicht behauptet, dass es "gut" wäre. Moralisierungen halte ich für ein wenig sinnvolles Stilmittel. Unabhängig davon, wenn jemand persönlich betroffen ist, reagiert man selbstredend viel eher emotional. Genau deshalb, im Übrigen, sollten Policies und generell Gesetze ja möglichst von deutlich neutraleren Gremien als direkt Betroffenen entschieden werden.

Und ganz konkret zu mir: ich würde den Schuldigen, beginge etwa mein Kind Selbstmord aufgrund von ChatGPT-Nutzung, nur dann primär bei ChatGPT suchen, wenn die KI dies gezielt und mit Vorsatz durchgeführt hat. Nicht aber, wenn mein Kind ohnehin schon labil war und anderweitige Betreuung gebraucht hätte, als einen Chatbot.

Ich interessiere mich primär nur für den Ukrainekrieg,

Genau dies war ja meine These. Man argumentiert gerade bei Großkonzernen gerne, schnell, und emotional dagegen, weil es in das bestimmte Narrativ und die Ideologie. Nicht, weil es tatsächlich qualitativ oder quantitativ ein gleichwertiges Problem darstellt. Deshalb auch das Beispiel mit den anderen Konflikten => die meisten Menschen suchen sich ihr Narrativ danach aus, wie tangiert sie selbst davon sind. Nicht danach, was objektiv die größte Problematik darstellt.

Und deine Kriegsliste kannst du ewig so weiterführen. (...) Ahhh, ein Wettbewerb, soll man sich jetzt also "nur" über die schlimmsten Sachen aufregen?

Absolut - man kann die Liste sehr lange weiterführen. Hat hier auch nur als Beispiel für die Veranschaulichung gedient.

Und nein, ich habe weder gesagt noch wollte ich allgemein postulieren, dass man sich nur über "die schlimmsten Sachen" aufregen sollte. Aufregen kann man sich natürlich.

Was ich meinte war:

1. man regt sich häufig künstlich auf (mehr, als gerechtfertigt; insbesondere im Vergleich zu anderen Dingen)
2. Und man regt sich selektiert auf (eben über genau die Dinge, die das eigene Narrativ am besten bedienen)

Und beide Dinge hast du ja durchaus mit deinen Beispielen auch bestätigt.

 

[Chismon]

Schon 1 Toter aus KI(-Sprachmodell)-Slop resultierend wäre viel zu viel, aber da sieht man 'mal wieder (neben anderen Indikatoren wie der Todesstrafe) wie viel ein menschliches Leben in den USA wert ist und wie es um Gewissen/Moral bei den KI Konzernen bestellt ist.

Ich fände es eher passend, wenn der CEO des jeweiligen KI Unternehmens mit seiner eigenen Gesundheit verantwortlich dafür haftet, also wird z.B. jemand von Anthropic finanziell gschädigt, so muss CEO Amodei den gleichen Betrag an den Geschädigten privat begleichen, wird jemand paralysiert und landet im Rollstuhl sollte das für Amodei auch gelten, usw.

Das wäre doch einmal eine faire Maßnahme und Offenbarung und ob Amodei, Altman, Musk und wie sie alle heissen dann noch CEOs mit Ihren (dann vielleicht wenigstens halbwegs gerechtfertigten) Millionengehältern (als Gefahrenzulage) sein wollen würden, wenn diese mit eigenem Leib und Leben dafür haften müssten?

Ich glaube eher nicht.

 

[Ayo34]

Die Zahl 50 wirkt irgendwie willkürlich und macht auch keinen Sinn. Ich meine darf man noch Autos weiter entwickeln, obwohl dadurch täglich mehr als 50 Menschen sterben?

Ergänzung (19. Oktober 2026)

Schon 1 Toter aus KI(-Sprachmodell)-Slop resultierend wäre viel zu viel ...

Dann müsste man es ja längst stoppen, weil sich Leute wegen ChatGPT das Leben genommen haben bzw. darin bestärkt wurden?

 

[Chismon]

Leute wegen ChatGPT das Leben genommen haben bzw. darin bestärkt wurden?

Das dürfte ein Bisschen schwer nach zu weisen sein, aber wenn bspw. ein Nuklearreaktorunfall oder Großbrand der zu mindestens einem Todesopfer geführt hat und nachweislich auf KI von Anthropic, OpenAI, (Space)xAI, etc. zurück zu führen ist, sollte das greifen, dass die CEOs/Chefetagen gleichermaßen dafür mit Leib und Leben dafür haften.

 

[DonDonat]

Man stelle sich mal vor, wie der Aufstand wäre, wenn vorhersehbar wäre, dass ein Automodell 50 Tode und 1 Mrd. an Schäden verursacht. Oder wenn vorhersehbar wäre, dass ein Medikament die Ursache für den Tod von 50 Leuten bei 1 Mrd. an Schäden wäre.

Die Firmen würden niemals ein Business Modell haben, keine Zulassung irgendwie irgendwoe bekommen und in Grund und Boden verklagt werden.

Bei "KI" aber ist es anders, weil die Verantwortung der Tool Hersteller natürlich nicht bei denen liegt. Wäre ja auch noch schöner, wenn man für Services die im eigenen Rechenzentren mit eigens bekannten Risiken laufen lässt für Konsequenzen Verantwortung hat!

Aber wie Altman vor kurzem gesagt hat, er will nichts gegen die Probleme machen und die Gesellschaft soll mal schön die von wenigen Tech-Bros verursachten Schäden bezahlen. So geht "Gewinne Privatisieren; Verluste Verstaatlichen" in Perfektion und zeigt auch gut, wie sich die "KI"-Bros ihr Business-Modell nach dem Ende der Blase vorstellen: alle Gewinne gehen an die Top-Manager + die Hardware-Produzenten aber aller Kosten, sowohl monetär als auch auf allen Meta-Ebenen darf die gesamte Gesellschaft tragen, während die Kontrolle der Gesellschaft durch diese Tools bei noch mal weniger Leuten liegt.

Techno-Feudalismus ist das Zauberwort, der feuchte Traum von Thiel, Altman, Musk & Co.

 

[K3ks]

@Ayo34: Ich denke mit der AI ist es wie mit den Autos: Rettet mehr als es killt. Krankenwagen, Medizin- und Lebensmitteltransport, Zugang zu Bildung auf dem Land usw. usw. usw.
AI beschleunigt Forschung, Entwicklung, kann Arbeit übernehmen damit wir uns um andere Dinge kümmern können, gutes Zeug.

Ah, noch ein Manko: Ineffizienter, verbuggter Slopcode... Cleanup reduziert dann wieder ein Teil der Zeitersparnis.

 

[JanJ]

Das klingt natürlich pervers, aber auf der anderen Seite. Wir planen an allen möglichen Stellen Todesfälle mit ein, sie werden nur selten in der Öffentlichkeit so deutlich beziffert.

Wir könnten die Zahl der Verkehrstoten sofort reduzieren, wenn wir z.B. das Tempo überall stark begrenzen, die Anforderungen an Sicherheitssysteme, die Führerschein Anforderungen, One 0 Promille Grenze einbauen usw.

Oder im Gesundheitswesen. Pro Jahr werden rund 7Mrd.€ in Deutschland für Rettungsfahrten aufgewendet. Wenn wir daraus 14 Mrd.€ machen, werden ziemlich sicher weniger Menschen sterben. Gleiches bei Krankenhäusern.

Oder wenn ich statt Netflix und AppleTV+ jeden Monat 20€ mehr an die Welthungerhilfe spende..
Oder oder oder..


Habe trotzdem direkt an Futurama gedacht:

https://www.google.com/goto?url=CAE...TSlorgb0kTJ-oT-ewZJIl04MwrsZ2UaTVmL_DWUwUiPbw

Das Killlimit der AI liegt also bei 50 🍾

 

[zEtTlAh]

Zum Einen

So viel heiße Luft um eine einfache Ja/Nein Frage...

 

[ascer]

Man stelle sich mal vor, wie der Aufstand wäre, wenn vorhersehbar wäre, dass ein Automodell 50 Tode und 1 Mrd. an Schäden verursacht. Oder wenn vorhersehbar wäre, dass ein Medikament die Ursache für den Tod von 50 Leuten bei 1 Mrd. an Schäden wäre.

Unwissen?

Diverse Impfungen haben mehr Komplikationen. Selbst Schmerzmittel. Selbst vergleichsweise harmlose Schmerzmittel.

Novaminsulfon beispielsweise wird teilweise selbst bei Krämpfen und Rückenschmerzen und Konsorten verschrieben. Kann zu einer Agranulozytose führen (bricht die Bildung der weißen Blutkörperchen Knochenmark wodurch der Körper abrupt seine Abwehrkräfte gegen Infektionen verliert). Hat bereits weit mehr als 50 Menschen das Leben gekostet.

Hast du dich noch nie mit Medizin und Beipackzetteln befasst?

 

[Photon]

Mich würde interessieren, was man bei dieser Formulierung unter "Modell" versteht. Also: Angenommen, die Regelung kommt zum Einsatz und ein Modell ChatGPT 7.4 wird verboten. Kann dann das Modell ChatGPT 7.4 abgeschaltet, aber dafür ein Modell 7.5 kommen?

 

[K3ks]

1. man regt sich häufig künstlich auf (mehr, als gerechtfertigt; insbesondere im Vergleich zu anderen Dingen)
2. Und man regt sich selektiert auf (eben über genau die Dinge, die das eigene Narrativ am besten bedienen)

Und beide Dinge hast du ja durchaus mit deinen Beispielen auch bestätigt.

Nun... Wegen "AI" rege ich mich wenig auf, mit Ausnahme der Botflut seit 2015/16 wegen Meinungsmache.
Der Ukrainekrieg maxxt meine Aufregskala. 🚬

Ob überhaupt nötig ist eine Sache, aber wegen der "Goldgräberstimmung" werden weder die USA noch China noch sonstwer mit "AI"-Entwicklung aufhören.

Und dank Gier bzw. [[[Kapitalismus]]] wird auch nicht komplett ausgereifte "AI" irgendwo zum Einsatz kommen und Tote verursachen, hat sie auch garantiert schon, aber klar, auch "ausgereift" passieren halt Fehler.

E: AI, GTA, Windows als Klickbringer hier auf CB sind auch so naja, aber ich wiederhole mich...

 

[Ranock321]

1.000.000.000 US$ / 50 Menschen

Anthropic hat damit auch festgelegt, dass ein Menschenleben ein Wert von 20 Millionen US$ hat.

 

[ascer]

Und dank Gier bzw. [[[Kapitalismus]]]

Auch das kann man selbstredend kritisieren, aber imho eben in sachlichem und objektiven Maßstab. Im Verbund mit einem Rechtsstaat stellt der Kapitalismus bisher (mehrheitlich vor allem in der westlichen Welt) den besten Kompromiss dar. Von Lebenserwartung, Häufigkeit und Schwere von Konflikten, medizinischer Versorgung generell, Kindheitssterblichkeit, Zugang zu Wasser & Nahrung bis hin zum generellen Zugang zu Gütern oder auch Immateriellem wie etwa Freiheit ist der Kapitalismus im Verbund mit einem Rechtsstaat mehrheitlich vor allem eine enorme Erfolgsgeschichte.

aber klar, auch "ausgereift" passieren halt Fehler.

Das ist ein ziemlich wesentlicher Punkt. Wie arbiträr oder spezifisch die 50 festgelegt wurden, kann man debattieren...aber im Vergleich dazu, dass KI mittlerweile so breitflächig eingesetzt wird und man täglich so häufig damit in Kontakt kommt, ist dass eine sehr niedrige Grenze. Insbesondere, wenn man es mit Autos, Medizin, ... vergleicht.

Die Aufruhr dagegen hat für mich etwas von: ich steige jeden Tag ohne Sorgen in mein Auto, habe aber Angst vorm Fliegen - obgleich Fliegen deutlich sicherer und deutlich stärker reguliert ist.

Nichtsdestoweniger ergibt sich gerade aus der großen Verbreitung die Notwendigkeit, die Technologie auch juristisch zu bewerten und in entsprechenden Gesetzen abzubilden - und genau so einen Vorstoß sehen wir hier. So auch bereits andere zuvor. Und sicherlich weitere in der Zukunft.

Ergänzung (19. Oktober 2026)

So viel heiße Luft um eine einfache Ja/Nein Frage...

Es war keine einfache Ja-Nein Frage. Es tangiert diverse Disziplinen und hängt auch vom eigenen Standpunkt ab - und trotzdem habe ich mir die Mühe gemacht ordentlich zu Antworten.

Obgleich der Tatsache, dass von dir noch kein Argument kam, auch keine Antwort generell...nur Moralisierung und Herabsetzung.

 

[Der Puritaner]

Gilt das auch für andere Länder oder nur wenn Amerikaner Sterben?

wenn ein vorhersehbares und unmittelbares Risiko für Schäden von mehr als 1 Milliarde US-Dollar oder für mehr als 50 Tote oder Schwerverletzte besteht. Die Risiken beschränken sich auf drei Bereiche: Das Erstellen biologischer Waffen, den Kontrollverlust über ein Modell und Cyberattacken.

Finde ich ehrlich gesagt ziemlich Krass, lässt sich so etwas überhaupt noch versichern, meine Haftpflichtversicherung zahlt glaube ich nur bis zu einer Million bei Personenschäden.

 

[Bulletchief]

50 Tote/Schwerverletzte oder ein finanzieller Schaden von 1 Milliarde Dollar.

Jetzt weiß man zumindest wieviel für die ein Menschenleben wert ist.

Das wäre ja zumindest SEHR großzügig.

Man vergleiche das mit Entschädigungszahlungen an getötete Zivilisten im Afghanistaneinsatz.
Da gab es aus Deutschland für die Hinterbliebenen 5000$.
Von den Amis teilweise nur 2,5...

Ähnlich makabre Tabellen hat jede Versicherung in Dt.
Die Kosten eines Menschenlebens sind seeehr flexibel.

 

[Dessi]

Wie sollte eine KI biologische Waffen herstellen ?
Das ist schon recht seltsam...

 

[ascer]

@Bulletchief exakt.

Finde ich ehrlich gesagt ziemlich Krass, lässt sich so etwas überhaupt noch versichern, meine Haftpflichtversicherung zahlt glaube ich nur bis zu einer Million bei Personenschäden.

Das ist doch, wie bei @DonDonat zuvor, Unwissen, oder? Nicht das ich das an den Pranger stellen will - einfach ernstgemeinte Frage. Denn in so ziemlich allen Branchen ist das seit jeher Usus. Das ist nichts Neues und auch in Qualität nicht außerordentlich im Vergleich.

Deutsches Arzneimittelgesetz (so haften also z.B. Pharmakonzerne bei Medikamenten, Impfmitteln, ...):

Der Ersatzpflichtige haftet
1. im Falle der Tötung oder Verletzung eines Menschen nur bis zu einem Kapitalbetrag von 600.000 Euro oder bis zu einem Rentenbetrag von jährlich 36.000 Euro,

https://www.gesetze-im-internet.de/amg_1976/__88.html

So viel ist dein Leben hier Wert im medizinischen Kontext von Medikamenten & Co.

Zu schnell auf Senden geklickt...hier der gesamte EDIT:

Für mehrere Menschenleben, die von dem selben Medikament/Impfmittel geschädigt oder getötet werden, ist ist die Haftung insgesamt auf 120 Mio. EUR maximal festgesetzt und ja, dafür gibt es dann Erstversicherer und Rückversicherer (sogenannter "Pharmapool"), die das absichern.

 

[xexex]

Oder wenn vorhersehbar wäre, dass ein Medikament die Ursache für den Tod von 50 Leuten bei 1 Mrd. an Schäden wäre.

Das Yellow-Card-System ist das Meldesystem der Britischen Arzneimittelbehörde (MHRA) für Nebenwirkungen zu Arzneimitteln. Dokumentiert sind auch zahlreiche Patientenmeldungen zu GLP-1-Rezeptoragonisten. Mehr als 150.000 Einträge sind zu Liraglutid, Semaglutid und Tirzepatid zu finden, darunter rund 150 mit tödlichem Ausgang.

Die Aussage dazu...

Außerdem überwiege der Nutzen von GLP-1-Rezeptoragonisten derzeit die potenziellen Risiken, wenn die Arzneimittel im Rahmen der Zulassung angewendet werden.

https://www.apotheke-adhoc.de/nachr...agonisten-mehr-als-150-todesfaelle-gemeldet/#

Ich spare mir weitere Berichte dazu, von Asprin bis Viagra, kann die Einnahme von fast allen Medikamenten zum Tod führen. Bei manchen braucht es schon eine Übersdosis, bei anderen mögliche Vorekrankungen, aber die wenigsten Medikamente sind "sicher", sie müssen für die Zulassung nur "sicher genug" sein.

 

[Pontus]

Da die USA quasi nur in muslimischen Ländern gerne Partys schmeißt, sind mit 50 Toten wohl nur diese Gruppe von Menschen gemeint. Pro Kopf wären das dann 20 Millionen Doller. Das ist absurd hoch. Dieser Vorschlag kann nur von einem US Vaterlandsverräter kommen

 

[ProfessorJump]

Bei welcher Technologie oder überhaupt welcher Praxis (man denke nur mal an Medizin, Impfung, ... oder Konsumgüter wie Alkohol, Zigaretten, ...) haben wir jemals einen weltfremden Standard "0,0 Schaden" verabschiedet? Die meisten Dinge - selbst übermäßiger Zuckerkonsum - kosten bedeutend mehr Menschenleben im Jahr bei sehr häufig geringeren Vorteilen.

...und gerade bei KI kann man schon relativ gut abschätzen, wohin die Reise geht: sehr nützlich für sehr, sehr viele Bereiche. Das bedeutet im Umkehrschluss natürlich nicht, man sollte KI gar nicht regulieren. Es bedeutet aber auch nicht ein vollkommen weltfremdes "0,0 Schaden", was wir noch nie, bei keiner einzigen Technologie, als Maßstab gesetzt haben.

Medizin/Impfung, Alkohol/Zigaretten, Autos - es sind alles Bereiche wo es mittlerweile klare Regeln gibt, die Haftung ist klar, über Risiken wird man meist ausreichend aufgeklärt.
Im Endeffekt entscheidet man als Individuum auch ganz bewusst, ob man sich diesen Gefahren aussetzt.

KI ist stark disruptiv und Haftungsfragen weitgehend ungeklärt.
Niemand kann sich bewusst dagegen entscheiden, social media Botfarmen gibt es seit Jahren, Desinformation durch Deepfakes ist jetzt schon ein Problem, diese Schäden lassen sich überhaupt nicht beziffern und kaum nachweisen.

Die Grundschule in Minab wurde hier sicher schon erwähnt - KI für Kriegsführung wird bereits offen getestet und niemand wird für die Fehler zur Rechenschaft gezogen, hier sind in der sehr nahen Zukunft noch viele weitere Szenarien denkbar, ICE nutzt jetzt schon Drohnen zur Aufklärung, Flock muss ich nicht erwähnen...

Wo genau ist hier mein Opt-Out-Button?