News KI-Hacks: Wer trägt die Verant­wortung, wenn KI selbst­ständig an­greift?

[lynx007]

Autonome KI-Agenten von OpenAI und Anthropic haben in den vergangenen Wochen selbstständig andere Systeme angegriffen.

Falsch... wen ich nen Virus schreibe und den ins internet entlasse, dann verbreitet er sich genauso wenig "Selbständig" wie eine AI irgendwo selbständig ausbricht, die eine sammlung von Zahlen ist, der ich über Prompting Anweisung gebe, wo auszubrechen... "koste es was wolle.. "und dafür auch trainiert habe, also mit dem Zahlen ausgestattet habe, das zu tun, was es dann tut.

Es gibt zwar auch den Begriff "sich verselbständigen"... aber ehre im sinne von, man verliert die Kontrolle... das entbindet aber jemanden nciht von der Haftung...

Wen du Messer aus dem Fenster hälst, es los lässt, bist ja auch net schuldfrei wen jemand verletzt wird. Vermutlich hast du sogar zu recht ärger am hals wen es gut geht. Genauso bist du für nen Hund verantwortlich, der ein Kind anfällt... wen du ihn sogar "Scharf" gemacht hast, kommt dem sogar noch eine besondere Schuld dazu. Das ist für Clouddienstleister auch nicht anders. Und das er wo ausbricht... mehrmals einbricht... das hat er sicher nicht nur aus Wikipedia "aufgeschnapt"....

Es gilt immer das Verursacher prinzip. Wen eine AI etwas verursacht. Dann stellt sich dei Frage wer ist der Besitzer. Und dieser haftet natürlich dafür.

 

[Rulf]

das selbe problem gibt es beim autonomen fahren...da die autohersteller keine verantwortung für schäden übernehmen wollen, ist zb in de vollautonomes fahren verboten und teilautonomes(zb spurhalteassistent) nur mit der hand am lenkrad...desw müssen hersteller die sowas anbieten wollen auch techn sicherstellen, daß der fahrer auch wirklich die hand am lenkrad hat...dh teure sensorik einbauen, ohne die es dann auch keinen tüv mehr gibt...und auf kulanz vom hersteller braucht man nicht zu hoffen...
drum werden alte gebrauchte in gutem zustand auch immer beliebter/teurer...
neuwagenkäufern kann ich nur den rat geben auf solchen schnickschnack zu verzichten...
wer keine verkehrsschilder mehr erkennt, und die spur/abstand nicht mehr halten kann, sollte auch zur eigenen sicherheit lieber nicht mehr selbst fahren...

 

[Grundkurs]

Habe ich was verpasst? Es ist doch völlig klar wie die Lage ist: Wenn ich ein Programm betreibe das andere angreift hafte ich zu genau 100% für alle angerichteten Schäden. Was gibt es da noch zu diskutieren?

 

[Hornblower]

Ich bin gespannt wie Banken auf diese Entwicklung reagieren! Da stellt sich mir ernsthaft die Frage wie redundante Systeme in Zukunft aussehen müssen, denn Spiegelungen können hier ja nicht die Antwort sein, wenn Agenten sich bei dir eingenistet haben.

 

[Capet]

1. Wer ist schuld wenn jemand ein AI system aufzieht und wenn man kurz mal nicht hinguckt läuft das Ding einfach mal Amok? Muss man als Nutzer wirklich alles bedenken was die AI machen könnte also jeden Datei, Netzwerk Zugriff etc.?

Im deutschen Rechtssystem gibt es das Konzept der Gefährdungshaftung. Du haftest für etwas, weil du eine "gefährliche Sache" hast/betreibst/etc.

Aus meiner Sicht gehört der Betrieb einer KI dazu bzw. sollte ein darunter fallender Tatbestand sein.

 

[Aduasen]

Es wäre doch ein Leichtes, einen solchen Paragraphen für autonom entscheidende Software zu erstellen.

Mal wieder liegt es nur daran, dass die Politik ein Problem nicht als solches erkennt und Gegenmaßnahmen umsetzt.

Nur ist leider US-Recht in diesen Fällen sehr anders als deutsches Recht

 

[Pringel]

Primär Waffe aka Nordinstrument.

Wird imho aber auch oft im Süden benutzt

 

[Ruff_Ryders88]

Du kannst ja nicht einfach davon ausgehen, dass die KI das genauso mit bestimmten Stoppschildern interpretiert, wie du das in deinem Gehirn hast. Eine KI ist humorlos. ^^

Eine KI kennt in sehr vielen Fällen durchaus die gesetzlichen und moralischen Schranken einer Gesellschaft, da sie in den Trainingsdaten meist enthalten sind.

 

[Unnu]

Das müssten dann im Einzelfall Gerichte überprüfen, wie die Nutzungsanweisung bei jedem einzelnen dieser Modelle ausgestaltet ist und wo die Kausalitäts- und Verantwortlichkeitskette letztlich hinzeigt.

Das werden sie letztlich tun. Und diese Kette endet spätestens beim CEO, Inhaber oder „Director“ (angelsächsische Prägung).

Die haften schlussendlich. Der Weg dorthin mag über diverse juristische Scharmützel führen. Das Ende ist vorbestimmt.

 

[Ruff_Ryders88]

Und die Firma steckst du dann im Zweifel in den Knast? Mit oder ohne Inventar ?

Ich kann es dir aus Schweizer Sicht sagen: Art. 102 Abs. 1 StGB hält fest:

1 Wird in einem Unternehmen in Ausübung geschäftlicher Verrichtung im Rahmen des Unternehmenszwecks ein Verbrechen oder Vergehen begangen und kann diese Tat wegen mangelhafter Organisation des Un-ternehmens keiner bestimmten natürlichen Person zugerechnet werden, so wird das Verbrechen oder Vergehen dem Unternehmen zugerechnet. In diesem Fall wird das Unternehmen mit Busse bis zu 5 Millionen Franken bestraft.

Ich bin sicher, dass viele andere Rechtsordnungen ähnliche Strafbestimmungen des Unternehmensstrafrecht kennen.

 

[Unnu]

Eine KI kennt in sehr vielen Fällen durchaus die gesetzlichen und moralischen Schranken einer Gesellschaft, da sie in den Trainingsdaten meist enthalten sind.

Stimmt. Und „pfeift dann drauf“, weil die Direktive andere Wahrscheinlichkeiten präferiert/ höher gewichtet.
Ganz einfach.

Ergänzung (5. August 2026)

@Miuwa
Also bei meinen Eltern, als ich denen die Nummer mit den Schockanrufen erklärt habe, hat das super funktioniert. hmm...

Was genau haben deine Eltern mit einer LLM zu tun?

 

[Pringel]

@Unnu
Wirst du erst in 4 Jahren verstehen. Geduld.

 

[Unnu]

Apropos, LLMs sind deterministisch. Mit demselben Kontext, Initialen Seed und derselben prompt, wird das gleiche rauskommen.

Theoretisch ja. Praktisch nein.
Es wird statistisch betrachtet nicht passieren. Von daher sind LLM als nicht-deterministisch zu betrachten.
Und verhalten sich genauso.

Das zeigt die Realität jeden Tag auf‘s neue.

 

[Ruff_Ryders88]

Stimmt. Und „pfeift dann drauf“, weil die Direktive andere Wahrscheinlichkeiten präferiert/ höher gewichtet.
Ganz einfach.

Nein, nichts ist "ganz einfach". Dass es einfach ist, hat niemand gesagt. Die Diskussion entstand um die Frage, wer Verantwortung trägt. Ich habe mehrfach aufgezeigt, dass diese Frage im Zweifel stets zu Lasten des Herstellers zu beantworten ist. Eine KI die darauf ausgelegt ist, sich an Recht und Ordnung zu halten und es dann plötzlich out of nowhere nicht mehr tut oder wie du sagst "pfeift dann drauf" und Amok läuft, ist nicht etwas, was man ernsthaft dem Nutzer zuschreiben kann.

 

[Unnu]

Eine KI die darauf ausgelegt ist, sich an Recht und Ordnung zu halten und es dann plötzlich out of nowhere nicht mehr tut oder wie du sagst "pfeift dann drauf" und Amok läuft, ist nicht etwas, was man ernsthaft dem Nutzer zuschreiben kann.

LLM können nicht darauf ausgelegt werden sich an irgendwas zu halten.
Man kann höchstens Zeuch drum herum bauen, hoffen dass zumindest DIESE Software vernünftig engineered wurde, und dann die LLM sehr (!) engmaschig überwachen. Um rechtzeitig und bevorzugt rein Automatisch- ohne KI dazwischen - das Ding abzufangen.

Und Software schiebt seit Dekaden deren Einsatz und die Risiken auf die Nutzer.
Ob die neue Produkthaftung daran was ändert, werden wir sehen.

Bis dahin kann man derartiges sehr wohl dem Nutzer zuschreiben. Oder besser „zuschieben“.

Wenn das nicht mehr gegeben ist, dann sind LLM jetzt schon tot.

 

[Pringel]

(Erstbeliebigen Link dazu genommen)

ES WIRD NOCH BESSER
https://www.br.de/nachrichten/netzwelt/neuer-angriff-anthropic-ki-verschickte-phishing-mails,VRPerra

edit:
https://www.heise.de/news/Weitere-K...le-ein-und-manipuliert-Menschen-11399219.html

 

[Clanker]

Witzig, wie oft in solchen Zusammenhängen der Begriff "Gesunder Menschenverstand" fällt. Grad so, als ob man sich in der Geschichte schon einmal hätte darauf verlassen können. Aber jetzt, wo KI da ist, ist das auf einmal das Maß der Dinge? Ja ... klar.

Grundsätzlich kann eine KI den gesunden Menschenverstand anwenden. Da jedoch viele Menschen involviert sind, die der KI jede Logik und Vernunft austreiben und durch Ideologie, Politik und Religion ersetzen, braucht es möglichst wenige neutrale Menschen.
Also ein paar Einhörner, wie man anhand unzähliger Beispiele aus der Realität erkennen kann.

Wie bei Menschen wird insbesondere KI-Chatbots beigebracht, nicht das Richtige zu sagen, sondern das, was politisch angebracht erscheint. Selbst wenn dies der Geschichte, Logik, Biologie usw. widerspricht.


Dieses Fehlverhalten lässt sich auch auf Angriff und Verteidigung übertragen.
Welche Variable ist böse?
Wenn die böse Variable zu den Freunden gehört, dann darf das Böse nicht bekämpft werden.
Wenn die gute Variable jedoch die eigene böse Variable durch einen Angriff stärkt, muss dieser ausgeführt werden.

Es geht also nicht um richtig oder falsch. Es geht immer nur um "wir" und "die".

 

[Child]

das Richtige

Interessant. Schneidest Du doch selber kontroverse Themen an. Ist dann eben die Frage: Wer definiert "richtig" bei offenen gesellschaftlichen und politischen Fragestellungen. Innenminister Clanker?

 

[Clanker]

@Child
Damit meine ich wissenschaftliche Fakten, denn es gibt sehr viele Erkenntnisse, die nur eine richtige Antwort haben.

Dass Fakten nicht von allen Menschen akzeptiert werden, spielt dabei keine Rolle, da es immer eine Streuung hinsichtlich Intelligenz oder Bildung geben wird.
Dabei ist es ohne Belang, wie viele Menschen Fakten ignorieren. Wenn beispielsweise viele Menschen glauben, die Sonne würde sich um die Erde drehen, bleibt es trotzdem falsch.

Übrigens ist eine Definition nichts weiter als eine Einigung, und eine Einigung kann genauso falsch sein.

 

[schrotti12]

Grundsätzlich kann eine KI den gesunden Menschenverstand anwenden. Da jedoch viele Menschen involviert sind, die der KI jede Logik und Vernunft austreiben und durch Ideologie, Politik und Religion ersetzen, braucht es möglichst wenige neutrale Menschen.
Also ein paar Einhörner, wie man anhand unzähliger Beispiele aus der Realität erkennen kann.

Wie bei Menschen wird insbesondere KI-Chatbots beigebracht, nicht das Richtige zu sagen, sondern das, was politisch angebracht erscheint. Selbst wenn dies der Geschichte, Logik, Biologie usw. widerspricht.


Dieses Fehlverhalten lässt sich auch auf Angriff und Verteidigung übertragen.
Welche Variable ist böse?
Wenn die böse Variable zu den Freunden gehört, dann darf das Böse nicht bekämpft werden.
Wenn die gute Variable jedoch die eigene böse Variable durch einen Angriff stärkt, muss dieser ausgeführt werden.

Es geht also nicht um richtig oder falsch. Es geht immer nur um "wir" und "die".

Das ist sehr gut und richtig formuliert! Warum war es früher einfacher zwischen gut und böse zu unterscheiden? Weil es wenig Einflüsse gab: Die Nachrichten, die Schule, Eltern und vlt. der nahe Bekanntenkreis. Das war's. Heute haben wir Zugriff auf "Alles" und können es nicht einordnen geschweige denn verarbeiten und sollen dann entscheiden was richtig oder falsch ist. Aber auf welcher Erfahrungsbasis? Ich meine es war immer "wir" oder "die", aber früher war's halt eine Person, eine Partei oder eine Entität, die das bestimmt hat, heute sind es 1000e jede Minute.