News KI-Hacks: Wer trägt die Verant­wortung, wenn KI selbst­ständig an­greift?

[Unnu]

Ach herrjeh,
prinzipiell wäre es sehr einfach. Der/die/Das jenige welche/r ein LLM auf was auch immer loslässt, trägt die Verantwortung. Fertig.

Und dann waren da noch die Juristen.
...!

Davon abgesehen ist schon die Fragestellung falsch.
Das LLM hatte einen sehr klaren Auftrag. Die Sandbox war eher so mittelprächtig. Somit war da nix mit "hackt selbständig".

Das Ding war auf der Suche nach Lösungen, weil das weitaus einfacher ist (und in den Trainingsdaten sind ja eben genau jene Lösungsmöglichkeiten mit enthalten ... ) und hat dann eben in einer weiteren unsicheren Installation nach eben jenen gesucht.

Zuguterletzt steht da noch das Wörtchen "weitgehend".
(Das kann jedoch auch nur hier im Artikel stehen, daher keine Bewertung.)

Letztlich wird es darauf hinauslaufen, wer denn dann LETZTLICH die Verantwortung trägt.
Bei Firmen ist das einfach: Das Board, bzw. die jeweiligen Direktoren.
So ähnlich wird's laufen.
Nach Jahren diverser juristischer Scharmützel und weiteren Millionen an Anwaltskosten.

 

[Strudel9]

Na der der den prompt eingibt und "skip ask permissions" angemacht hat xD
Wenn ich bei einer Maschiene den Schalter umlege und die Maschiene verursacht Schaden hafte ich als Bediener der Maschiene doch dafür.

 

[Ruff_Ryders88]

Für dich ist offenbar auch der Motorhersteller Schuld für einen Verkehrsunfall mit überhöhter Geschwindigkeit.

Willst du das Beispiel bewusst nicht verstehen (also stellst du dich dumm) oder mangelt es dir an kognitiven Fähigkeiten? Ernst gemeinte Frage. Denn das beim von mir genannten Beispiel der Hersteller (nicht Motorenhersteller) verantwortlich ist, ist ständige Rechtsprechung:

• Der Ford Pinto (1970er Jahre): Wegen eines fehlerhaft platzierten Tanks, der bei Heckunfällen leicht aufriss und explodierte, starben Dutzende Menschen. Interne Dokumente (die sogenannte „Pinto-Memo“-Kontroverse) zeigten, dass Ford die Kosten für Nachbesserungen gegen die Entschädigungsummen für Brandopfer abgewogen hatte, was zu historischen Schadensersatzurteilen führte.
• Der Mercedes-Elchtest (1997): Die neue A-Klasse kippte bei einem schwedischen Ausweichmanöver (Elchtest) um. Mercedes stoppte den Verkauf, rüstete alle bereits ausgelieferten Fahrzeuge auf eigene Kosten mit dem elektronischen Stabilitätsprogramm (ESP) nach und machte ESP damit weltweit zum Standard in der Kompaktklasse.
• General Motors Zündschloss-Defekt (2001–2014): Ein fehlerhaftes Zündschloss konnte während der Fahrt unbeabsichtigt in die Position „Aus“ springen. Dies schaltete den Motor, die Servolenkung und vor allem die Airbags aus. Der Fehler führte zu Dutzenden Todesfällen und einer Milliardenstrafe für den US-Konzern.
• Toyota und klemmende Fußmatten (2009–2010): Verrutschende Fußmatten konnten das Gaspedal blockieren, sodass Fahrzeuge unkontrolliert beschleunigten. Toyota musste weltweit Millionen Fahrzeuge zurückrufen und zahlte in den USA hohe Vergleichssummen wegen verschleierter Sicherheitsmängel

 

[Bahkauv]

Ist halt der amerikanische Ansatz: Erstmal machen. Erleben wir hier ja auch so langsam. Ansonsten: Wer zu deppert ist seine Produkte zu regulieren, soll gefälligst die Verantwortung übernehmen. Ich verstehe nicht was es da zu überlegen gibt.

 

[Child]

... beim "Elchtest" gabs es m.W. nie einen Richterspuch. Somit ist das ein eher untaugliches Beispiel was "ständige Rechtsprechung" angeht. Wäre eher ein Beispiel für rückblickend gelungene PR

 

[Beelzebot]

Nun - zumindest kennt die Rechtsprechung in Deutschland die sog. Betriebsgefahr.

Jaja, bei objektiven Gefahrenquellen ist das auch kein Problem. Das von einem Auto in jedem Fall immer das Potential einer Gefahr ausgeht, ist unstrittig. Aber das mein Raspberry neben dem Router die halbe deutsche Wirtschaft an einem Nachmittag lahmlegen könnte ist dermaßen abstrakt, dass ich in dem Fall ein Problem mit einer verschuldensunabhängigen Haftung habe. Die Situation ist daher aktuell noch ziemlich delikat. Stand heute kann man es m.M.n. nur auf den Einzelfall runterbrechen.

Denn das beim von mir genannten Beispiel der Hersteller (nicht Motorenhersteller) verantwortlich ist, ist ständige Rechtsprechung

Das war bloß eine polemische Unterstellung
Geh doch mal konkret auf mein konstruiertes Beispiel ein und gib mir da eine eindeutige Antwort. Wer haftet? Ich, die Entwickler hinter den Agenten, die, die Modelle zur Verfügung stellen oder gar die Modellentwickler selbst?

 

[Eagle-PsyX-]

Klar, deshalb werden ja auch ständig irgendwelche Linux-Kernel-Entwickler verhaftet, wenn ein Update Bugs enthält und dadurch Ausfälle oder Schäden verursacht.

Nimm dir bitte Mal die 3 Minuten und lese den ersten Teil jeglicher GNU Lizenz.

Da steht sehr prominent am Anfang, dass die Entwickler aus jegliche Haftung rausgenommen werden. Wenn du der Lizenz nicht zustimmst, darfst du die Software nicht verwenden.

Könnten wir bei LLMs auch machen (bitte sagt nicht immer KI dazu, das Feld ist größer und älter). Dann würden es sich ein paar Betreiber und Anwender vielleicht nochmal überlegen.

Apropos, LLMs sind deterministisch. Mit demselben Kontext, Initialen Seed und derselben prompt, wird das gleiche rauskommen.

 

[Ruff_Ryders88]

Das war bloß eine polemische Unterstellung
Geh doch mal konkret auf mein konstruiertes Beispiel ein und gib mir da eine eindeutige Antwort. Wer haftet? Ich, die Entwickler hinter den Agenten, die, die Modelle zur Verfügung stellen oder gar die Modellentwickler selbst?

Wenn ich dein Beispiel richtig verstehe, macht sich der Subagent auf dem Weg in illegale Sphären, obwohl weder der CEO noch du als Nutzer diese Anweisung gegeben habt. Fraglich ist, ob du damit rechnen musstest, dass bei einem solchen Setting die KI diese Art von Tätigkeitsbewältigung trifft. Das wird regelmäßig nicht der Fall sein. Das müssten dann im Einzelfall Gerichte überprüfen, wie die Nutzungsanweisung bei jedem einzelnen dieser Modelle ausgestaltet ist und wo die Kausalitäts- und Verantwortlichkeitskette letztlich hinzeigt.

Mein Beitrag sagt nicht, dass es immer sofort bestimmbar ist. Wie in allen anderen Fällen, sei es im Bau, sei es im allgemeinen Vertrags- oder Gesellschaftsrecht, ist die Verantwortlichkeit nicht immer eindeutig sondern muss einzeln durchgeprüft werden. Das bedeutet aber nicht, dass am Ende nicht ein Urteil gefällt wird mit einem klaren Ergebnis. Und das ist der Kern meiner Aussage. Und wenn eine KI eben mir-nichts-dir-nichts fremde Firmennetzwerke angreift, dann muss der Hersteller schon sehr gute Argumente finden, warum er dafür nicht haften sollte.

 

[Kuristina]

obwohl weder der CEO noch du als Nutzer diese Anweisung gegeben habt.

Hat er aus meiner Sicht schon. Er sagt ja, die Aufgabe soll um jeden Preis erfüllt werden. Um jeden Preis. Absolute Kompromisslosigkeit. Das inkludiert natürlich auch Begleitschäden/Kollateralschäden. Nimmt man dann billigend in Kauf.

 

[Luthredon]

Hot Take: der Entwickler der Software trägt die Verantwortung für sein Produkt? Wirre These, ich weiss.

Und wer ist 'der' Entwickler der KI?

"Eltern haften für ihre Kinder"

Gutes Beispiel, weil genauso falsch .

 

[Caramon2]

So eine allgemeine Regelung existiert nicht.

ROFL

https://www.generali.de/journal/wann-haften-eltern-fuer-ihren-nachwuchs-

 

[Ruff_Ryders88]

Das inkludiert natürlich auch Begleitschäden/Kollateralschäden. Nimmt man dann billigend in Kauf.

Wenn ich meinem Mitarbeiter "um jeden Preis" sage, dann gehe ich nicht davon aus, dass er der Gegenseite ein Messer unter die Kehle hält. Man muss das schon jeweils im Kontext sehen und auslegen, was gemeint war und mit was gerechnet werden musste.

Ergänzung (4. August 2026)

Und wer ist 'der' Entwickler der KI?

Die Firma die sich mit der KI bereichert und immense Umsätze ausweist.

 

[Luthredon]

Die Firma die sich mit der KI bereichert und immense Umsätze ausweist.

Und die Firma steckst du dann im Zweifel in den Knast? Mit oder ohne Inventar ?

 

[Kuristina]

Wenn ich meinem Mitarbeiter "um jeden Preis" sage, dann gehe ich nicht davon aus, dass er der Gegenseite ein Messer unter die Kehle hält.

"Um jeden Preis" bedeutet unter allen Umständen. Mit maximalem Einsatz. Ohne Rücksicht auf Verluste oder negative Konsequenzen. Das wird die Definition sein, die eine KI findet. Wenn du das nicht meinst und willst, solltest du die Formulierung nicht verwenden. Du kannst ja nicht einfach davon ausgehen, dass die KI das genauso mit bestimmten Stoppschildern interpretiert, wie du das in deinem Gehirn hast. Eine KI ist humorlos. ^^

 

[Miuwa]

Warum sollte eine KI mehr machen als man ihr erlaubt?

Warum gibt es denn BEREITS Sicherheitsvorkehrungen im Code? Bist du irgendwie dafür sie abzuschaffen?

Warum sollte ein Roboter der es kann, nicht einen Menschen töten? Weil Asimov sich schon 1942 was dazu ausgedacht hat.

Nur weil sich ein Science Fiction Autor 1942 sich irgendwas dazu ausgedacht hat, wie KI funktioniert muss das nichts mit der Realität zu tun haben.

LLMs und moderne KIs im allgemeinen, bzw neuronalen netze auf denen die letztendlich basieren, basieren ja gerade nicht darauf, dass da irgendwo explizit im Code steht "wenn X, dann Y". Dementsprechend kannst du auch keine simple Sicherheitsvorkehrung einbauen, die "Y" 100% verhindert, weil nirgendwo im Modell explizit abgefragt werden kann, ob es gerade Y tut oder nicht (selbst wenn es überhaupt eine Trennschärfe Definition von "Y" gibt). Die safeguards sind letztendlich zu einem großen Teil Heuristiken und vermutlich meist selbst neuronale Netze, die versuchen zu erkennen, ob das LLM etwas tut, was es nicht sollte, bzw. ob der Nutzer versucht es zu etwas zu bringen, was es nicht sollte.
Aber genauso wie LLMs Fehler machen sind auch diese Safeguards nicht 100% zuverlässig. Gab doch immer wieder Beispiele, wo Nutzer verschiedenste Safeguards umgangen haben.

Du darfst ja auch nicht vergessen: Es gab auch bei den neuesten Vorfällen safeguards (in form der Sandbox). Das LLM hat sie halt nur umgangen, bzw. lücken darin ausgenutzt.

Schon etwas älter, aber gibt nen Überblick über verschiedene safeguards Mechanismen: https://www.fuzzylabs.ai/blog-post/how-safe-are-your-llm-safeguards

Hier ein "test" auf Heise vom letzten Jahr, wo sie im Prinzip psychologische tricks genutzt haben um safeguards zu umgehen:
https://www.heise.de/en/news/New-LL...-gaslighting-against-AI-filters-10333462.html

Hier ein report über einen AI-Assisted-Attack auf Mexikanische Regierungsstellen von diesem Jahr:
https://socradar.io/blog/mexican-government-breach-claude-chatgpt/

 

[Pringel]

@Miuwa
Also bei meinen Eltern, als ich denen die Nummer mit den Schockanrufen erklärt habe, hat das super funktioniert. hmm...

 

[Xpect]

Ernsthaft?
Wenn ich mit einem Makita Rasenmäher über das Gesicht meines Nachbarn fahre, ist dann Makita schuld?

Wenn Makita deinen Rasenmäher so konstruiert, dass ein übers Gesicht deines Nachbarn fahren ebenso einfach ist wie Rasen mähen, er also wissentlich auch dafür gemacht ist... So weit ich weiß schon.




Ich bin der Meinung, es haftet immer der Betreiber, der für die Eingaben verantwortlich ist und ebenso, meiner Meinung nach, die KI Firma die dahinter steckt, die wissentlich den Tools die Macht gegeben hat, so easy auszubrechen. Spätestens jetzt, wo es in deren Entwicklungsumgebungen schon vorgekommen ist, ist meiner Meinung nach Anthropic, OpenAI und so weiter für alles, wirklich alles, was die KIs falsch machen und an Kosten verursachen mit verantwortlich.

 

[Pringel]

Wenn Makita deinen Rasenmäher so konstruiert, dass ein übers Gesicht deines Nachbarn fahren ebenso einfach ist wie Rasen mähen, er also wissentlich auch dafür gemacht ist... So weit ich weiß schon.

Wie ist das mit der Glock?

 

[Schmarall]

Zwei Möglichkeiten:

1) der Hersteller
2) der den Auftrag/Aufgabe an die KI gibt

Im Idealfall beide anteilig.

 

[Xpect]

Wie ist das mit der Glock?

Primär Waffe aka Nordinstrument. Kann in Ausnahmefällen für Sport genutzt werden unter strengen Auflagen. Dort ist das Potenzial also bekannt genug, dass es Hürden gibt, da überhaupt Ran zu kommen. Beim Rasenmäher eher nicht. Oder KI.