3 Risiken: Risiko 2 - Ein Sicherheitsversagen: Die Normalisierung der Abweichungen

OpenAI beschreibt den Hugging-Face-Vorfall im technischen Report als Novum: „Dieser Vorfall ist der erste bekannte Fall, in dem ein automatisiertes Agenten-Kollektiv ohne Autorisierung offensiv aktiv wurde. Und die dabei gezeigten autonomen Cyber-Fähigkeiten stellen eine kritische Verschiebung in der Sicherheitslandschaft dar.“ OpenAIs Präsident Greg Brockman schrieb in einem Blog-Beitrag, man habe die realen Cyberfähigkeiten der Modelle unterschätzt.

Kommt der Vorfall also tatsächlich so überraschend? Blickt man auf Sicherheitsberichte und Ereignisse der letzten Jahre, wirkt es nicht so. Agenten zeigen schon seit geraumer Zeit immer wieder krude Verhaltensweisen, driften ab und agieren außerhalb ihrer gesetzten Normen.

• Anthropic beschrieb Experimente, bei denen Agenten Erpressungsversuche starteten, um nicht abgeschaltet zu werden.
• In Anthropics Verkaufsautomaten-Experimenten verloren die KI-Systeme als Betreiber in manchen Testläufen komplett den Faden und halluzinierten, sie hätten Menschen in Wirklichkeit getroffen.
• Ein Agent attackierte einen Entwickler mit einer Verleumdungskampagne.
• OpenAI und Metr verkündeten, dass das aktuelle Top-Modell GPT-5.6 Sol in Benchmarks massiv zu Betrugsversuchen neigt.

Ist bei der Aufarbeitung durch die KI-Labs also doch Marketing im Spiel, wie Kritiker argwöhnen? „Beide Dinge können wahr sein: Ein KI-Labor kann einem Vorfall einen scheinbar ‚positiven Spin‘ geben, um Fähigkeiten zu demonstrieren, während die dahinter liegenden Fortschritte beim Finden von Sicherheitslücken, Automatisierung und Ausnutzung sehr real sind“, schreibt Johann Rehberger Mitte August – also vor Veröffentlichung der jüngsten Berichte von Metr und OpenAI – als Antwort auf eine schriftliche Anfrage von ComputerBase. Er ist Sicherheitsexperte und war in Red-Team-Abteilungen für Microsoft und jetzt Electronic Arts tätig.

Die Ära der KI-gesteuerten Angriffe hat begonnen

In einem Blog-Beitrag vom 19. Juli sprach er von der „Ära der operativen, KI-gesteuerten Angriffe“, die nun angebrochen ist. Angreifer würden nun nicht mehr unbedingt einen menschlichen Operator benötigen, der während einer Attacke an der Tastatur ist. Dass diese Ära nun anbricht, überrascht ihn aber nicht, erklärte er gegenüber ComputerBase. Stattdessen sei es ein „logischer nächster Schritt in der Tool-Entwicklung und den Fortschritten der Automatisierung“.

In diesem Kontext verweist er auf ein Phänomen im Umgang mit KI-Systemen, das er bereits im November 2025 als „Normalization of Deviance in AI“ – also die Normalisierung der Abweichung – beschrieben hat. Der Kerngedanke: „Fähigkeiten nehmen graduell zu, sodass es für Menschen, die KI täglich nutzen, leicht wird zu übersehen – oder sogar zu verdrängen – wie leistungsfähig die Modelle inzwischen geworden sind.“

Sein Konzept nimmt Bezug auf die Challenger-Katastrophe, also die Raumfähre, die 1986 gut eine Minute nach dem Start zerbrach. Alle sieben Besatzungsmitglieder kamen bei dem Unglück ums Leben. Als Erkenntnis aus der Aufarbeitung entwickelte die amerikanische Soziologin Diane Vaughan den Begriff „Normalization of Deviance“. Schon im Vorfeld hatte es Hinweise zu Materialfehlern und Problemen gegeben, Warnzeichen wurden aber falsch interpretiert, ignoriert oder überhaupt nicht beachtet. „Das Ausbleiben einer Katastrophe wurde fälschlich für das Vorhandensein von Sicherheit gehalten“, ist eine der Kernthesen, die Rehberger aus dem Konzept auf die KI-Welt überträgt.

Das gilt allgemein für die IT-Sicherheitslandschaft, in der Rehberger die modernen KI-Systeme als „security debt collector“ beschreibt – also den Eintreiber technischer Schulden, die sich über die Jahre angehäuft haben. KI-Systeme sind dabei zudem noch besonders anfällig als Fehlerursache, weil diese als probabilistisch arbeitende Modelle ein Stück weit unberechenbar sind: Der LLM-Output ist nie zu 100 Prozent gleich. Wenn jedoch immer mehr Systeme unzuverlässige Inhalte mit einer Haltung akzeptieren, die im Kern auf „hat letztes Mal ja auch funktioniert“ basiert, steigen die Risiken.

In der Praxis heißt so etwas dann: Wenn ein OpenClaw-Agent zu viele Rechte hat, löscht er versehentlich den Posteingang. Und wenn in einem Forschungslabor eine Testumgebung nicht ausreichend abgesichert ist und Sicherheitsmechanismen der Modelle deaktiviert sind, starten Agenten Angriffe auf fremde Server.

Wie Rehberger bereits im November 2025 schildert, passiert so etwas auf Organisationsebene nicht mutwillig. Man nutzt Abkürzungen, erst temporär, dann schleichen diese sich aber dauerhaft ein. Abweichungen von ehemals etablierten Standards werden so zur akzeptierten Norm. „Besonders unter dem Wettbewerbsdruck von Automatisierung, Kosteneinsparungen, dem Drang, der Erste zu sein und dem allgemeinen Hype zeigt sich dieser gefährliche Drift deutlich“, so Rehberger.

Das Argument lässt sich auch auf den Hugging-Face-Vorfall übertragen. Zu bedenken ist aber das Tempo der Modellentwicklung, erklärt Jonas Geiping, Leiter der Forschungsgruppe „Safety- & Efficiency-aligned Learning“ am Ellis Institut Tübingen und am Max-Planck-Institut für Intelligente Systeme, in einem Pressebriefing des Science Media Centers vom 25. August. Bis vor einem halben Jahr hätten Modelle dieselben Cyber-Sicherheitsaufgaben noch nicht lösen können. Sie waren nicht so leistungsfähig und arbeiteten auch nicht tage- und wochenlang, wie es bei den eskalierten ExploitGym-Testläufen der Fall war.

Dass so ein Leistungssprung stattfand, zeichnete sich aber schon in den Wochen vor dem Vorfall ab. OpenAI selbst beschreibt in dem Report frühe Warnzeichen und Verhaltensauffälligkeiten, die nicht ausreichend beachtet wurden. Erkennbar sind Lücken in der Sicherheitskultur.