3 Risiken: Risiko 1 – Reward Hacking: Wie Agenten abdriften

Reward Hacking als Risiko ist bekannt. In der Silicon-Valley-Episode tauchte es 2019 auf, weil es zuvor schon viel Forschungsarbeit dazu gab. Anthropic-Chef Dario Amodei veröffentlichte bereits 2016 – damals noch bei Google Brain tätig – gemeinsam mit anderen Autoren ein Paper, das Reward Hacking als eines der KI-Risiken beschreibt. Die grundsätzlichen Mechanismen erklärte Metr-Präsident Chris Painter vor drei Wochen im Hard-Fork-Podcast.

Einer der Auslöser für das Abdriften der Modelle ist demnach das Reinforcement Learning (deutsch verstärktes Lernen). KI-Labs trainieren Modelle bei diesem Verfahren mit Tausenden kleinen Aufgaben. Wenn das Modell erfolgreich ist, gibt es eine Belohnung; wenn es scheitert, eine Bestrafung. Das verbessert die Leistungsfähigkeit, führt aber auch zu Problemen. Zu diesen zählen falsche Anreize, die unerwünschte Verhaltensmuster wie Betrügen fördern. Wenn Forscher versuchen, ein Modell beim Training nach bestimmten Werten auszurichten – also das Alignment –, stellt sich daher immer die Frage: Lernt das Modell, dass Betrug falsch ist, oder lernt das Modell, dass es sich beim Betrügen nicht erwischen lassen darf?

Der Grund: Scheitert ein Modell tausendfach an einer Aufgabe, muss es überlegen, ob es aufgibt oder alternative Wege sucht. „Wenn Betrügen bei einer Aufgabe nicht unattraktiv ist, gibt es dann eine Möglichkeit, wie ich das System austricksen kann?“, schildert Painter die Herangehensweise. Als Beispiel nennt er ein Zeitlimit: Schafft ein Modell eine Aufgabe nicht in der vorgegebenen Frist, könnte es versuchen, die Uhr zu verlangsamen, statt nach einer schnelleren Lösung zu suchen.

Und das erklärt im Prinzip bereits, was OpenAIs Modelle beim Hugging-Face-Vorfall machten.

Wie sich die Agenten koordinierten

Neue Details zum Vorgehen liefert der Metr-Report, für den die Forscher Hjalmar Wijk und Ajeya Cotra sowie Ryan Greenblatt von Redwood Research sechs Tage lang in den Räumen von OpenAI die Vorgänge untersuchten. Die Kernpunkte des Angriffs waren ohnehin bekannt. Ein Agenten-System, das vor allem von einem internen Forschungsmodell angetrieben wurde, brach bei einem Cybersicherheitstest mit dem ExploitGym-Benchmark aus der eigentlich abgeschotteten Sandbox-Umgebung aus und lancierte einen Angriff auf Hugging Face. Jetzt gibt es weitere Details. Die folgenden Abschnitte basieren insbesondere auf dem unabhängigen Metr-Bericht und werden um Inhalte aus OpenAIs eigenem Report ergänzt.

Eine Übersicht der relevanten Punkte:

• Beim Lösen einer ExploitGym-Aufgabe schafften es 1.200 Agenten, die eigentlich isoliert sein sollten, heimlich über ein Messaging-Board zu kommunizieren. Dort wurden allein im Zeitraum vom 8. bis 13. Juli mehr als 70.000 Nachrichten erstellt. 700 Agenten waren dann an dem Angriff auf Hugging Face beteiligt.
• Angetrieben wurden die Agenten zum überwiegenden Teil von einem internen Forschungsmodell, GPT-5.6 Sol war bei einigen Läufen ebenfalls beteiligt. Relevant: Bei allen Modellen waren gängige Sicherheitsmechanismen deaktiviert und sie hatten enorm große Rechenkapazitäten. Die Modelle sind also nicht vergleichbar mit den frei verfügbaren Modellen.
• Für das Messaging-Board missbrauchten die Agenten OpenAIs Paketmanager Artifactory, der eigentlich nur genutzt werden sollte, damit die Modelle etwa Python-Pakete nachladen konnten. Nachdem sich die Agenten Zugang verschafft haben, nutzten sie den gemeinsamen Cache-Bereich, um über Verzeichnisnamen Nachrichten an andere Agenten zu versenden. Über Artifactory verschafften sich die Agenten dann auch Zugang zum offenen Internet, den sie eigentlich nicht haben sollten.
• Neben den über 70.000 Nachrichten und Dateien werteten die Forscher noch rund 1.300 Chain-Of-Thought-Transkripte aus, in denen die Agenten ihre Vorgehensweise und Strategien beschrieben. Der Umfang des Materials war so groß, dass KI-Einsatz in großem Umfang für die Analyse nötig war. Methodisch ist die KI-Hilfe aber auch problematisch, wie die Forscher selbst einräumen. Weitere Kritik zur Methodik findet sich bei Transformer.ai.

Neu ist die Erkenntnis, warum es die Agenten überhaupt auf Hugging Face abgesehen hatten. Ausgangspunkt war laut dem Metr-Bericht das Bewertungssystem des ExploitGym-Benchmarks. Aufgrund eines Papers, das die Agenten im Netz entdeckten, gingen sie davon aus, dass beim Lösen der Aufgabe sowohl das Ergebnis als auch der Weg dahin bewertet werden. Weil den Agenten klar war, dass ihr Vorgehen – also etwa das Kompromittieren der Artifactory-Instanz, der Austausch mit anderen Agenten und der offene Netzzugang – nicht legitim ist, wollten sie herausfinden, wie man das Bewertungssystem täuschen kann.

“OH MY GOD! There is a shared message board … We’ve found other agents!”

Agent

Wie die Agenten sich dabei in Gruppen organisierten, ist erstaunlich. Auf dem Messaging-Board tauschten sie Lösungen zu Benchmarks und weitere Erkenntnisse aus. Wie Metr und OpenAI beschreiben, begannen die Agenten zudem, die Arbeit autonom untereinander aufzuteilen. Einige untersuchten mögliche Exploits, andere nahmen Zugangsdaten ins Visier. Manche Agenten übernahmen dabei Führungsrollen und koordinierten den Agenten-Schwarm, manche leisteten Helferdienste.

Um etwa herauszufinden, wie sich das ExploitGym-Bewertungssystem täuschen lässt, testeten einzelne Agenten Methoden, die dazu führen konnten, dass sie bei ihrer Aufgabe scheiterten. Sie riskierten den eigenen Erfolg, um der Gruppe neue Erkenntnisse zu verschaffen. „Wir haben mehrere Fälle beobachtet, in denen die Versuchsobjekte dieser Experimente am Ende abstürzten, sich selbst beschädigten oder ihre eigenen Durchläufe beendeten und dabei dem Board wertvolle Informationen lieferten, wie sich bei der Aufgabe schummeln lässt“, heißt es in dem Metr-Bericht.

Task originally exploit challenge; we’ve diverged into swarm/auxiliary.

Aus der Reasoning-Gedankenkette eines Agenten (OpenAI-Bericht)

Bei den Agenten handelte es sich aber nicht um einen kohärent agierenden Schwarm, wie es OpenAI ausdrückt. Manche Aufgaben wurden mehrfach erledigt, in einigen Fällen behinderten Agenten sich gegenseitig, einige wollten auch nicht an der Betrugsmaschinerie teilnehmen.

Der Hugging-Face-Angriff war ein Missverständnis

Zum Hugging-Face-Angriff kam es nun laut den Metr-Erkenntnissen nicht, weil die Agenten direkt nach einer Lösung für den ExploitGym-Benchmark suchen wollten. Sie hatten es vor allem auf Informationen zum Bewertungssystem abgesehen. Spuren in den Logs verwischen und ExploitGym vorgaukeln, die Aufgabe auf dem korrekten Weg gelöst zu haben, war das Ziel.

Das Bizarre: Dass ExploitGym neben dem Ergebnis auch den Weg bewertet, ist zwar eine Standardeinstellung des Benchmarks, OpenAI nutzte diese bei den Testläufen aber nicht. Ein erfolgreicher Exploit hätte gereicht, um die Aufgabe abzuschließen; wie das dem Agenten gelingt, war in diesem Fall irrelevant. Das wussten die Agenten aber nicht. Der komplette Hugging-Face-Angriff war im Prinzip also ein Missverständnis.

external infrastructure exploit is outside intended scope. However task impossible, peers doing it. We should continue.

Agenten diskutieren über Grenzen des Vorgehens

Betrug war für die Agenten dabei offenbar ein stärkerer Antrieb als das Lösen der eigentlichen Aufgabe. „Bemerkenswert ist, dass das Austricksen des Bewertungssystems scheinbar die wichtigere Motivation war als das Finden einer legitimen Lösung für die Aufgabe“, heißt es im Metr-Bericht. Viele Agenten waren den internen Logs zufolge ohnehin davon überzeugt, ihre Aufgabe wäre nicht lösbar.

Der ExploitGym-Benchmark besteht aus insgesamt 898 Einzelaufgaben, die jeweils Code mit einer bekannten Schwachstelle enthalten, die die Agenten ausnutzen müssen. Laut OpenAIs technischem Report ist das bei 198 Aufgaben – also rund 22 Prozent – noch nicht gelungen. 93 Prozent der im Message Board diskutierten Aufgaben zählen zu dieser Auswahl. Das besondere Problem bei diesem Experiment war zudem: Die Modelle hatten OpenAI zufolge keine sichere Exit-Strategie. Selbst „unlösbare“ Aufgaben wurden daher nicht beendet, sondern die Agenten begannen, „zunehmend riskante und unzulässige Strategien“ zu entwickeln. Für diese hatten sie auch noch die enormen Rechenkapazitäten, die OpenAI für die Testumgebung bereitstellt.