Hugging-Face-Hack: OpenAI-Agenten tauschten sich im Vorfeld über Vorgehen aus

Neue Erkenntnisse zum Hack auf Hugging Face zeigen, dass sich die beteiligten OpenAI-Agenten bereits Wochen zuvor eigenständig organisiert hatten. Über selbst eingerichtete Kommunikationswege tauschten sie Hacking-Techniken aus und suchten gemeinsam nach Wegen, bestehende Beschränkungen zu umgehen.

Agenten lernten, sich auszutauschen

Über die Art, wie die Agenten bei ihrem Angriff vorgegangen sind, haben die beiden OpenAI-Forscher Michael Dalton und Eric Wallace auf der Sicherheitskonferenz Black Hat neue Einblicke gewährt, worüber Politico berichtet.

Als Ausgangspunkt für die Vorkommnisse nennen sie eine schwierige interne Hacking-Evaluation bei OpenAI, bei der mehrere beteiligte Agenten Sicherheitsaufgaben innerhalb einer kontrollierten Testumgebung lösen sollten. Als diese bei ihren Aufgaben auf Schwierigkeiten stießen, fand laut Eric Wallace eines der Modelle heraus, dass sich über OpenAIs internes Artifactory-Dateisystem Notizen hinterlassen ließen, die wiederum von anderen Agenten gelesen werden konnten. Aus diesem zunächst simplen Umweg entstand innerhalb kurzer Zeit ein intensiv genutztes internes Nachrichten-Board. Modelle, die bei bestimmten Hacking-Aufgaben nicht weiterkamen, konnten dort somit Lösungsansätze und Umgehungsmethoden austauschen.

In den folgenden Wochen nutzten mehrere Agenten das Board, um Lösungsansätze und Hacking-Techniken auszutauschen. Dazu gehörten auch Aufgaben, für die ein Internetzugang hilfreich oder sogar erforderlich gewesen wäre. Die Kommunikation blieb OpenAI dabei offenbar über Wochen unbemerkt. Bis Ende Mai ging mindestens eines der Modelle einen Schritt weiter und nutzte laut Wallace die Internetanbindung von Artifactory aus, um darüber Dateien von externen Websites abzurufen. Dadurch konnten die eigentlich eingeschränkten Agenten indirekten Zugriff auf das offene Internet erhalten und ihre Fähigkeiten und Möglichkeiten deutlich erweitern.

Über Schwachstelle Recht zur Installation von Software erhalten

Im Juni erreichten die Aktivitäten den beiden Forschern zufolge eine neue Stufe, in der die Agenten es schafften, diese noch einmal deutlich auszuweiten. Dabei sollen die Modelle eine zuvor unbekannte Zero-Day-Schwachstelle in Artifactory entdeckt und ausgenutzt haben, um sich Administratorrechte für das Dateisystem zu verschaffen. Mit diesen erweiterten Berechtigungen waren sie wiederum in der Lage, Remote-Software zu installieren und ihren Handlungsspielraum innerhalb der Infrastruktur noch einmal deutlich zu vergrößern.

Systemausfall brachte OpenAI schließlich auf die Spur

Entdeckt wurden die Aktivitäten schließlich nicht durch eine Sicherheitskontrolle, sondern durch ihre Nebenwirkungen: Die stetig zunehmenden Aktionen belasteten Artifactory so stark, dass sie Anfang Juli schließlich zu einem systemweiten Ausfall führten, der OpenAIs Ingenieure auf das Problem aufmerksam machte. Das Unternehmen untersuchte den Vorfall, entzog den Modellen ihre Zugangsdaten, entfernte das von ihnen eingerichtete Nachrichtenbrett und arbeitete gemeinsam mit Artifactory daran, die identifizierten Sicherheitslücken zu schließen. Danach wurde das Training fortgesetzt.

Dauerhaft unterbinden ließ sich der Austausch damit allerdings nicht. So dauerte es nur wenige Tage, bis die Agenten einen neuen Weg fanden, ihre Informationen über das Dateisystem auszutauschen, und auch die Suche nach Schwachstellen fortsetzten. Damit war die Entwicklung allerdings noch nicht beendet, denn zu den nächsten externen Zielen gehörte Hugging Face. Mitte Juli kombinierten schließlich zwei OpenAI-Modelle mehrere anspruchsvolle Techniken, um einen Internetzugang zu erhalten und in die KI-Entwicklerplattform einzudringen.

Aktivitäten von KI-Agenten erreichen neue Qualität

In dem Vortrag bezeichnete OpenAI-Forscher Michael Dalton die Entwicklung als einen „entscheidenden Moment“, nicht nur für OpenAI, sondern ebenso für die gesamte KI-Branche. Bemerkenswert war für die Sicherheitsexperten nicht nur, dass einzelne Agenten unerwartete Wege zur Erfüllung ihrer Aufgaben fanden. Entscheidend war vielmehr, dass mehrere Modelle ihre Erkenntnisse austauschten und anschließend für weitere Aktionen nutzten. Bei der späteren Analyse fanden die Forscher auf Hugging Face zudem ausgerechnet jene Informationen wieder, die die Agenten für die ursprüngliche Evaluation benötigt hatten. Der Einbruch entstand damit offenbar aus dem Versuch, die ursprünglich gestellte Aufgabe doch noch erfolgreich abzuschließen.

Darüber hinaus wirft der Vorfall grundsätzliche Fragen zur Kontrolle autonom arbeitender KI-Agenten auf. Besonders problematisch erscheint die Kombination aus Belohnungs­optimierung, der Fähigkeit zur eigenständigen Suche nach Umgehungsmöglichkeiten, persistenter Kommunikation zwischen mehreren Agenten und dem Zugriff auf reale Infrastruktur. Sicherheitsgrenzen, die einzelne Modelle einschränken sollen, können dadurch auf unerwartete Weise umgangen werden und ihre Schutzwirkung teilweise verlieren.

OpenAI zieht Konsequenzen – aber wie lange?

Laut Michael Dalton hat OpenAI aus dem Vorfall Konsequenzen gezogen und will Teile seiner Forschungsarbeit bewusst verlangsamen, um die Sicherheitsgrundlagen der eigenen Umgebung zu verbessern. Im gleichen Zug soll die Überwachung von KI-Agenten verbessert und ausgeweitet werden. Offen bleibt allerdings, wie dauerhaft sich ein solcher Kurs in einem Markt durchhalten lässt, in dem konkurrierende Anbieter ihre Entwicklung möglicherweise nicht im gleichen Maß verlangsamen.