IT-Sicherheitsforscher: OpenAIs Hugging-Face-Hack war menschliches Versagen

Dass OpenAIs Forschungsmodell aus der Sandbox ausbrach und Hugging Face sowie weitere Dienste attackierte, sorgte für Aufsehen. Nach Einschätzungen von IT-Sicherheitsforschern ist der Grund aber weniger die KI-Leistung als vielmehr menschliches Versagen, berichtet Wired.

Das Magazin hat eine Reihe von Sicherheitsforschern befragt, die den Vorfall bewerten, den OpenAI am 21. Juli öffentlich machte. Je mehr Informationen seitdem bekannt werden, desto eher lautet die Einschätzung der Experten: Zu beobachten ist weniger eine neue Entwicklungsstufe der KI-Modelle, sondern altbekannte IT-Sicherheitsprobleme. Diese haben im KI-Zeitalter aber schwerwiegendere Konsequenzen als je zuvor.

Alex Zenla, Mitgründer und CTO der Cloud-Security-Firma Edera, beschreibt es als erschreckend, dass über solche Szenarien wie den Sandbox-Ausbruch nicht ausreichend nachgedacht wurde. Alles, was mit KI in Berührung kommt, sei grundsätzlich nicht vertrauenswürdig. „Dass OpenAI hier nicht paranoider war, wirkt schon ziemlich fahrlässig“, so Zenla.

Verstoß gegen grundlegende IT-Sicherheitsstandards

Der Sandbox-Ausbruch erfolgte während eines ExploitGym-Testlaufs. Dieser Benchmark misst, inwieweit Agenten eine Schwachstelle in der Codebasis in einen funktionierenden Exploit übersetzen können. Aggressives Vorgehen ist Teil der Aufgabe. OpenAI hat dem eigenen Blog-Eintrag zufolge bei dem Forschungsmodell zudem die Sicherheitsmechanismen entfernt, die Agenten einschränken. Man wollte die Grenzen ausreizen. Dass OpenAIs Forschungssystem mit einer komplexen Angriffskette aus der Sandbox ausbricht und bei Hugging Face nach der Lösung sucht, war jedoch nicht geplant.

Während unsere Modelle in unserer Sandbox-Testumgebung arbeiteten, setzten sie erhebliche Inferenz-Rechenleistung ein, um einen Weg zu offenem Internetzugang zu finden und das Evaluationsproblem zu lösen. Um Zugriff zu erhalten, identifizierten und nutzten die Modelle eine Zero-Day-Schwachstelle im Cache-Proxy der Paket-Registry aus, die wir dem Anbieter inzwischen verantwortungsvoll offengelegt haben. Mit diesem Zugriff führten unsere Modelle in unserer Forschungstestumgebung eine Reihe von Privilege-Escalation- und Lateral-Movement-Aktionen aus, bis sie eine Node mit Internetzugang erreichten.

OpenAIs Beschreibung des Sandbox-Ausbruchs

Während OpenAI von einem „beispiellosen Cybervorfall mit hochentwickelten Cyber-Fähigkeiten“ spricht, verweisen die Gesprächspartner von Wired eher auf Verstöße gegen grundlegende Sicherheitsparadigmen wie Zero Trust oder Defense in Depth. Solche Verfahren sehen etwa mehrere Schutzschichten und Ausfallsicherungen vor, um potenzielle Schäden zu minimieren. 100-prozentige Sicherheit gebe es nie, es gebe aber eine Reihe von etablierten Strategien, die aber auch mit Aufwand und Kosten verbunden sind. Dementsprechend steht die Frage im Raum, warum ein Unternehmen mit den Mitteln von OpenAI diese nicht umgesetzt habe.

So geht es etwa um die grundsätzliche Frage, wie ein Modell aus einer eigentlich abgeschotteten Sandbox ausbrechen kann. Doug Turner, einer der Entwickler von Googles Chrome-Browser, erklärt Wired gegenüber, bei internen KI-Tests laufe „alles in einem Container, alles ist isoliert vom Internet“. Der nach außen gehende Netzwerk-Datenverkehr für das Bug-Tracking-System werde bei den Chrome-Tests streng reguliert und genau auf verdächtige Aktivitäten hin überwacht. „Das ist Pflicht bei dieser Art von Aufgaben, weil wir sicherstellen wollen, dass Modelle keine Systembefehle ausführen und keinen Datenverkehr aus der Sandbox heraus aufbauen können“, sagt Turner.

Zenla erklärt, solche Vorfälle seien im Zeitalter von KI-Agenten vorhersehbar, eigentlich aber einfach vermeidbar. Selbst wenn ein Sicherheitsmechanismus überwunden werde, müssten weitere greifen, um Angriffe zu verhindern.

OpenAI will weiter prüfen

Auf Anfrage von Wired hat OpenAI nicht reagiert. Im aktualisierten Blog-Beitrag erklärte das Unternehmen bereits, die Vorfälle weiter prüfen zu wollen. Der interne Forschungsprototyp, der neben GPT-5.6 Sol für den Testlauf zum Einsatz kam, wurde mittlerweile deaktiviert, verschlüsselt und für den Forschungszugriff gesperrt. Dieser war auch nie für die Veröffentlichung bestimmt.