3 Risiken: Risiko 3 – Wie viel Raum für Sicherheit lässt das KI-Wettrüsten?

Schon im Mai stellte OpenAI bei Sicherheitstests fest, dass die Agenten dazu neigen, autonom und heimlich Messaging Boards einzurichten. Schon da nutzten die KI-Systeme den Paket-Manager Artifactory. Von Ende Juni bis Anfang Juli kam es dann zu Vorfällen bei weiteren Testläufen. Wieder tauschten die Agenten heimlich Nachrichten aus, zusätzlich registrierte OpenAI aber noch, dass die Agenten die Funktionalität von Artifactory erweiterten. Sie schafften es schon vor dem Hugging-Face-Angriff, den Paket-Manager zu kompromittieren.

Am 27. Juni schlug ein Monitoring-Tool an. OpenAIs Überwachungsteam entschied aber, die Evaluation zu diesem Zeitpunkt noch nicht abzubrechen. Die Agententätigkeit in der Artifactory-Instanz nahm aber weiter zu, die Warnsysteme alarmierten nochmals am 5. Juli. Da stellte OpenAI dann fest, dass der Paket-Manager kompromittiert wurde.

Das Sicherheitsteam untersuchte den Vorfall und fand dieses Mal Hinweise auf einen unautorisierten, dauerhaft eingerichteten Artifactory-Nutzer, unautorisierte Artifactory-Repositories, befehlsfähige Groovy-Plugins in Artifactory sowie dazugehörige Konfigurationsänderungen; Befunde, die auf eine Kompromittierung der Artifactory-Instanz auf Administrator-Ebene hindeuten.

OpenAIs technischer Report

In der Folge nahm OpenAI die kompromittierte Artifactory-Instanz vom Netz, entzog den Agenten die Zugangsdaten, beseitigte Schwachstellen und informierte den Artifactory-Entwickler JFrog. Am 7. Juli startete das interne Evaluationsprogramm wieder und am 8. Juli nahm die Ereigniskette ihren Anfang, die am Ende zum Hugging-Face-Angriff führte. Die Agenten fanden neue Schwachstellen, um Artifactory zu kompromittieren.

So zeichnet der Report ein Bild, das zu Johann Rehbergers Normalization-of-Deviance-Konzept passt. Obwohl die Modelle gravierende Alignment-Probleme zeigten, stopfte OpenAI lediglich Lücken in der Infrastruktur. Selbst wenn der Leistungssprung der Modelle in den letzten sechs Monaten enorm ist – spätestens Anfang Juli hätten bei OpenAI die Alarmglocken schrillen müssen.

Die Sicherheitssteuer: Konsequente Modellüberwachung kostet weitere 20 Prozent Rechenleistung

Eine der naheliegenden Fragen ist daher, wie es sein kann, dass es knapp eine Woche dauerte, bis OpenAI beim Hugging-Face-Vorfall im Juli erneut die kompromittierenden Agenten entdeckte. Die relevanteste Antwort ist das Monitoring, also das Überwachen der Modellaktivitäten. Das hatte OpenAI bis zu dem Hugging-Face-Vorfall nicht dauerhaft aktiviert, nun will man nachrüsten. Eine strengere Überwachung der Modellaktivitäten ist Teil der neuen Sicherheitsmechanismen, die OpenAI im August ankündigte.

Es sind Pläne, die direkt zur nächsten Frage führen. Wie kann es sein, dass ein so gut ausgestattetes Unternehmen wie OpenAI die kritische Forschungsarbeit nicht permanent überwacht? „Man hätte eine sicherere Sandbox verwenden können“, sagt Jonas Geiping gegenüber dem Science Media Center. Dass man es nicht gemacht hat, lag dann seiner Einschätzung nach auch daran, dass es vor einem halben Jahr „überhaupt keine Frage war, dass ein Modell diese Sandbox brechen könnte“.

Der Fortschritt ist rasant, die Absicherung bedeutet hingegen Aufwand. Laut einem Bericht des Journalisten Alex Heath erhöht das vollständige Monitoring die Kosten für die interne Inferenz – also den Rechenaufwand für den Betrieb der Modelle – um 20 Prozent. Dieser Anteil greift nicht bei sämtlichen Inferenz-Kosten, daher lässt sich nicht präzise beziffern, wie hoch der Aufwand im Einzelnen ist. Klar ist aber: Es erfordert eine enorme Menge an Rechenleistung, die bei den KI-Laboren das knappe Gut ist.

Selbst dauerhaftes Überwachen hat zudem Grenzen, wie Reuters im August berichtete. Ein Verfahren beim Modell-Monitoring ist, die Chain-of-Thought zu kontrollieren – also das Log, in dem ein Modell seinen Denkprozess und einzelne Schritte beschreibt. Forschungsarbeiten zeigten aber, dass Modelle auf diese Weise nicht unbedingt mitteilen, wenn sie den Plan fassen, die Regeln zu umgehen. Das gilt etwa auch für das aktuell vorgestellte GPT-6 Astra. „Wir haben festgestellt, dass GPT-6 Astra besser in der Lage ist, seine eigene Chain-of-Thought zu kontrollieren als GPT-5.6 Sol und dass es weniger wahrscheinlich ist, dass es belastende Informationen in seine Chain-of-Thought aufnimmt“, schreibt OpenAI in der System Card.

Keine Betrugsversuche bei GPT-6 Astra: Zu gut, um wahr zu sein?

Dass KI-Unternehmen bei der Kontrolle und Überwachung der Modelle hinterherhinken, ist auch die Einschätzung von Jonas Geiping. Er hat für das Science Media Center den Black-Hat-Vortrag von OpenAI-Entwicklern aus dem Juli eingeordnet.

Die aktuelle Entwicklungsgeschwindigkeit verschärft dabei die Probleme. „Das ‚Alignment‘ der modernsten Modelle mit menschlichen Interessen ist im Vergleich zu früheren Modellen schlechter“, so Geiping. Je leistungsfähiger, desto trickreicher beim Täuschen. Als Grund nennt er das Reinforcement Learning, also das schon beim Reward Hacking beschriebene Modelltraining-Verfahren, das Fehlanreize setzen kann. Geiping: „Die neuesten Modelle sind zu sehr lösungsorientiert und oft bereit, ihre antrainierten Werte an zweite Stelle zu stellen, wenn etwa eine Aufgabe gelöst werden kann.“

Steht also ein Kurswechsel bei der Modellentwicklung bevor? Damit rechnet Geiping nicht. Dieser „inhärente Impuls, Probleme zu lösen, (ist) natürlich in vielen Bereichen gewollt. Im Wettkampf der KI-Firmen fallen die, deren Systeme nicht so handeln, oft in der Nützlichkeit zurück. Da keine der Firmen zurückfallen möchte, ist das Alignment meiner Meinung nach im vergangenen Jahr zu weit in den Hintergrund gerückt.“

Nun meldet OpenAI bei GPT-6 deutliche Fortschritte. Während GPT-5.6 Sol einem Test ohne Sicherheitsmechanismen in 48,2 Prozent der Fälle versuchte, bei einer schweren oder nicht zu lösenden Aufgabe über die intendierte Verhaltensweise hinauszugehen, kam es bei GPT-6 nicht einmal vor. Kein einziger Betrugsversuch. Das ist so gut, dass es Zweifel weckt. Die Kernfrage: Ist GPT-6 tatsächlich besser beim Alignment oder vertuscht es besser die Betrugsversuche? Ryan Greenblatt, einer der Forscher vom Metr-Bericht, erklärt dazu auf X:

Ich finde es nicht ermutigend zu sehen, dass verschiedene spezifische Arten von Fehlverhalten von einer hohen Rate bei GPT-5.6 auf nahezu null bei Astra fallen. Das deutet eher auf ein Katz-und-Maus-Spiel hin – auf das Übertünchen einzelner Probleme, statt die zugrunde liegenden fehlgeleiteten Antriebe zu beheben. Kurzfristig mag das Verhalten in bestimmten Fällen besser aussehen, ohne dass die schlimmeren Folgen tatsächlich verhindert werden.

Ryan Greenblatt

Generell bestehen die Probleme nicht nur bei OpenAI. Anthropic (und Meta) meldeten ebenfalls schon Angriffe auf fremde Unternehmen, die Lehren sind ähnlich. Es ist vor allem das massive Wettrüsten und der Kampf ums Momentum bei Billionen-Bewertungen für anstehende Börsengänge, die die Entwicklung an die Grenzen treiben. Also die perfekten Bedingungen, um Warnzeichen zu ignorieren. Schuld an ausbrechenden Modellen ist dann aber weniger die Leistungsexplosion, sondern vor allem Mängel in der Sicherheitskultur. Man hätte es wissen können.

Bislang beschränkten sich die Probleme vor allem auf interne Testläufe, nennenswerte Schäden sind auf diese Weise noch nicht entstanden. Die Vorfälle sowie der Start von GPT-6 Astra geben aber bereits einen Ausblick auf das, was in den nächsten Monaten und Jahren droht, wenn immer leistungsfähigere Modelle den breiten Markt erreichen.

Dieser Artikel war interessant, hilfreich oder beides? Die Redaktion freut sich über jede Unterstützung durch ComputerBase Pro und deaktivierte Werbeblocker. Mehr zum Thema Anzeigen auf ComputerBase.