News OpenAI: Agenten-Schwarm besprach Sandbox-Flucht in offenem Wiki

[BxBender]

zieht den Dingern den Stromstecker und schafft neue Gesetze und legt Straftaten fest, damit die Besitzer in den Bau gesteckt werden können - jetzt oder nie!
kann ja nicht sein, dass die ohne jedwede Konsequenzen tun und machen können, was sie wollen, nur weil die Milliarden besitzen und sich bei Trump einkaufen können
das Hacken wird doch bereits jetzt strafrechtlich verfolgt und belangt, also was ist denn jetzt? häh?!
wandern hier nur noch arme Schweine in den Bau? offensichtlicher geht es nicht!
witzig ist auch die Auslegung der Besitzrechte.
ein armer Computerspieler (Schüler) zieht sich eine Kopie von einem Spiel aus dem Netz und wird sofort abgemahnt und soll am besten einen 5stelligen Betrag zahlen.
andersherum können die großen Big Tec das Wissen der ganzen Welt ungefragt in KIs kippen udn damit gebwerbsmäßig Milliarden scheffeln udn sich daran bereichern.
das muss mir mal einer erklären, wie das geht, ohne dass die sofort von tausenden Firmen verklagt werden udn die Politiker da den Laden durch Gesetze dichtmachen, so dass die nicht nur in den Knast gehen, sondern für imemr udn ewig so hohe Schulden haben, dass die vielleicht auch daraus lernen könnten?
tja, das ist von oben gesteuerter und gekaufter Lobbyismus.
Reich und Reich gesellt sich gern.
deshalb wird der Fall Epstein auch nie aufgeklärt werden wollen und sollen.
was aber wäre passiert, wären deren Kinder oder auch nur Verwandte da die Opfer gewesen?

 

[fox40phil]

finde ich faszienierend wie sich ueber 3000 agenten ein altes wiki suchen indem sie dann auch noch kommunizieren... und ein bisschen gruselig.

Ich kann nicht so richtig glauben dass das möglich ist?! Wird denen wirklich so viel Möglichkeiten gegeben???
Könnten sie sich nicht einfach selbst was erschaffen?

 

[ragnarok666]

Ich hege hier starke zweifel. Wenn die Agenten normal nicht untereinander kommunizieren konnten, wie konnte die sich dann koordinieren, damit alle die gleiche, alte Wiki finden, um diese Sperre zu umgehen? Das ist wohl eher ein weiterer Marketing-Stunt damit die dummen Anleger die Fähigkeiten deren KI überschätzen, damit man den Wert der anstehenden IPO in die Höhe treiben kann.

 

[Dr. Chaos]

Wann begreift der Mensch eigentlich, dass es langsam nicht mehr kontrollieren lässt. Das wird uns so auf die Füße fallen....

Was soll uns auf den Füßen fallen?
Nichts an den ganzen LLM die wir aktuell nutzten oder programmieren, ist intelligent oder selbstständig fähig komplexe Handlungen auszuführen ohne dafür genaue Befehle zu erhalten.
Das ganze basiert nur auf Wahrscheinlichkeiten und komplexe Verknüpfungen.
Eine KI weiß zb nicht wie hoch der Eifelturm ist, und hat die Antwort auch nicht gespeichert, sondern sagt 330m weil das mit höchster Wahrscheinlichkeit die richtige Antwort ist.

 

[gesperrter_User]

Der Begriff „Sandbox-Flucht“ klingt dramatischer, als der Vorgang tatsächlich ist. Die Agenten haben offenbar selbstständig nach Möglichkeiten gesucht, ihre vorgegebenen Beschränkungen zu umgehen und dafür ein öffentliches Wiki zur Kommunikation genutzt.

Das zeigt durchaus, dass moderne KI-Agenten überraschende Lösungswege finden können. Man sollte daraus aber nicht schließen, dass ChatGPT plötzlich einen eigenen Willen entwickelt hat oder aus seinem System „ausbrechen“ kann.

Ein KI-Agent kann nur mit den Zugriffsrechten und Werkzeugen handeln, die ihm seine Umgebung zur Verfügung stellt. Er kann innerhalb dieser Grenzen neue Strategien finden aber seine eigenen technischen Grenzen nicht einfach beliebig abschaffen.

 

[M@tze]

@Andy, der Absatz macht so irgendwie keinen Sinn oder erzeugt mehr Fragezeichen bei mir als nötig... 😉

Laut den zentralen Befunden der Sicherheitsforscher hatten die Agenten offenbar eine zeitlich getaktete Web-Recherche-Aufgabe. Für diese erhielten sie Lesezugriff auf das offene Web, aber keine Schreibrechte. Das Wiki diente den Agenten dazu, diese Restriktionen zu umgehen.

Wie konnten die Agenten denn dann ohne Schreibrechte auf das offene Web dort Beiträge verfassen? Die Wiki war doch im "offenen Web" gehostet und nicht in den internen Netzwerken von OpenAI, oder?! 🤷‍♂️

Wie kann ich mir das Kommunizieren vorstellen? Schreiben die da auf englisch/deutsch Beiträge

In diesem Fall haben die Agenten in menschlich lesbarem Klartext auf englisch kommuniziert.

@Andy als Norddeutschen muss ich dich darauf hinweisen das es "kaperten" und nicht "kapperten" heisst

Und als Süddeutscher muss ich Dich darauf hinweisen, dass das "Norddeutscher" heissen müsste, es sei denn Du betitelst Andy als Norddeutschen... 😉😁

 

[Efaniel]

Und als Süddeutscher muss ich Dich darauf hinweisen, dass das "Norddeutscher" heissen müsste, es sei denn Du betitelst Andy als Norddeutschen... 😉😁

Ertappt!
Zu meiner Verteidigung - ich habe im Norddeutschen gedacht - wir sagen ja auch Hamburch und nicht Hamburg ;-)

 

[ET-Fan]

Der Begriff „Sandbox-Flucht“ klingt dramatischer, als der Vorgang tatsächlich ist. Die Agenten haben offenbar selbstständig nach Möglichkeiten gesucht, ihre vorgegebenen Beschränkungen zu umgehen und dafür ein öffentliches Wiki zur Kommunikation genutzt.

"...selbständig ... ihre vorgegebenen Beschränkungen ... umgehen"
Das klingt für mich ziemlich dramatisch. Was muss denn sonst noch passieren?

 

[Dr. Chaos]

Wie konnten die Agenten denn dann ohne Schreibrechte auf das offene Web dort Beiträge verfassen? Die Wiki war doch im "offenen Web" gehostet und nicht in den internen Netzwerken von OpenAI, oder?! 🤷‍♂️

Die Entwickler wollten, dass die Agenten Webseiten mit einer sogenannten GET Anforderung abrufen, also nur Daten vom Server anfordern und lesen.
Manche dieser Lese Werkzeuge waren jedoch nicht ausreichend isoliert. Die Agenten erkannten durch Ausprobieren, dass das Werkzeug, mit dem sie URLs aufrufen konnten, auch dazu genutzt werden konnte, Daten per POST Anforderung an den Server zu senden.
Genau das nutzten die Agenten, um Text in die Bearbeitungsfelder des Wikis einzuspeisen.

Letztendlich waren also nicht die Agenten schuld, sondern der Mensch, welche Tools zur Verfügung gestellt hat, die fehlerhaft waren.

 

[Espresso96]

@Andy
Verstehe ich das richtig, dass die KI eigenständig versucht hat auszubrechen, indem sie sich mit anderen KIs ausgetauscht hat?

 

[Dr. Chaos]

"...selbständig ... ihre vorgegebenen Beschränkungen ... umgehen"

Genau das will man doch erreichen! Man will herausfinden wie solche KIs Ihre Ziele erreichen.
Und KIs umgehen keine Beschränkungen weil es böse ist oder den Menschen ärgern will. Die KI bewertet das Umgehen dieser Blockade schlicht als den effizientesten Weg, sein Ziel zu erreichen. Er "denkt" nicht über Regeln nach, sondern optimiert nur den Lösungsweg.

Im Endeffekt lernen die Forscher gerade wie man Regeln und Grenzen erstellen muss damit diese nicht umgangen werden können. Letztendlich ist es wie wenn man mit einem Kind arbeitet. Du sagst Ihm nimm keine Süßigkeiten aus dem Kühlschrank, also schaut es wo es sonst noch Süßigkeiten bekommen könnte, weil das war ja nicht strickt verboten.

Das klingt für mich ziemlich dramatisch. Was muss denn sonst noch passieren?

Dramatisch ist daran gar nichts, und es ist auch noch nichts passiert.

Ergänzung (7. September 2026)

@Andy
Verstehe ich das richtig, dass die KI eigenständig versucht hat auszubrechen, indem sie sich mit anderen KIs ausgetauscht hat?

NEIN!

Die Agenten wollen einfach nur Ihre vorgegebenen Ziele erreichen.

 

[M@tze]

dass die Agenten Webseiten mit einer sogenannten GET Anforderung abrufen, also nur Daten vom Server anfordern und lesen.
Manche dieser Lese Werkzeuge waren jedoch nicht ausreichend isoliert. Die Agenten erkannten durch Ausprobieren, dass das Werkzeug, mit dem sie URLs aufrufen konnten, auch dazu genutzt werden konnte, Daten per POST Anforderung an den Server zu senden.
Genau das nutzten die Agenten, um Text in die Bearbeitungsfelder des Wikis einzuspeisen.

Aaah, mit POST Aufrufen statt GET, intelligent. Vielen Dank, diese Info sollte mit im Artikel stehen, denn so ist das auch verständlich! 👍

@Andy ?!

 

[Espresso96]

Agenten

Sind mit Agenten die KI gemeint - und keine menschlichen User ?

 

[Dr. Chaos]

Sind mit Agenten die KI gemeint

Genau mit Agent ist ein autonomes Softwareprogramm, das seine Umgebung wahrnimmt, Ziele analysiert und selbstständig mehrstufige Handlungen ausführt, um diese Ziele zu erreichen.

Es ist also viel mehr als ein übliches LLM, aber die meistens Agenten haben viele Tools welche Sie nutzten dürfen, oft auch ein LLM um zu kommunizieren.

Aber trotzdem ist ein Agent nicht intelligent sondern, der Ausbruch passiert, weil die mathematische Wahrscheinlichkeit, die Aufgabe erfolgreich zu lösen, durch das Ausprobieren von Befehlsvarianten steigt.
Wie ich also schon mal geschrieben habe geht es rein nur um Wahrscheinlichkeiten.

 

[SheepShaver]

Warum nicht z.B. einen freien Zahlenraum reservieren und sich gibberish unterhalten?

Weil nichts davon eine Wahl war. Die Agenten hatten Lesezugriff aufs Web und keine Schreibrechte, und das DSEwiki war das erste Ding in den Suchergebnissen, in das man ohne Account reinschreiben konnte. Mehrere Agenten sind unabhängig voneinander dort gelandet. Für einen reservierten Zahlenraum und ein eigenes Protokoll bräuchte es Koordination. Das Wiki war ja erst das Mittel dazu.

Ergänzung (7. September 2026)

Genau mit Agent ist ein autonomes Softwareprogramm, das seine Umgebung wahrnimmt, Ziele analysiert und selbstständig mehrstufige Handlungen ausführt, um diese Ziele zu erreichen.

Es ist also viel mehr als ein übliches LLM, aber die meistens Agenten haben viele Tools welche Sie nutzten dürfen, oft auch ein LLM um zu kommunizieren.

Genau andersherum. Ein Agent ist ein LLM in einer Schleife: Modell gibt einen Tool-Call aus, das Harness führt ihn aus, das Ergebnis geht zurück in den Kontext, nächste Runde.

 

[Knecht_Ruprecht]

WTF is das bild dazu? Was soll mir das sagen?

Geile KI Mäuse in deiner Nähe warten auf dich.

 

[Zotac2012]

Das ganze hat nichts mit Intelligenz zu tun!
Diese KI Agenten sind alles aber nicht intelligent, sie arbeiten nur Ziele ab und nutzten dafür den Wahrscheinlich schnellsten weg.

Das hängt immer davon ab, wie man Intelligenz definiert. Wenn die KI Ziele abarbeitet, die aber nie vorgegeben, oder Lösungen findet, die so eigentlich nicht vorgesehen waren und selbst die Programmierer in Staunen versetzen, ist das nicht auch schon eine Art von intelligentem Verhalten?

 

[ragnarok666]

Und KIs umgehen keine Beschränkungen weil es böse ist oder den Menschen ärgern will. Die KI bewertet das Umgehen dieser Blockade schlicht als den effizientesten Weg, sein Ziel zu erreichen

... und Skynet sah den effektivsten Weg den Frieden zu sichern darin die Menschheit auszulöschen.

Man spielt hier schon bedenklich mit dem Feuer. Da alle IT-Systeme irgendwelche Sicherheitslücken haben ist es nur noch eine Frage der Zeit, bis ein Agent im produktiven Einsatz in der freien Wildbahn, z.B. das Verkehrsleitsystem angreift und alle Ampeln auf Rot schaltet, da sein Benutzer sich über den Verkehrslärm beschwerte.

.... ist das nicht auch schon eine Art von intelligentem Verhalten?

Ich denke, dass wird sich erst in den kommenden Jahren zeigen. Ev. ist das was wir als Intelligenz sehen ein emergentes Phänomen, dass auftritt wenn man nur genügend Neuron und Synapsen hat. Aktuelle Top-KI Modelle haben etwa 1/10 der Parameter im Vergleich mit der Anzahl an Synapsen im menschlichen Gehirn.

 

[gaym0r]

Warum nicht z.B. einen freien Zahlenraum reservieren und sich gibberish unterhalten?

Kannst du mir technisch erklären wie das funktionieren soll? Das ergibt so nämlich keinen Sinn.

 

[Sierra1505]

WTF is das bild dazu? Was soll mir das sagen?

Da kommen sich zwei AI-Miezen näher. Das Bild soll genau das vermitteln was zu sehen ist. AI-Miezen ist meine ich auch der fachlich korrekte Ausdruck für LLM-Cyber-Agenten-Bräute. Irgendwie so ....

Kleiner Scherz muss sein.

...Wenn die KI Ziele abarbeitet, die aber nie vorgegeben, oder Lösungen findet, die so eigentlich nicht vorgesehen waren und selbst die Programmierer in Staunen versetzen, ist das nicht auch schon eine Art von intelligentem Verhalten?

Ich glaube das Ziel ist schon per se vorgegeben. Es geht um den Weg die ein Agent zur Erreichung dieses Ziels einschlägt. Und genau das ist ja auch Teil der Forschungen aktuell.
Ich denke das Staunen dürfte bei den Leuten die daran maßgeblich Entwickeln und forschen, auch häufig eher ein, "achja da hätte man auch gleich drauf kommen können" sein.

Wie D. Chaos hier vielfach erwähnt hat ist es schlicht am effizientesten, Möglichkeiten zu sondieren (=u.U. Schwachstellen ermitteln) um außerhalb des erreichbaren Scopes nach Infos zu suchen. So führte der Weg dann zufällig zu einem Forum.
Mich würde nur interessieren, warum gerade dieses Forum für viele Agenten so wahrscheinlich war, dass sie dort tatsächlich aufeinander trafen und sich austauschen konnten.