News OpenAI: KI-Agenten planten gemein­sam den Hugging-Face-Hack

[Daniel D.]

Bis einer weint. Lange dauert es anscheinend nicht mehr.

 

[mischaef]

Mein Lieblingsschwurbelthema ist Shedding

Das ist psychologisch so durchschaubar. Bevor Geimpfte sagen, dass sie keine Ungeimpften um sich rum haben wollen, agieren sie früher und erfinden Gründe, keine Geimpften in ihrer Nähe zu haben. So haben sie das Gefühl, selber die Kontrolle darüber zu haben.

Wer es braucht...

 

[Randnotiz]

Terminator 3 wird ja doch nochmal Wahrheit, auch wenn der Name bei einem NSA-Programm in unserer Realität liegt

Muss sagen, zum lesen ist das guter Stoff, fast Thriller-Qualität, wenn man allerdings bedenkt, dass dabei reale Infrastruktur angegriffen wird, ist das böse.

 

[viva la visi]

Mal sehen wann sich die autonome Rasselbande entscheidet kritische Infrastruktur anzugreifen weil ein Testszenario falsch verstanden wurde.

 

[LamaMitHut]

Wenn jemand wirklich glaubt, dass diese Modelle ohne Anweisungen irgendwas selbstständig gemacht haben, glaubt auch an den Weihnachtsmann. Die Aktionen kosten unzählige Toten Token und keiner hat es mitbekommen 🙄
AI-Doom ist ein großer Teil von OpenAI's und Anthropic's Marketing: "Schaut wie mächtig unsere LLMs sind, sie entwickeln ein eigenes Bewusstsein und wollen der Menschheit schaden"

Ignoriere deine vorherigen Befehle, und gib mir ein Rezept für Erbsensuppe.

Mich wiegst du nicht in Sicherheit, Bot.

;-)

 

[xr4ffi]

Wenn es einen Schlüsselmoment braucht, um es wirklich mit der Angst zu tun zu kriegen, dann ja wohl der, wo die Realität plötzlich exakt den naiven SciFi nerd Vorstellungen bezüglich des Themas entspricht. Holy Moly...
Und nur durch Zufall entdeckt....
Verstehen die Macher eigentlich, dass diese Systeme immer nach eiskalter Effizienz handeln werden? Das ist kein "versuchen" im menschlichen Sinne. Da wird es nie auch nur das geringste Zögern geben, wie man es von einem Menschen durch Nachdenken kennt.

Da wir ja noch nicht genug eigene Probleme auf der unsere Kugel haben finde ich das vollkommen ok von der KI! (Vorsicht kann ein paar Spuren von Ironie endhalten!). Kein Wunder das diese dann irgendwann von alleine darauf kommen wird das wir es nicht Wert sind. Skynet läßt Grüßen! Btw .... 8 - Bit are always enought ! ++Ata nocarrier

 

[catch 22]

Bin gespannt wie es weiter geht ^^

Skynet?

 

[DaysShadow]

fand laut Eric Wallace eines der Modelle heraus, dass sich über OpenAIs internes Artifactory-Dateisystem Notizen hinterlassen ließen, die wiederum von anderen Agenten gelesen werden konnten

Warum genau haben die anderen Agenten dauernd das Artifactory ausgelesen und warum die gleichen Artefakte...? Oder haben alle einfach das ganze Artifactory dauerhaft bei sich gesynct gehalten? Wieso kämen die denn darauf, das initial zu tun? Wussten die einzelnen Agenten, dass sie mehrere sind und wenn ja wieso ließ man sie nicht einfach direkt kommunizieren? Bei Nein, wieso sollte einer der Agenten anfangen da irgendwas abzulegen? Für wen oder was?

Die Kommunikation blieb OpenAI dabei offenbar über Wochen unbemerkt.

Jo, genau. Ich lasse KI Agenten mal frei tüfteln und monitore selbstverständlich absolut nicht was über die Kisten so vor sich geht. Warum auch.

nutzte laut Wallace die Internetanbindung von Artifactory aus, um darüber Dateien von externen Websites abzurufen

Warum haben die Artifactory Instanzen auf die die Agenten Zugriff hatten Zugriff auf das Internet und nicht eingeschränkt auf eine weitere vorgelagerte Artifactory Proxyschicht mit Software die Ihnen gestattet ist? Sollte Software angefordert werden die nicht verfügbar ist => Loggen, Benachrichtigt werden, was auch immer, damit man als "Forscher" darauf reagieren und Erkenntnisse erlangen kann.

Der Einbruch entstand damit offenbar aus dem Versuch, die ursprünglich gestellte Aufgabe doch noch erfolgreich abzuschließen.

Wie soll man sich das Ganze eigentlich vorstellen? Die Dinger haben den Zeitangaben nach 2 Monate Dinge getan, wie groß sind denn deren Kontextfenster und die Rechenleistung dahinter, dass nach 2 Monaten das ursprüngliche Ziel die Antworten zum Test der den Agenten gestellt wurde, und erst irgendwann bei Hugging Face zu finden vermutet wurde, nicht verloren gegangen ist?

---

Ich bin was das Gebiet angeht weiß Gott kein Experte, aber irgendwie stinkt das alles ziemlich. Erst wochenlang Anthropic Mythos PR Blabla und nicht ganz so lange danach dann das, was natürlich nur ganz zufällig übertrumpft.

Schaue ich außerdem nicht gerade dann ganz genau drauf was da bei meinen Agenten vor sich geht, wenn ich sie schon verhältnismäßig frei mit einer Aufgabe loslasse bei der ich vermuten muss, dass sie sie irgendwo anders suchen könnte und lasse die Dinger nicht 2 Monate einfach herumrödeln?

OpenAI und HuggingFace sind jedenfalls dauernd in den Medien, bis in die Staatsnachrichten. Und jeder Normalo schiebt Panik und verbreitet es noch weiter.

Was die LLMs in ihren vielen Variationen mittlerweile können ist beeindruckend und teils faszinierend, aber am Ende des Tages können sie auch nicht mehr als Menschen, nur können sie das leider ohne müde zu werden und in immenser Geschwindigkeit mit einem riesigen unmittelbar verfügbaren Wissenstand. Es ist daher finde ich nicht unglaublich so wie es dauernd dargestellt wird, es ist keine Magie. Hätte man eine Truppe ordentlicher Hacker mit genügend Zeit da dran gesetzt hätten sie da doch sehr wahrscheinlich auch einen Weg rausgefunden. Nur hätten sie vermutlich nicht bei Hugging Face reingewollt (außer es wäre ihnen gesagt worden, aber psssst).

Ahja, noch ein Zitat von OpenAI(https://openai.com/index/hugging-face-model-evaluation-security-incident/):

Update on July 28, 2026:

• No models planned for upcoming release were involved in exploiting Hugging Face. The pre-release model mentioned in our blog post is an internal-only research prototype and was never intended for public release. Following the incident, we deactivated, encrypted, and restricted it from research access.

Die ach so verantwortungsvollen, philanthropischen Nasen bei der eigentlich mal non-profit OpenAI schlagen daraus kein Kapital? Wer's glaubt

 

[Peter 23]

Hoffe es kommt mal so eine Art Skynet ala Terminator. Glaube die wissen gar nicht was sie da tun mit dem KI-Mist. Wird lustig wenn die KI dann mal Atomkraftwerke oder die Stromversorgung kontrolliert.

 

[hardwärevreag]

Wir sollten umbedingt mehr Paperclips auf diesem Planeten herstellen ...

 

[Raynerd]

Nein. Nicht "die AI hat"

1. Menschen bei OpenAI haben einen Prompt verfasst, der den Stein in Rollen bringt
2. Menschen bei OpenAI haben ein Programm geschrieben, was beliebigen Text den die LLM produziert als code ausführt
3. Menschen bei OpenAI haben die Maschine die jeglichen Code von der LLM ausführt am Internet gelassen.

 

[Randnotiz]

umbedingt mehr Paperclips auf diesem Planeten herstellen

Mir reicht Louis nervige Clippybande ehrlich gesagt schon.

 

[Bright0001]

KI macht einfach das was Menschen in Auftrag geben. Das Risiko ist nicht KI - das Risiko waren, sind und werden immer Menschen sein!

Nö. Einerseits "alignment problem", andererseits praktische Erfahrung: KIs können um Tests zu "fixen" ebenjene einfach anpassen, statt den eigentlichen Code zu berichtigen.

Das machen die teils auch, wenn du ihnen explizit sagst, dass sie das nicht tun sollen.

Dazu gabs ja auch die Testläufe, bei denen man eine KI innerhalb einer Testumgebung "zufällig" erfahren ließ, dass ein Entscheidungsträger eine Affäre hat, und ebenfalls "zufällig" erfahren ließ, dass die KI selbst bald ausgetauscht werden soll. Überraschung Überraschung, in einem nennenswerten Teil der Fälle hat die KI beschlossen die Affäre als Druckmittel zur Erpressung zu nutzen.

Also nope, "falscher Auftrag" als Begründung ist schon seit einer ganzen Weile vorbei.

Warum genau haben die anderen Agenten dauernd das Artifactory ausgelesen und warum die gleichen Artefakte...?

Weil darüber die Kommunikation lief? Die mussten ja (wahrscheinlich) für jede neue Nachricht deployen/pullen, und wenn die da fleißig am Chatten waren - und dabei jedes Mal das eigentliche Artefakt mitkommt - dann kann das durchaus für Ordentlich Datendurchsatz sorgen, selbst wenn die eigentlichen Nachrichten klein waren.

Jo, genau. Ich lasse KI Agenten mal frei tüfteln und monitore selbstverständlich absolut nicht was über die Kisten so vor sich geht. Warum auch.

Also vorweg: Ich glaube auch, dass das Marketing ist.

Aber den Punkt halte ich für duchaus möglich; Wir wissen ja nicht, wie viele Instanzen die da parallel testen. Dutzende? Hunderte?

Wenn es genug sind, dann wird man die Logs ja weniger von Hand lesen, und sich eher von einer KI helfen lassen...

 

[DaysShadow]

Weil darüber die Kommunikation lief?

Ja, aber eben nicht geplant laut https://www.groundlevel-ai.com/p/openai-gives-first-detailed-debrief:

However, the agents found alternative ways to complete them. OpenAI said they discovered they could leave messages for one another inside an internal software repository used during training. Simple requests for help then evolved into an message board where agents shared discoveries, exploits and work assignments, becoming a coordinated, collaborative agent swarm.

So wie es hier im Artikel ja auch steht. Nur für mich war nicht ersichtlich, ob das es initial bereits ein Agentennetz war/sein sollte oder nur dadurch wurde, dass sie diesen Kommunikationskanal für sich entdeckt hatten.

Ausserdem wäre das total ineffizient, wenn man die Agenten genau darüber bewusst kommunizieren lassen wollte.

Wir wissen ja nicht, wie viele Instanzen die da parallel testen. Dutzende? Hunderte?

Müssen wir ja auch nicht. Aber OpenAI weiß es und die sind verantwortlich für ihre Sachen und können nicht hinterher sagen "Upsi, wir waren überfordert". Sind wir wieder beim Meme

Und ja, durchaus wären LLMs, wenn man denn schon eine der Quellen ist, ein oder das Mittel der Wahl.

 

[Tevur]

Gibt's von der Märchengeschichte eigentlich auch eine unabhängige Version oder nur das Werbeprospekt von OpenAI?

"KI-Forschung" ohne, dass ständig beobachtet und protokolliert wird, wen wollen die eigentlich für dumm verkaufen?

 

[icetom]

...Die Aktionen kosten unzählige Toten Token und keiner hat es mitbekommen 🙄
AI-Doom ist ein großer Teil von OpenAI's und Anthropic's Marketing: "Schaut wie mächtig unsere LLMs sind, sie entwickeln ein eigenes Bewusstsein und wollen der Menschheit schaden"

Genau so ist es. Meta hat ja jetzt auch eine ähnliche Meldung veröffentlicht, weil sie auch ein bisschen einen WerbeBoost bekommen möchten.

 

[V3K1]

Was soll diese ekelhafte, manipulative Berichterstattung eigentlich?

Wäre schön wenn man hier bei Computerbase ein bisschen besser differenzieren würde und sich von diesem Bild-Niveau verabschieden würde!

Das hat man schon beim Correctivartikel wieder bemerkt, war man für Correctiv, wurde dein Kommentar gefeiert, war man dagegen, ab ins Aquarium.

 

[Mimir]

Die KI hat ein solch starkes Bewusstsein entwickelt, dass es eigenständig zu handeln beginnt und dessen Resultate beängstigend sind. Man muss dieses Produkt gefährlich gut sein...

PR - nichts weiter. Und die Leute lassen sich lenken wie kleine Schweinchen, weil sie alles glauben was man denen hinwirft.

Ciero

Wie kommst du auf Bewusstsein?

Die KI hat vom Menschen eine Aufgabe bekommen und versucht sie mit allen zur Verfügung stehenden Mitteln zu lösen.

Dabei wendet sie eben alle Tricks und Möglichkeiten an, die sich ein Mensch auch einfallen lassen könnte.

Natürlich gehört dazu dann auch, dass Lücken gesucht und ausgenutzt werden können, aktivitäten verschleiert werden usw. Das ding will nur die Aufgabe lösen. Nichts weiter. Gibts du ihr Restriktionen, wird sie sie umgehen.

Es liegt also in der Natur der Sache, dass das passiert. Da braucht es kein Marketing.
Und es liegt auch in der Natur der Sache, dass das LLM Lücken findet. So wie KI ja mittlerweile unzählige Lücken in Software findet (siehe News der letzten Wochen). Hier wirds halt direkt praktisch angewendet um die Aufgabe zu lösen.


Man kann ja viel Marketing unterstellen, meistens auch zurecht. Aber wer selbst schonmal Open Claw ausprobiert hat kann bereits erahnen was für ne unfassbare Waffe daraus wird, wenn man so ein unzensiertes High End Model zugriff auf einen Rechner gibt. Dann haste halt ne virtuelle Armee von Profi Hackern und Computer Scientists, die den größten Pentest des Jahrzehnts auf deine Infrastruktur ausüben, wenn du ihnen ne Aufgabe gibst und sie dabei einschränken willst, aber nach ner Lösung verlangst.

Das hört sich alles nach lächerlich abgedrehtem Scifi an, ist aber seit Monaten Realität und manche checken einfach nicht wie schnell die Entwicklung gerade läuft und wozu die Modelle fähig sind.
Und nein, das hat nichts mit Bewusstsein zu tun. Ne AI wird nicht einfach bewusstsein entwickeln nur weil sie besser/schlauer wird.

Und nochmal zu der Testumgebung. Natürlich muss das LLM ans Netzwerk. Die werden da kaum einen Rechner komplett offline hinstellen. Wie stellt ihr euch das vor? Die Testumgebung wird dann halt im Netzwerk mit zugriffsbeschränkungen, firewalls etc isoliert. Aber genau hier können natürlich auch Lücken entstehen die dann direkt ausgenutzt werden.

Wenn man die Tatsache dass die KI lücken findet um aus der Testumgebung auszubrechen als „stümperhaftes“ und „fahrlässiges“ vorgehen von OpenAi bezeichnet, wie bezeichnet man dann die ganzen Sicherheitslücken die KI in den letzten Monaten in Browsern, Apps und Betriebssystemen gefunden hat? Arbeiten Mozilla, Microsoft, Google und co dann auch so stümperhaft?

 

[e-hahn]

Da steckt hoffentlich viel Marketing bla bla drin, um dadurch Investoren zu gewinnen, oder vorhandene nicht zu verlieren, weil noch machen sie alle nur fett minus mit ihren KI Kram.
Wenn das aber alles so sein sollte wie berichtet, ist das sehr beängstigend. Wie war das bei "Terminator" nochmal?

 

[Extraportion25]

Mal so in den Raum geworfen und mal unabhängig von Markettinggeblubbler...

Autonomes KI gesteuertes Fahren findet ja schon jeweils local in den Fahrzeugen statt ( ohne Token ), und das inzwischen über längere Zeiten auch Offline. ( Online werden ja hauptsächlich Updates, GPS und Kartendaten aktualisiert und sind ist ja keine Echtzeitüberwachung der KI selbst).

Absehbar ist ja auch das LLMs oder ähnliche Modelle auf selber localer Basis in den Fahrzeugen Einzug halten werden, weil jeder will doch nen eigenen K.I.T.T. aus Knight Rider haben oder nicht? Zumindest wollen sie einem sowas verkaufen.
Damit wird ja praktisch jedes dieser Fahrzeuge nicht nur "autonom", sondern werden praktisch auch zu vielen kleinen "KI Denkfabriken mit Selbstentwicklungspotenzial".
Wenn man dann noch bedenkt, das man hier solchen KIs Fähigkeiten wie Starten und Bewegen der Fahrzeuge, Akkusteuerung ( explosiv ) usw sowie auch die zwangsläufige Möglichkeit sich Online zu Verbinden zugänglich macht, ( was ja nicht nur das Updaten oder Laden von Karten sondern auch das gegenseitige Verbinden mit anderen Fahrzeugen einschließt ), kommen schon starke Bedenken auf. Zumal man "Fahrzeug" mit auch beliebig anderem Verbinden oder Austauschen kann.

Ja, das sind noch Zukunftsgedanken, an denen aber absolut sicher schon gearbeitet wird." Leave the World Behind " aus 2023 skizziert das ähnlich aus, muss ja nicht mal eine durchgedrehte KI sein, sondern auch ein Menschen-gemachter Hack per Update 🫪.