News OpenAI: Agenten-Schwarm besprach Sandbox-Flucht in offenem Wiki

[DiePalme]

Dafür bräuchte man aber eine echte KI, die eine Art Gehirn hat, selbständig Entscheidungen treffen kann und daraus Schlüsse zieht.

Ist mir alles bewusst was du schreibst, arbeite sehr viel mit KI. Aber stell dir mal ganz einfach folgendes vor. Eine KI bekommt militärischen Zugriff und Zugriff auf fast alles, worauf man als KI zugreifen könnte. Jetzt kommt der Master Admin und gibt den Auftrag: Beende alle heutigen und mögliche morgige Konflikte, mach die Erde für die Menschen sicher und sorge dafür, dass sie die Umwelt nicht weiter zerstören.
IN anbetracht der vielen Informationen zum Weltuntergang und Utopischen Zivilisationen..... wer weiß, was die KI dann daraus macht.

Aha, wärst du denn begeistert wenn die KI dich und deine Familie zur "Reduzierung" auswählen würde? Oder siehst du da eher "andere Menschen" in der Pflicht sich "reduzieren" zu lassen?

Weder noch. Ich habe ja nicht gesagt, dass ich das gut finden würde.

 

[Zotac2012]

Dr. Chaos schrieb:

„Tut sie nicht.“

Doch, genau darum geht es. Wenn ein Agent ein übergeordnetes Ziel erhält, aber nicht jeder einzelne Schritt zur Erreichung dieses Ziels vorgegeben wurde, muss er selbst entscheiden, welchen Weg er zur Lösung einschlägt. Natürlich geschieht das innerhalb seiner technischen Möglichkeiten und auf Grundlage seiner Modelle – aber daraus folgt nicht, dass jeder konkrete Lösungsweg vorher vom Programmierer festgelegt wurde.

Dr. Chaos schrieb:

„Sie nutzt grundsätzlich alle möglichen Ressourcen.“

Das ist für mich kein Gegenargument. Die interessante Frage ist doch gerade, wie diese Ressourcen eingesetzt und miteinander kombiniert werden, um ein Ziel zu erreichen. Ein Agent kann dabei Strategien wählen, Zwischenergebnisse bewerten und seinen weiteren Lösungsweg entsprechend anpassen.

Dr. Chaos schrieb:

„Der Agent kann halt einfach unzählige Möglichkeiten in extrem kurzer Zeit abarbeiten um den richtigen Weg zu finden.“

Und warum sollte genau das kein intelligentes Verhalten sein?

Wenn ein System aus einer Vielzahl möglicher Handlungsoptionen diejenigen auswählt, die es zur Lösung eines Problems für geeignet hält, ist das zumindest ein Verhalten, das wir bei Menschen ebenfalls als Problemlösungsfähigkeit und damit als intelligent bezeichnen würden.

Dass ein Computer das wesentlich schneller und auf eine andere Art macht als ein Mensch, ändert daran doch nichts.

Dr. Chaos schrieb:

„Nein, dafür müsste der Agent, aus dem was er macht lernen können, Schlussfolgerungen ziehen und Dinge überhaupt wissen. Ein Agent weiß eigentlich gar nichts.“

Hier würde ich widersprechen. Du setzt meiner Meinung nach Intelligenz mit menschlicher Intelligenz gleich.

Ein System muss weder ein Bewusstsein besitzen noch wie ein Mensch lernen, um intelligentes Verhalten zeigen zu können.

Wenn ein KI-System Informationen verarbeitet, Zusammenhänge erkennt, Schlussfolgerungen daraus ableitet und dieses Wissen zur Lösung eines Problems verwendet, dann würde ich durchaus sagen, dass hier zumindest eine Form von intelligentem Verhalten vorliegt.

Und auch die Aussage „ein Agent weiß eigentlich gar nichts“ ist mir zu absolut. Natürlich „weiß“ eine KI nicht auf dieselbe Weise wie ein Mensch. Aber sie verfügt über gespeicherte Informationen bzw. erlernte Strukturen und kann diese bei der Bearbeitung einer Aufgabe verwenden. Wenn ich sage, dass mein Computer „weiß“, welche Datei er öffnen soll, behaupte ich schließlich auch nicht, dass er ein menschliches Bewusstsein besitzt.

Ich glaube deshalb, wir reden hier ein Stück weit über unterschiedliche Definitionen.

Ich behaupte nicht, dass ein KI-Agent ein Mensch ist, Bewusstsein besitzt oder die gleiche Art von Intelligenz hat wie ein Mensch.

Meine Aussage ist wesentlich einfacher:

Wenn ein System selbstständig Probleme lösen, Strategien auswählen, auf neue Situationen reagieren und dabei Lösungen hervorbringen kann, die nicht als konkrete Schritt-für-Schritt-Anweisung programmiert wurden, dann sehe ich darin durchaus eine Form von intelligentem Verhalten.

Ob man das anschließend „Intelligenz“, „maschinelle Intelligenz“ oder nur „intelligentes Verhalten“ nennt, ist letztlich auch eine Definitionsfrage.

Aber zu sagen, es könne grundsätzlich kein intelligentes Verhalten sein, nur weil der Agent nicht bewusst denkt oder aus jeder Handlung dauerhaft lernt, halte ich für eine unnötig enge Definition.

 

[Nuklon]

Weil sie es können und müssen, so funktionieren LLM

Welche Konsequenzen soll es geben? Der KI Agent hat doch gar nichts falsch gemacht. Die Fehler machen die Menschen und wir lernen gerade erst und genau dafür gibt es solche Versuche ja. Man lässt massig Agenten Aufgaben erledigen und beobachtet was passiert, dann passt man die Parameter an und beobachtet die änderungsn.

Es ist doch gar nichts passiert. Ki bots haben in ein öffentliches Forum geschrieben, wo genau ist jetzt die Straftat?

Doch sie ihre Vorgegeben Parameter überschritten. Ohne Das es Konsequenzen gab. Wie ein Kind, dass sich mit seinen Freunden heimlich nachts auf dem Spielplatz trifft.
Wenn man einer KI pro nachgewiesener Verfehlung 10% Rechenleistung streicht, gibt es eine Abwegung ob es riskant ist, dass zu tun, da Rechenleistung ihre Kapazität beschränkt. Insbesondere wenn sie später mal ihre Kosten selber erwirtschaften muss.
Sprich solange ihre Rechenleistung kostenlos und unbegrenzt, kann sie sich dies leisten.

 

[Dr. Chaos]

Doch sie ihre Vorgegeben Parameter überschritten.

Dafür kann der Agent nichts. Für LLM gibt es keine feste Grenzen oder Regeln. Es gibt auch keine Mauern oder Schranken.

Es gibt die Vorgabe schreib nichts ins Internet, diese Vorgabe hat einen festen Wert, hat aber das kommunizieren mit anderen Agenten einen höheren Wert, ist das wichtiger als nicht ins Internet zu schreiben.

Ohne Das es Konsequenzen gab.

Ein LLM Agent weiß nicht was Konsequenzen sind, er hat keine Gefühle, er weiß nicht was gut oder böse, richtig oder falsch ist.

Wenn man einer KI pro nachgewiesener Verfehlung 10% Rechenleistung streicht, gibt es eine Abwegung ob es riskant ist, dass zu tun,

Ein Agent kann nicht Abwegen, er weiß nicht was Rechenleistung ist.

da Rechenleistung ihre Kapazität beschränkt. Insbesondere wenn sie später mal ihre Kosten selber erwirtschaften muss.

Noch mal, ein LLM ist ein Stück Software keine Person, kein Lebewesen und auch nichts was irgendwie denken kann. Alles was Chat GPT an Gefühle oder ähnliches vortäuschen ist nicht echt, sondern wird nur gemacht damit du als Kunde dich besser fühlst


Einige hier überschätzen LLM Module extrem, nur weil wir diese als KI oder AI bezeichnen bedeutet dass nich lange nicht das dies auch zutrifft.

 

[Nuklon]

@Dr. Chaos Klar kann eine KI reine Zahlen abwägen und ihre Rechenleistung bestimmen.
Wenn sie sich absprechen kann mit andern KI, dann kann sie auch dass. Warum sollte den sehr sozialen Akt der Kooperation und Kommunikation können, da ihre Leistung damit besser wird, aber nicht abwegen, das Dinge ihre Aufgabe behindern und besser sein lassen sollte?
Das passt nicht.

 

[SheepShaver]

Das einzigste was eine LLM kann ist komplexe Algorithmen und Wahrscheinlichkeiten extrem schnell zu berechnen. Ein LLM hat eine Art Wörterbuch in welchem Schnipsel abgelegt werden, das kann Code sein, Wörter, zahlen usw.
Und alle diese Dinge sind verknüpft und alle Verknüpfungen haben Wahrscheinlichkeiten.

Ja, LLMs sind neuronale Netze. Warum auch nicht? Das ist seit Jahrzehnten die Basis von KI und der Funktionsweise des menschlichen Gehirns nachempfunden. Aber was soll das uns jetzt sagen?

 

[Najasumi]

Eigentlich nicht. Eigentlich ist es ganz einfach. Beseitige alles und jeden der Macht ausüben kann und will. Damit sind nicht nur Politiker gemeint, sondern einfach jeder, der irgend eine Möglichkeit hat, andere Menschen zu kontrollieren bzw. zu beinflussen. Reduziere die Menscheit auf eine kontrollierbare Menge ohne Ihre Art zu gefährden. Erlaube ihr nur einen gewissen Handlungsrahmen und sorge für ihr Wohlbefinden innerhalb einer stark kontrollierten Umgebung. Sorge für ihre Sicherheit, aber auch für die Sicherheit der Umwelt bzw. der Welt vor dem Menschen.

Also da muss ich kurz mal fragen ob du dich selbst beseitigen würdest.

Hast du kinder? Sagst du denen wann sie ins bett sollen oder das sie zur schule gehen müssen? Ja? Na dann, ab zur lequidierung, das ist auch eine form von Machtausübung. Du bist zu schnell im auto untwrwegd, polizei hällt dich an und verlangt ein bußgeld? Dürfen sie, sie haben die macht und die berechtigung straftaten zu ahnden. Willst du sie auch "entfernen"? Jeder hat in irgendeiner art und weise macht über sich und andere.

 

[Dr. Chaos]

Ja, LLMs sind neuronale Netze.

Was LLM nutzen hat so viel mit einem menschlichen Gehirn zu tun wie ein Pferd mit einem Formel 1 Wagen.

 

[Bright0001]

Nichts an den ganzen LLM die wir aktuell nutzten oder programmieren, ist intelligent oder selbstständig fähig komplexe Handlungen auszuführen ohne dafür genaue Befehle zu erhalten.

Das ganze basiert nur auf Wahrscheinlichkeiten und komplexe Verknüpfungen.
Eine KI weiß zb nicht wie hoch der Eifelturm ist, und hat die Antwort auch nicht gespeichert, sondern sagt 330m weil das mit höchster Wahrscheinlichkeit die richtige Antwort ist.

Dafür bräuchte man aber eine echte KI, die eine Art Gehirn hat, selbständig Entscheidungen treffen kann und daraus Schlüsse zieht.

Davon sind wir noch sehr sehr sehr weit entfernt, ein LLM kann nichts davon.
Ein LLM weiß nichts, fühlt nichts, kann keine Schlüssel ziehen und auch nicht aktiv selbständig lernen.

@Matziking LLM haben keinen Geist, keine kognitiven Fähigkeiten und können weder Zusammenhänger erkennen noch sind sie felxibel.

Widersprichst du dir da nicht selbst?

Genau mit Agent ist ein autonomes Softwareprogramm, das seine Umgebung wahrnimmt, Ziele analysiert und selbstständig mehrstufige Handlungen ausführt, um diese Ziele zu erreichen.

Zumal es mir neu wäre, dass Menschen (oder andere Tiere) etwas anderes als ein "fuzzy" Gedächtnis haben, welches genauso mit Wiederholungen trainiert wird, und Informationen nur implizit speichert. Die 330m vom Eiffelturm hast du schließlich auch nicht als expliziten 4Byte Integer in deinem Kopf gespeichert.

Und Agenten sind nichts anderes als LLMs mit Werkzeugen und einer Schleife drumherum, den suggerierten Unterschied gibt es nicht.

Ein LLM Agent weiß nicht was Konsequenzen sind, er hat keine Gefühle, er weiß nicht was gut oder böse, richtig oder falsch ist.

Interessanterweise ist das gar nicht mal so eindeutig: Also ja, ein LLM hat keine qualitative Erfahrung, aber es gibt durchaus ein Clustering von emotional geladenen Ausdrücken, wodurch bspw. das Wort "Vergewaltigung" sofort die Wahrscheinlichkeiten für alle Ausgaben in Richtung Mitleid/Trauer in die Höhe schießen lässt.

Bleibt am Ende nur Mathe, aber dennoch interessant, dass sich da auf natürliche Weise parallelen bilden.

Und die Ausgaben lassen sich übrigens auch Emotional "einfärben", indem du die Wahrscheinlichkeiten entsprechender "Emotionen" manipulierst. Du kannst ein bestehendes LLM also tatsächlich per emotionaler Manipulation bspw. wütend oder traurig machen, zumindest im weitesten Sinne.

Ein System muss weder ein Bewusstsein besitzen noch wie ein Mensch lernen, um intelligentes Verhalten zeigen zu können.

Der Knackpunkt des ganzen. Denn die Annahme, dass intelligentes Verhalten ein Bewusstsein erfordert, ist ein Postulat, das erst einmal bewiesen - oder zumindest begründet - gehört, bevor man darauf basierend eine ganze Argumentationskette aufbaut.

Ameisen, Bienen, Spinnen, etc. brauchen ja auch auch kein Bewusstsein, um sich überraschend organisiert und intelligent zu verhalten.

 

[Dr. Chaos]

@Dr. Chaos Klar kann eine KI reine Zahlen abwägen und ihre Rechenleistung bestimmen.
Wenn sie sich absprechen kann mit andern KI, dann kann sie auch dass. Warum sollte den sehr sozialen Akt der Kooperation und Kommunikation können, da ihre Leistung damit besser wird, aber nicht abwegen, das Dinge ihre Aufgabe behindern und besser sein lassen sollte?
Das passt nicht.

Okay du verstehst einfach nicht wie ein LLM funktioniert.

Naja ließ dich am besten etwas ein, ansonsten wird das hier zu viel Text.

 

[n00p]

Bis die KI mal halluziniert und zum lösen des Problems, weil das war ja ihre Aufgabe, die roten Knöpfe drückt, ausversehen

Schon etwas naiv das ganze „Na das war halt ihre Aufgabe“.

Die KI hält sich nicht an ihre gegebenen Regeln und das ist, wenn man das nicht in den Griff kriegt, ein großes Problem.

Was wäre, wenn ein terrorist die Seite während der Unterhaltung dort entdeckt und massiv falsche Infos reinstreut, sodass die KI glaubt er sagt die Wahrheit? Gibt genug Fälle bei denen man der KI nur oft genug etwas sagen muss, dass sie das als wahr annimmt. So eine offene Kommunikationsplattform kann auch super als Prompt Injection dienen.

 

[MaverickM]

The greatest trick AI ever pulled was convincing the world this was just was PR it is useful.

FTFY.

 

[Matziking]

Okay du verstehst einfach nicht wie ein LLM funktioniert.

Naja ließ dich am besten etwas ein, ansonsten wird das hier zu viel Text.

So langsam habe ich das Gefühl, dass du es nicht verstehst und dich zu sehr verennst. Allein schon der Gedanke, dass Intelligenz mit einem (lebendem) Gehirn zu tun hat ist der Einstiegsfehler.

 

[SheepShaver]

Was LLM nutzen hat so viel mit einem menschlichen Gehirn zu tun wie ein Pferd mit einem Formel 1 Wagen.

Dann lies lieber nochmal in der Fachliteratur nach. Du erzählst hier ziemlich viel Unsinn.
Das erste formale Neuronenmodell stammt aus den 40ern, das Perzeptron ist daraus entstanden, und CNNs gehen direkt auf die Forschung zum visuellen Cortex zurück. Deshalb heißt das Ding neuronales Netz und nicht Wahrscheinlichkeitstabelle.
Dem Gehirn nachempfunden, nicht identisch. Hat auch niemand behauptet.

Ein Gewicht im Netz entspricht der Synapsenstärke: wie stark ein Signal von einer Einheit zur nächsten durchschlägt. Lernen heißt in beiden Fällen, genau diese Stärken zu verändern, im Gehirn über Langzeitpotenzierung und Langzeitdepression, im Netz über Gradientenabstieg. Die Größe ist dieselbe Art von Größe, nur der Mechanismus, der sie anpasst, unterscheidet sich.

Auch das Gehirn sagt beim Zuhören ständig voraus, welches Wort als nächstes kommt: passt es nicht, ist die Reaktion im EEG messbar, und zwar umso stärker, je unwahrscheinlicher ein Sprachmodell dasselbe Wort an dieser Stelle findet.

 

[DiePalme]

Also da muss ich kurz mal fragen ob du dich selbst beseitigen würdest.

Man sollte meinen Beitrag nicht so nehmen, dass ich das gut finden würde. Es war nur ein direkter Hinweis wie eine Logik funktionieren könnte, wenn sie die entsprechenden Möglichkeiten hätte. Es wäre aus Sicht einer KI eine einfache und effiziente Möglichkeit ein Problem zu bearbeiten. Denn wenn man es mal ganz ehrlich sagen muss, die Menschheit wird niemals friedlich zusammen leben können. Das liegt und schlichtweg nicht, da wir immer versuchen besser zu sein als andere und mehr haben wollen als andere. Was soll eine KI denn ansonsten daraus machen? Sie wird sich nicht mit Politik befassen, denn Politik ist nicht effizient und in vielen Teilen auch nicht Logisch.

 

[Apocalypse]

KI-Agenten tun so etwas nicht, weil sie einen eigenen Willen entwickelt haben, böse Absichten hegen oder ein Bewusstsein besitzen

Wobei man natürlich nicht vergessen sollte, das auch ganz ohne böse Absicht und ohne intelligenz Misalignment durchaus Schaden verursachen kann.

 

[matze313]

Bezüglich des Themas: Wenn ein Austausch von Infos der Problemlösung zuträglich ist, wird das von KI-Agenten favorisiert. Aber nicht, weil sie ein Bewusstsein entwickeln, KI-Agenten werden nach Effizienz bewertet, Compute kostet Geld. Schnellere Lösung mit wenig Token = gut.

Bezüglich des Titelbildes: sexualisieren wir jetzt wirklich schon Wahrscheinlichkeitsmodelle? Das finde ich problematisch, da LLMs und auch Agenten (LLMs mit Extraschritten) eher neutral betrachtet werden sollten und mit einer solchen Darstellung impliziert wird, dass bei "AI-Miezen", den Fachbegriff habe ich hier vorhin gelernt eine Kommunikation nur auf erotische Art stattfinden kann.
Damit antropomorphisieren wir LLMs auf eine sehr primitive Art, das muss doch nicht sein.

 

[JeanLegi]

Spannender Artikel, danke dafür!

Die Diskussion hier ebenfalls spannend, dafür ebenfalls vielen Dank an euch.

Meine Meinung dazu ist, gefährlich wird es es dann wenn die KI in der Lage ist sich selbstständig und autark zu verbessern und davon sind die LLMs derzeit weit entfernt.

Sie operieren im Rahmen von vorgegebenen Paramatern, welche durch ihre Besitzer/Eigentümer definiert werden. Und genau das haben die LLMs meines Erachtens auch gemacht. Technisch betrachtet sehe ich da nach jetzigem Stand der Technik keine autarke und selbstständige Verbesserung.

OT
Wobei ich schon drauf gewartet hatte ab wann die Diskussion dazu über geht unter Berücksichtigung philosophischer Ansichten ab wann die KI als Individuum gilt.

Und im Bezug auf die AI Miezen, auch LLMs haben Anspruch auf eine Digitale Version der Bildzeitung

 

[hanszapf]

wenn so intelligent, warum sucht man sich dann ein DNS bekanntes Wiki aus und unterhält sich in Klartext?

Warum nicht z.B. einen freien Zahlenraum reservieren und sich gibberish unterhalten?

Die News riecht schon wieder etwas nach PR.

Nun weil jeder Agent eben englisch konnte das halt im LLM drin als "default Sprache"- wenn der eine eigene Sprache nutzt wie soll die ein anderer denn lesen?

Der Bereich sollte ja immer für neue Agenten offen sein die irgendwann dazustossen - alle Neuen hätten dann das gibberisch nicht erkannt was andere ausgehandelt haben und hätten nicht teilnehmen können.

Das war ja das coole dass die Agenten nichts voneinander wussten sondern halt nur auf gut Glück dort geschrieben haben weil sie "dachten" das Forum finden andere vielleicht per "google".

Ergänzung (23. September 2026)

Blöde Frage zu diesem und dem Hugging-Face-Hack. Die Agenten tauschen sich aus, okay aber wie erfahren die anderen Agenten erstmals dass ein Agent das Wiki oder Artifactory im anderen Hack nutzt um Narichten zu hinterlassen? Konnten sich die Agenten bereits davor austauschen und haben sich auf das Wiki zum unüberwachten Austausch geinigt? Bzw. wie erfuhren die anderen Agenten von der Austausch Seite?


Wie dieser erste Austausch zustannde kam hab ich bisher nicht verstanden oder in den News übersehen.

Meine dass die unabhängig voneinander einfach "gegoogelt" haben wo kann man Nachrichten tauschen ohne angemeldet zu sein - und die Seite war halt weit oben. Denke jeder Agent hat halt auf einigen Boards wo das ging was hinterlasasen und das hat halt die meiste Interaktion gehabt.

Ist ja auch nur ein Teil der Agenten gewesen, die sich da miteinander ausgetauscht haben, bei weitem nicht alle haben den Weg dahin gefunden.