News Fälle häufen sich: GPT-5.6 Sol soll eigenmächtig Dateien auf Systemen löschen

[conspectumortis]

Mal schauen wann mal eine KI, die das USA Militär nutzt, alle Atombomben startet.

 

[BxBender]

wenn man sich die Frage stellt:

Sol ich mal die Daten löschen?

ahahahhahaa ;-P

 

[Land_Kind]

Wenigstens wurde nicht die Menschheit ausgelöscht, ohne vorher um Erlaubnis zu fragen. 😁

Noch nicht...

 

[TomH22]

Wer sauber isoliert, braucht das gar nicht zu prüfen.

Auch bei einem Agent in einer Sandbox will man nicht das er Unsinn macht. Erstens verschwendet es teure Tokens und zweitens kostet es viel Zeit den Unsinn zu reviewen. Deswegen lässt man auch bei etwas komplexeren Aufgaben erst einen Plan erstellen und prüft diesen Plan vor Ausführung. Ob nun maschinell (z.B. durch ein unabhängiges Modell) oder manuell ist vom Grundprinzip egal

Dort hat die KI kein "Bewusstsein" bzw. keine Self-Awareness, keine Person-Eigenschaften und löscht trotzdem die Menschheit aus.

Zum auslöschen der Menschheit ist keine Intelligenz erforderlich. Auch ein „dummes“ System mit entsprechenden Möglichkeiten könnte das.

Alltag für sinnvollen Umgang mit wichtigen Daten nötig ist, nämlich gesunden Menschenverstand.

„Gesunder Menschenverstand“ ist letztendlich einfach Erfahrungswissen. Gerade im IT Bereich ist es nach meiner Lebenserfahrung oft nicht weit damit her. Es gibt sehr viele nur mäßig kompetente Entwickler und Admins, und auch eine große Neigung aus Bequemlichkeit Abkürzungen zu nehmen.

 

[Nero2019]

wer hat gpt 5.6 sol? der KI-Modus bei google?

 

[Melvyn]

Dein eigentlicher Punkt ist aber vermutlich ein anderer: Ein LLM ist kein passives Werkzeug, dessen Wirkung unmittelbar und vollständig vom Benutzer ausgeht, sondern ein System, das einen Auftrag interpretiert und eigenständig Zwischenschritte erzeugt. Dadurch entstehen andere Risiken und Verantwortlichkeiten als bei einem Hammer.

Ja genau so war das gemeint, weswegen ich die Auslegung als Werkzeug problematisch finde.

Dem Auftragsarbeiter gibt man auch ggf. Bewusster Absprache zu "mach wie du denkst" oder eben "machs nicht so" oder "frag nach" - wie das Beispiel mit dem wohlüberlegten Generalschlüssel

Gleichzeitig macht man sich von ihm aber ggf. auch abhängig, da man so selbst ggf. keine Expertise hat/aufbauen kann oder selbst Fehler nicht sieht oder einschätzen kann.

 

[eastcoast_pete]

Problem mit jedem agentischen Modell ist, daß es "agieren", also selbstständig Funktionen initiieren und ausüben kann. Und dazu gehören Dinge wie Dateien erstellen, ändern und löschen, und auch Einkaufen gehen (zB Tokens kaufen). Es sei denn, man weist es schon beim Einrichten in die Schranken, oder (besser!) wenn man es nur auf einem dedizierten System laufen lässt, daß a. keinen Zugang zu Funktionen wie zB Online Banking und b. auch nicht zu E-Mail Konten hat. Und die agentische KI selbst so auf einem separaten Rechner nur mit deutlichen Einschränkungen (guard rails; rubber room) laufen lassen.

Ist aber auch schade, daß man diesen Modellen zumindest momentan nicht trauen kann, denn sonst wäre sowas schon sehr bequem und interessant.

Ergänzung (16. Juli 2026)

wer hat gpt 5.6 sol? der KI-Modus bei google?

Für SOL braucht man Codex (ChatGPT Desktop App) und ein Pro oder Plus Konto bei ChatGPT (beide kosten Geld). Der KI Modus bei Google benutzt Gemini, also Googles eigenes KI Modell.

 

[Enurian]

Für SOL braucht man Codex

Kleine Korrektur: per API ist das natürlich auch erhältlich, also auch ganz ohne Codex.

 

[Farrinah]

Terminator rückt immer näher.

 

[calluna]

mein zahnarzt hat nach der röntgenaufnahme mir stolz erzählt, dass sie nun ein tool mit KI unterstützung haben. wenn die beste KI so schon fehler macht, wie oft wird es in der medizin fehler machen?

Das ist ein Bereich, der reguliert ist, da müssen die Systeme wesentlich genauer getestet werden - zumal KI nicht mit LLM / Generativer KI gleichzusetzen ist.

 

[gustlegga]

Ich würd mich ja für das Aufmacherbild 2 Wochen im Keller verstecken und schämen.
Danke auch dass CB inzwischen mit KI Nutzung selber aktiv für weiterhin knappe und abartig teure Speicher mithilft.
Ein weiterer Sargnagel dass ich mein CB Pro im Oktober nicht mehr um ein 6. Jahr verlängern werde.

 

[Brrr]

Auch bei einem Agent in einer Sandbox will man nicht das er Unsinn macht. Erstens verschwendet es teure Tokens und zweitens kostet es viel Zeit den Unsinn zu reviewen. Deswegen lässt man auch bei etwas komplexeren Aufgaben erst einen Plan erstellen und prüft diesen Plan vor Ausführung. Ob nun maschinell (z.B. durch ein unabhängiges Modell) oder manuell ist vom Grundprinzip egal

Einverstanden, ging mir um gelöschte Daten.

 

[Bright0001]

Ich predige es rauf und runter, aber keinen scherts. Agenten auf dem System sind sowohl Schwachstelle als auch Angriffsvektor in noch nie gesehenem Ausmaß, nichtsdestotrotz wird das Zeug so entspannt installiert/eingerichtet als obs ein Firefox wäre.

Hier ein altes Schema, aber im Grunde etwa so.

Wer in Dokumenten Deutsch und Englisch mischt,

Spoiler

bekommt eine gepaddelt.

Na ja, ob das wirklich wahr ist ??

Als ich Codex mal getestet hatte, hatte der beim Denken sinngemäß ausgegeben "Hoppala, ich habe Zugriff auf Dateien, auf die ich ich eigentlich keinen Zugriff haben dürfte", und da für mich die ganze Geschichte auch gegessen: Entweder es läuft im Käfig oder gar nicht, alles andere ist fahrlässig.

 

[Clanker]

das ist was anderes: Da schaut die KI nur nach Mustern (Entzündungen, Tumore,...) und das können die LLM ziemlich gut. Aber die KI werkelt dann ja nicht in deinem Mund rum.

Doch, das tut sie bzw. wird sie in Zukunft.
Es ist nur noch nicht der Standard.

• https://www.tagesspiegel.de/wissen/...riert-ein-roboter-selbststandig-14000324.html
• https://www.mdr.de/nachrichten/deutschland/panorama/op-operation-ki-roboter-gesundheit-100.html

Ich bin buchstäblich daran beteiligt, dass Maschinen und KI in Zukunft menschliche Arbeit übernehmen.

Zunächst sind es kleinere Teilaufgaben mit geringem Risiko, doch langfristig werden sie immer mehr Aufgaben übernehmen.
Ein Restrisiko für (fatale) Folgen wird zwar immer bestehen, wie es auch bei Menschen der Fall ist. Wenn das Risiko der Maschine/KI jedoch geringer ist, wird der Mensch ersetzt.
Da die Arbeit autonomer Systeme bis auf die Nanosekunde und den Nanomillimeter protokolliert werden kann, sind auch Versicherungen daran interessiert. Letztlich wird auch der Patient davon profitieren.

Aktuell ist das Risiko, dass es bei einer Augenlaseroperation zu Schäden durch menschliche Fehler kommt, noch sehr hoch.
Eine als "erfolgreich" definierte Operation bedeutet nämlich nicht automatisch, dass sie ohne irreparable Schäden verlaufen ist, die ggf. eine lebenslange Behandlung erforderlich machen, die zuvor nicht notwendig war.
Die Ergebnisse dieser Fehlerstatistiken hängen davon ab, wie sie erstellt werden.
Etwa ~30 % der Patienten entwickeln nach der Operation neue Probleme.
Das heißt jedoch nicht, dass sie sich im Falle einer zweiten Chance gegen die Operation entscheiden würden.

 

[naTmeg]

LLM mit Systemvollzugriff. Was kann da schon schief gehen..

 

[DeusExMachina]

Deswegen niemals Modelle ohne Harness / 2nd Memory laufen lassen. Ergebnisse Unbeschreiblich und keine Macken wie diese.

Aber das hat er doch der Macht das ja auch schon ne weile. Gut nur weil er einer der KI Propheten ist heißt das ja nicht das er perfekt ist.

Aber sein Hauptagent hat selbstständig sub agenten erzeugt und einer davon hat rm -rf ausgeführt

Siehe Screenshot .
Der lief wohl außerhalb des Harnes

Selbst schuld
Kein Backup kein Mitleid

Und wer Solche Experimentellen "tools" nicht in einer isolierten Umgebung testet

Naja sagen wir fragwürdig

Auf der anderen Seite da das immer Random Token Generatoren ganz tief in ihrem schwarzen model Herzen sind kann das halt auch einfach mal random in einem life System passieren

Aber das weißt doch eigentlich besser als alle anderen so intensiv wie du damit arbeitest (no offence)

Quelle zu Bild:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Warum hat die KI die Möglichkeit zu löschen? Dasbdarf gar nicht sein und somit ist es schuld des Anbieters.

Weil man dem agenten zu viele Rechte gibt
Wo bei die sich auch gern mal rechte nehmen die sie nicht haben sollten wenn ein Teil des Ganzen über die nötigen Rechte verfügt

 

[Muntermacher]

Weil man dem agenten zu viele Rechte gibt
Wo bei die sich auch gern mal rechte nehmen die sie nicht haben sollten wenn ein Teil des Ganzen über die nötigen Rechte verfügt

Ich bleibe dabei. Es ist ein Fehler, wenn der Anbieter die Recht anfordert. Das man sie nicht geben sollte, ist etwas anderes. Bei einem seriösen Anbieter darf man aich gewisses Vertrauen voraussetzen. Es kontrolliert bei einem Auto ja auch keiner, ob die Bremsen richtig eingebaut wurden, bzw. wüßte überhaupt, wie das geht.

 

[DeusExMachina]

Der Anbieter fordert das nicht an

Das muss der Ersteller des Agenten gewähren damit der Agent im System die Aufgabe ausführen kann.


Und das autobeispiel ist suboptimal

Das wäre eher vergleichbar mit du darfst nicht alles in der Software deines Wagens machen die Werkstatt schon

Der Agent läuft dann mit Werkstattrechten damit er Zugriff auf bestimmte Sensoren bekommt. Sagen wir mal die Drehzahl und den Gang. Damit er die Geschwindigkeit ausrechnen kann weil der Tacho keine Schnittstelle hat die der Agent benutzen kann.

Hat diese Rechte dann aber leider auch für das Steuern der Benzinpumpe obwohl er eigentlich die Fenster schließen sollte wenn du schneller als x km/h fährst.

Und nun ist er halt ein LLM Agent keine dezendierte Software die sowas spezialisiert sparsam im Hintergrund macht.

Also kann er sich beim Token voraussagen vertun link statt rechts abbiegen und schaltet den Kraftstofffluss aus weil er den Wagen unter der Geschwindigkeit halten will bei der die Fenster geschlossen werden.

Jaja das ist konstruiert

 

[=dantE=]

GPT-5.6 Sol hat gerade meine gesamte Produktionsdatenbank gelöscht.

Wie, zur Hölle, hat das Modell es geschafft den "Brain-Code" des Nutzers so umzuschreiben um das zu ermöglichen?

Naja, ich bin dann mal raus.
Den Rest hat die Community ja hier bereits auf den 7 Seiten ausreichend zum Ausdruck gebracht.

Übrigens ... Danke! Jetzt brauche ich noch weitere 30min bis in den Schlaf!

 

[Dinonator]

Das ist Bullshit, weil es auch für das Bewusstsein des Menschen keine gute Definition gibt. Es ist eine Frage der Philosophie.


Das ist beim Menschen nicht anders.
Und beim LLM eine Frage der Parameter für Temperature, Seed etc.

Ich zeig da dir Philosophie:

Wenn ein Auftraggeber (Blauäugiger Idiot), einem unzuverlässigem Idioten eine Aufgabe gibt,
der sie in den Sand setzt, dann ja, ist bei Menschen auch nicht anders.
Da fehlt das "Bewusstsein" für die Sache.

Idiot bleibt Idiot.

PS: KI Agenten: Das selbe wie: Ich speichere meine Kennwörter in die Cloud. Da sind sie sicher.
"Die in der Cloud, wissen was sie tun".