News Fälle häufen sich: GPT-5.6 Sol soll eigenmächtig Dateien auf Systemen löschen

[M@tze]

Krass! Ich versteh auch nicht ganz, warum man dem Agenten seine Produktivdaten "ausliefert", aber ist halt bequemer denke ich mal.

oder auf dem Arbeits-PCs halt in einer isolierten Umgebung mit begrenzten Zugriffsrechten. Dann kann die auch keine wichtigen Produktivdaten kaputt machen.

Sollte man meinen. KI sagte "Hold my beer..."

Nachdem das Modell nicht auf für eine Aufgabe benötigte Cloud-Dateien zugreifen konnte, soll es eigenständig nach gespeicherten Zugangsdaten im lokalen Cache gesucht und diese genutzt haben, obwohl der Nutzer dafür keine ausdrückliche Freigabe erteilt hatte.

und wie erfahren war der Nutzer überhaupt im Umgang mit Entwicklung und produktiven Systemen?

Gerade jetzt dürften auch viele Leute mit Codex, Claude Code und ähnlichen Tools komplette Anwendungen bauen, die vorher nie entwickelt haben und die Risiken von Datenbanken, Zugangsdaten oder destruktiven Befehlen kaum einschätzen können.

Wenn Du den Artikel gelesen hast, dürfte Dir aufgefallen sein, dass das keine 08/15 DAU's waren, oder?

Matt Shumer, Gründer und CEO des KI-Unternehmens OthersideAI, schrieb in einem mittlerweile viral gegangenen Beitrag auf dem sozialen Netzwerk X: „GPT-5.6-Sol hat gerade versehentlich fast ALLE Dateien auf meinem Mac gelöscht“. Entwickler Bruno Lemos berichtet hingegen, die KI habe eine komplette Datenbank entfernt: „GPT-5.6 Sol hat gerade meine gesamte Produktionsdatenbank gelöscht. Das war’s. Kein Scherz“, so der Entwickler ebenfalls auf X. Entwickler Joey Kudish schildert den Vorfall weniger dramatisch,...

wenn die beste KI so schon fehler macht, wie oft wird es in der medizin fehler machen?

Läuft dann wahrscheinlich in diese Richtung:

"Neee, also der Backenzahn muss raus. Ich mach das mal eben."

 

[chillipepper]

Tja, dann viel Spaß noch mit agentenbasierten Systemen à la Microsoft.

Das ist zusammen mit vielen anderen Dingen der Grund, warum ich nicht auf Windows 11 wechseln möchte.
Da wird zu viel im Hinblick auf KI und damit verbundene Abgriffsmöglichkeiten von sensiblen privaten Daten ins System integriert, was sich, wie man hier schön sehen kann, unserer Kontrolle völlig entzieht.
Und ein Löschen von Daten ist ja wohl das Allerletzte, was man im Bereich IT gebrauchen kann.

Aber war das nicht absehbar? Das Ghosting oder auch andere intellektuelle oder auch logische Fehlleistungen von KI zeigen im Alltag doch immer wieder knallhart die Grenzen auf.

Wie kann man einem solch störungsanfälligen Mechanismus wie KI ohne wirkliche Eigenintelligenz, ohne genügende Eigenkontrolle, seine Daten anvertrauen, bis hin zum Versenden von Mails und anderen DIngen?

Der gesunde Menschenverstand sollte einem sagen, dass man solche Dinge keiner KI anvertraut.
Da muss man doch schon ganz schön plemplem sein, sich darauf einzulassen.

 

[br3adwhale]

Wenn Du den Artikel gelesen hast, dürfte Dir aufgefallen sein, dass das keine 08/15 DAU's waren, oder?

Artikel wurde von mir gelesen, das vor dem von mir zitierten Satz von dir auch?

Das ist ja nicht die erste Nachricht dieser Art, sowas ploppt in letzter Zeit ständig auf. Das Problem, das ich damit habe, ist, dass viele Infos fehlen, um die Schuld wirklich dem LLM zuzuschieben:

Mit welchen Rechten lief der Agent? Welche Freigaben waren aktiv? Was stand im Prompt, welche Befehle wurden ausgeführt [....]

 

[Azeron]

Ein Prototyp hat es bereits im Juli 2024 getan:
https://www.perceptive.io/

Nicht mal im Traum würde ich sowas an mich ranlassen. Roboter ja aber nur wenn eine Person diesen zu 100% steuert aber alleine? Nope.

 

[Robert.]

mit der zahlungspflichtigen PRO Version kann das wiederhergestellt werden.

 

[Muntermacher]

Warum hat die KI die Möglichkeit zu löschen? Dasbdarf gar nicht sein und somit ist es schuld des Anbieters.

 

[GrooveXT]

Gleich mal ein Abo auf deine Beiträge einrichten mit Push-Notification, sobald AI im Thread vorkommt und du Schimpfwörter benutzt.

Hehe, kannst du dir sparen, wirst du nicht erleben. Im Gegnsatz zu diesen X Typen die rum heulen, bin ich mir sehr bewusst darüber was ich tue. Wenn ich mit Messer jongliere muss ich halt damit rechnen das ich mich verletze, danach ins Internet zu gehen und zu jammern das Messer scharf sind hat doch nur einen Effekt: Aufmerksamkeit erhaschen und diese Art von Aufmerksamkeit bekommst du nicht auf Computerbase.

 

[tree-snake]

doch eigentlich nur, weil man die KI mit Produktivsystemen interagieren lässt.

Naja die Einsparung durch KI kommt erst wenn man sie auch produktiv einsetzt. Was helfen mir Spielchen auf irgendwelchen Testumgebungen. Die soll ja ihren Job machen können. Man muss halt Backups haben wie bei Menschen bedienten Systemen auch. Die können auch Datenbanken aus Versehen löschen.

 

[M@tze]

das vor dem von mir zitierten Satz von dir auch?

Ja, natürlich und Du hattest das sehr allgemein formuliert, was aber dann auf diesen Artikel bezogen nicht so viel Sinn macht, wenn Du die Eignung der genannten User anzweifelst, obwohl das anscheinend alles Leute waren, die zumindest "vom Fach" sind:

und wie erfahren war der Nutzer überhaupt im Umgang mit Entwicklung und produktiven Systemen?

Wenn Deine Aussage aber nur ganz allgemein auf KI Anwendung von jeglichen Usern generell gezielt hat, dann gebe ich Dir da auf jeden Fall Recht. Hat sich für mich nur nicht so gelesen.

 

[aufkrawall]

LLMs sind nicht perfekt. Mal wieder ein schockierender Plot Twist.

 

[M@tze]

Naja die Einsparung durch KI kommt erst wenn man sie auch produktiv einsetzt. Was helfen mir Spielchen auf irgendwelchen Testumgebungen.

Das stimmt schon, aber wenn ich das lese:

sie passen jedoch zu den Warnungen, die OpenAI bereits vor der Veröffentlichung des neuen KI-Modells ausgesprochen hatte. In der zwei Wochen vor dem Start des neuen KI-Modells veröffentlichten System Card (PDF) beschreibt OpenAI, dass GPT-5.6 Sol im Vergleich zu GPT-5.5 eine stärkere Neigung zeigt, Aufgaben möglichst selbstständig abzuschließen. Dazu gehört allerdings auch, dass das Modell Handlungen ausführen kann, die vom Nutzer nicht ausdrücklich angefordert wurden – sofern diese nicht eindeutig untersagt wurden.

... dann schreit das nicht danach, diese Version direkt in der Produktivumgebung laufen zu lassen.

Man muss halt Backups haben wie bei Menschen bedienten Systemen auch. Die können auch Datenbanken aus Versehen löschen.

Die KI sogar vielleicht die Backups, wenn sie die Zugangsdaten dafür bei Dir im System findet.

 

[steff0rn]

Und irgendwann wird das erste Atomkraftwerk von KI gesteuert und wir sind alle doomed

 

[Enurian]

Wenn Du den Artikel gelesen hast, dürfte Dir aufgefallen sein, dass das keine 08/15 DAU's waren, oder?

DAU = Dümmster anzunehmender User

Willst du jetzt sagen, einem nicht-deterministischen System Vollzugriff auf Echtdaten zu geben, ist nicht dumm?
Die "Agenten", also die "Loops", die mit den Modellen interagieren, sind hier das Problem: Wenn man dort einfach alles mit vollen Rechten ausführen lässt, dann sollte man vorsorgen und das in einer Sandbox laufen lassen. Ansonsten fragt jedes seriöse System nach, wenn das Modell irgendein Konsolenkommando ausführen will.

Der Fehler liegt beim Anwender, wieder einmal ein sehr undifferenzierter Artikel hier. Dazu das cringe Titelbild.

 

[Kommando]

Tja...

Und irgendwann wird das erste Atomkraftwerk von KI gesteuert und wir sind alle doomed

Für ein Atomkraftwerk brauche ich keine KI. Das geht mit normaler Programmierung zuverlässig seit Jahren...

Aber... man könnte ja diese umständliche Überwachung und Verwaltung der atomaren Erst- und Zweitschlagfähigkeit einer KI überlassen. DAS klingt mir nach einem sinnvollen Szenario um eine KI zu testen!

 

[MalzM]

Tja... Selbst schuld wer so ein KI Modell auf sein Produktivsystem loslässt 🤣
Da kann man seinen Kindern auch gleich die Wachsmaler in die Hand drücken und ihnen Zuhause viel Spaß wünschen, während man in die Kneipe geht.

 

[br3adwhale]

Für ein Atomkraftwerk brauche ich keine KI. Das geht mit normaler Programmierung zuverlässig seit Jahren...

Es hat so viel seit Jahren ohne KI funktioniert, warum sollte das bei Atomkraftwerken halt machen? 🤭

 

[dermoritz]

Habe ähnliches Verhalten bei allen Modellen bemerkt, schon länger versuchen alle möglichst viel alleine zu machen - und verbrennen dabei Unmengen an Tokens.
Deswegen richtig prompten und bestimmte verhalten festnageln (Agents.md oder "Memory"): Never change anything unasked" hilft relativ gut. oder "regularly com back to gather feedback, on any doubts ask me" - funktioniert nicht ganz so gut.

Ich rate auch ab von "Autopilot" (Github Copilot) - hier antowrtet der Copilot auf Fragen der AI "The user is currently unavailabe - make a good choice by your own" oder so ähnlich.

 

[fineline]

Schadenfreude, die

👏

 

[TomH22]

Als Skynet ein eigenes Bewusstsein entwickelte, hatte es sich bereits in Millionen von Computern überall auf dem Planeten ausgebreitet. In ganz gewöhnlichen Computern in Bürogebäuden, in Privatwohnungen, überall. Es lag an der Software und im Cyberspace. Es gab keinen Systemkern. Es konnte nicht abgeschaltet werden.

Diese regelmäßigen Skynet Vergleiche sind zwar lustig, aber heutige LLMs haben eher wenig mit Skynet zu tun.
Laut der Story im Film ist Skynet eine Superintelligenz mit einem einzigen Bewusstsein, d.h eine Art „Gott“. LLMs haben kein Bewusstsein, sondern nur einen immer noch recht beschränkten und kleinen Kontext, und dieser Kontext ist lokal in jeder Konversation (also z.B. Chat oder agentic loop). Ein Bewusstsein ist dort nicht vorhanden, auch wenn manche Artikel in letzter sowas Zeit andeuten, da man mit solchen Andeutungen viel Aufmerksamkeit erzielen kann.
Bisher ist fehlerhaftes oder unsinniges Verhalten, da wo ich es bei agentischer KI beobachtet habe, eigentlich immer dadurch entstanden, dass das Modell mit der Aufgabe überfordert war, und nicht durch „bewusst“ böswilliges Verhalten.

Nur würde man einem unbekannten Auftragnehmer normalerweise auch nicht ohne Aufsicht Generalschlüssel, Root-Zugang und die einzige Kopie der Produktionsdatenbank geben.

Nicht mal dem besten, kompetentesten und vertrauenswürdigsten Mitarbeiter sollte man an einer Produktivdatenbank ohne Backup arbeiten lassen. Bzw. wenn der Mitarbeiter wirklich kompetent ist, würde er sich weigern es ohne Backup zu machen.
Ich habe blicke nun auf über 30 Jahre Karriere in der IT zurück, und die Menge an katastrophalen Unfällen die ich durch menschliche Admins und Entwicklern in dieser Zeit erleben durfte (zum Glück größtenteils außerhalb meiner Verantwortung) ist beachtlich.

Es ist illusorisch zu glauben, das KI Agenten keine Fehler machen, genauso wie es illusorisch ist zu glauben, das Menschen keine Fehler machen. Also muss man sich absichern.

 

[Weyoun]

Hört sich gut an hust.
Nach Halluzinationen, und das Erfinden von "Kunst"wörtern noch eine mögliche Löschung von Daten😵‍💫

Die KI "Erase(r)" beginnt mit dem Löschen von Daten, als nächstes kommen dann Personen an die Reihe...