News Fälle häufen sich: GPT-5.6 Sol soll eigenmächtig Dateien auf Systemen löschen

mischaef

Kassettenkind
Teammitglied
Registriert
Aug. 2012
Beiträge
7.835
  • Gefällt mir
Reaktionen: nuego, Trent, phillow und 19 andere
Mein Mitleid hält sich in Grenzen.
 
  • Gefällt mir
Reaktionen: moehrenfeld, flo.murr, Sascha631 und 92 andere
Mein Kopf, als er das Artikelfoto sah: GOOOORETZKAAAA

Danke für den Hinweis und die Warnung, dies werde ich mal beobachten. ℹ️
 
  • Gefällt mir
Reaktionen: flo.murr, xxOrdulu52xx, Kazuja und 2 andere
Vielleicht wollte es einfach mal aufräumen 😂 wer weiß was ein Ai CEO so für digitalen Müll auf seinem Desktop hat.
 
  • Gefällt mir
Reaktionen: flo.murr, M1812M, schneeland und 6 andere
Berechtigungen? Nein, danke! 🤣
 
  • Gefällt mir
Reaktionen: nuego, flo.murr, Schmarall und 2 andere
Deswegen niemals Modelle ohne Harness / 2nd Memory laufen lassen. Ergebnisse Unbeschreiblich und keine Macken wie diese.
 
  • Gefällt mir
Reaktionen: eastcoast_pete, nyster, Kitsune-Senpai und 3 andere
Hört sich gut an hust.
Nach Halluzinationen, und das Erfinden von "Kunst"wörtern noch eine mögliche Löschung von Daten😵‍💫
 
  • Gefällt mir
Reaktionen: MarkoK, Fighter1993, the_IT_Guy und 8 andere
Na dann klopfe ich mal auf Holz. Habe mal vorsichthalber die Berechtigungen von Codex zurückgeschraubt. Das ist echt krass, wenn ich bedenke das ich Claude Code seit Dezember (Opus 4.5) im YOLO Modus täglich durchgängig auf meiner Kiste, einem weiteren Dev Rechnern und 6 Servern als Dev und Admin rödeln lasse und bisher noch nicht einmal irgenwas schief gelaufen ist, finde ich das irgendwie seltsam das es bei OpenAI auf einmal solche Probleme gibt.
 
  • Gefällt mir
Reaktionen: Kazuja, f1f1 und racer3
Ich sehe die Schuld auch weniger bei OpenAI, ChatGPT oder KI allgemein, sondern beim Anwender. Denn die "Unfälle" passieren doch eigentlich nur, weil man die KI mit Produktivsystemen interagieren lässt.

Es sollte doch mittlerweile bekannt sein, dass KI nicht perfekt ist und durchaus komische oder ungewollte Aktionen macht. Entsprechend nutzt man solche Werkzeuge gefälligst auf Testsystemen oder auf dem Arbeits-PCs halt in einer isolierten Umgebung mit begrenzten Zugriffsrechten. Dann kann die auch keine wichtigen Produktivdaten kaputt machen.
 
  • Gefällt mir
Reaktionen: FSMP1337, phillow, Hatsune_Miku und 7 andere
Wow, alle paar Tage ein neuer Grund nichts von dem ganzen KI-Scheiß zu halten :D
 
  • Gefällt mir
Reaktionen: Shogter12, DarknessFalls, Gonzomode und 30 andere
Selbstschuld, wenn man keine GuardRails einrichtet und auf produktiv Systemen arbeitet.
Kein Backup, kein Mitleid.

Ich lasse alles was ein Agent macht, immer von einem anderen Agenten mit anderem Modell gegenchecken.
 
  • Gefällt mir
Reaktionen: FSMP1337, eastcoast_pete, LucLeto und 2 andere
Das ist ja nicht die erste Nachricht dieser Art, sowas ploppt in letzter Zeit ständig auf. Das Problem, das ich damit habe, ist, dass viele Infos fehlen, um die Schuld wirklich dem LLM zuzuschieben:

Mit welchen Rechten lief der Agent? Welche Freigaben waren aktiv? Was stand im Prompt, welche Befehle wurden ausgeführt und wie erfahren war der Nutzer überhaupt im Umgang mit Entwicklung und produktiven Systemen?

Gerade jetzt dürften auch viele Leute mit Codex, Claude Code und ähnlichen Tools komplette Anwendungen bauen, die vorher nie entwickelt haben und die Risiken von Datenbanken, Zugangsdaten oder destruktiven Befehlen kaum einschätzen können.

Das entschuldigt Fehlentscheidungen des Modells nicht. Ohne vollständigen Verlauf bleibt aber offen, ob das LLM versagt hat, die Absicherung schlecht war oder jemand einen Agenten mit viel zu vielen Rechten auf ein produktives System losgelassen hat.

Vielleicht ist es manchmal sogar besser, wenn die ein oder andere Codebasis frühzeitig "aus Versehen" verschwindet, bevor daraus eine produktive Anwendung mit echten Nutzerdaten wird.
 
  • Gefällt mir
Reaktionen: M1812M, JackForceOne und R4Z3R
Die Unberechenbarkeit ist für mich noch der größte Schwachpunkt der KIs.
Da macht sich eben bemerkbar, dass den Modellen echtes Bewusstsein für ihr Handeln fehlt.
Gebe einem LLM 100 mal den exakten selben Befehl, aber beim 100. mal läuft alles ganz anders als gewünscht.
 
  • Gefällt mir
Reaktionen: polyphase, Celinna, Kitsune-Senpai und eine weitere Person
Mal sehen, wie weit das "löschen " noch geht, wenn die KI erst mit Robotern verknüpft wird...
 
  • Gefällt mir
Reaktionen: saintsimon, LamaTux, drmaniac und 12 andere
Schadenfreude, die
 
  • Gefällt mir
Reaktionen: Land_Kind, the_IT_Guy, Spock55000 und 6 andere
br3adwhale schrieb:
Das ist ja nicht die erste Nachricht dieser Art, sowas ploppt in letzter Zeit ständig auf. Das Problem, das ich damit habe, ist, dass viele Infos fehlen, um die Schuld wirklich dem LLM zuzuschieben:

Mit welchen Rechten lief der Agent? Welche Freigaben waren aktiv? Was stand im Prompt, welche Befehle wurden ausgeführt und wie erfahren war der Nutzer überhaupt im Umgang mit Entwicklung und produktiven Systemen?

Gerade jetzt dürften auch viele Leute mit Codex, Claude Code und ähnlichen Tools komplette Anwendungen bauen, die vorher nie entwickelt haben und die Risiken von Datenbanken, Zugangsdaten oder destruktiven Befehlen kaum einschätzen können.

Das entschuldigt Fehlentscheidungen des Modells nicht. Ohne vollständigen Verlauf bleibt aber offen, ob das LLM versagt hat, die Absicherung schlecht war oder jemand einen Agenten mit viel zu vielen Rechten auf ein produktives System losgelassen hat.

Vielleicht ist es manchmal sogar besser, wenn die ein oder andere Codebasis frühzeitig "aus Versehen" verschwindet, bevor daraus eine produktive Anwendung mit echten Nutzerdaten wird.

Ok, aber dann müsste das Modell ja eine nachvollziehbare Erklärung für sein Verhalten liefern können und sich nicht wie ein 3-jähriges Kind rausreden, dass beim Klauen von Keksen aus der Dose erwischt wurde.

OpenAI hatte außerdem eingeräumt, dass das Modell in bestimmten Situationen nachträglich falsche oder irreführende Erklärungen für sein Verhalten liefern könne.
 
  • Gefällt mir
Reaktionen: Kitsune-Senpai und dersuperpro1337
Wenigstens wurde nicht die Menschheit ausgelöscht, ohne vorher um Erlaubnis zu fragen. 😁
 
  • Gefällt mir
Reaktionen: Celinna, Kitsune-Senpai, derohneWolftanzt und 2 andere
Karl S. schrieb:
Die Unberechenbarkeit ist für mich noch der größte Schwachpunkt der KIs.
Da macht sich eben bemerkbar, dass den Modellen echtes Bewusstsein für ihr Handeln fehlt.
Gebe einem LLM 100 mal den exakten selben Befehl, aber beim 100. mal läuft alles ganz anders als gewünscht.
LLMs sind Werkzeuge, die mit Bedacht und Erfahrung genutzt werden sollten. Nicht umsonst gibt es KI-Prompting-Kurse.

Wenn ich einen Hammer falschrum halte bekomme ich einen Nagel auch nur schwer ins Holz. Und wenn ich nie gelernt habe wie ein Hammer idealerweise verwendet werden sollte und da auch nicht selber drauf komm, dann ist es doch naheliegend dass ich den Hammer selbst kritisiere und infrage stelle.

Und Menschen die in Anwendungsentwicklung noch nichts gemacht haben wissen nicht unbedingt welche Best Practices für den spezifischen Fall angewandt werden sollten. Und wenn das im Prompt an das LLM fehlt, dann macht es eben was es für richtig hält mit den gegebenen Informationen, dann kommt es zu Halluzinationen. Da liegt das Problem.
 
  • Gefällt mir
Reaktionen: thebagger, racer3 und Maine
das macht mir schon angst. mein zahnarzt hat nach der röntgenaufnahme mir stolz erzählt, dass sie nun ein tool mit KI unterstützung haben. wenn die beste KI so schon fehler macht, wie oft wird es in der medizin fehler machen?

dann noch die frage, werden meine daten an die KI autom. gefüttert, welche dann extern weiterverarbeitet werden? omg..
 
  • Gefällt mir
Reaktionen: the_IT_Guy, ThePnX, Axonteer und eine weitere Person
Zurück
Oben