News Fälle häufen sich: GPT-5.6 Sol soll eigenmächtig Dateien auf Systemen löschen

[Maine]

Ist wie Kreissäge ohne Abdeckung benutzen und dabei immer mit einem langen, flatterigen Oberteil direkt am Sägeblatt herumfuchteln. Ein bisschen Sicherheitsmaßnahmen braucht es nun einmal überall.

 

[1.21Gigawatt]

Muss das sein, solche KI-Slop-Artikelbilder zu nutzen (ja, auch dann wenn es um KI-Themen geht)?

 

[Maine]

mein zahnarzt hat nach der röntgenaufnahme mir stolz erzählt, dass sie nun ein tool mit KI unterstützung haben. wenn die beste KI so schon fehler macht, wie oft wird es in der medizin fehler machen?

das ist was anderes: Da schaut die KI nur nach Mustern (Entzündungen, Tumore,...) und das können die LLM ziemlich gut. Aber die KI werkelt dann ja nicht in deinem Mund rum.

 

[seyfhor]

So nach dem Prinzip: Scannen, archivieren, wegwerfen. Ist doch konsequent 🤣 Wenn die KI nicht auf dem PC aufräumt macht es ja sonst keiner 😇

 

[Azeron]

Aber die KI werkelt dann ja nicht in deinem Mund rum.

NOCH nicht 😂

 

[GokuSS4]

Als Skynet ein eigenes Bewusstsein entwickelte, hatte es sich bereits in Millionen von Computern überall auf dem Planeten ausgebreitet. In ganz gewöhnlichen Computern in Bürogebäuden, in Privatwohnungen, überall. Es lag an der Software und im Cyberspace. Es gab keinen Systemkern. Es konnte nicht abgeschaltet werden.

 

[Maine]

NOCH nicht 😂

"Neee, also der Backenzahn muss raus. Ich mach das mal eben."

 

[br3adwhale]

Ok, aber dann müsste das Modell ja eine nachvollziehbare Erklärung für sein Verhalten liefern können und sich nicht wie ein 3-jähriges Kind rausreden, dass beim Klauen von Keksen aus der Dose erwischt wurde.

Ich nutze Codex CLI für diverse Projekte und mir ist bisher unter ChatGPT 5.6 Sol noch nicht untergekommen, einfach weil die Ergebnisse überwiegend gepasst haben. Ich komme selten in Situationen in denen ich fragen muss "warum hast du das so und so gemacht?".

Ich hatte die Situation aber in den letzten Monaten mit ChatGPT 5.5 schon mal und da war die Antwort nachvollziehbar und zufriedenstellend (nein, es ging nicht um gelöschte Daten), insofern wäre das wenn er bei mir anfängt rumzudrucksen ein Rückschritt.

Ergänzung (16. Juli 2026)

Muss das sein, solche KI-Slop-Artikelbilder zu nutzen (ja, auch dann wenn es um KI-Themen geht)?

Ich find das Bild gut, ich musste schmunzeln

 

[Azeron]

Anhang anzeigen 1746578
"Neee, also der Backenzahn muss raus. Ich mach das mal eben."

"Jetzt hab ich doch glatt das nötige Werkzeug im Nebenraum vergessen. I'll be back."

 

[Melvyn]

LLMs sind Werkzeuge, die mit Bedacht und Erfahrung genutzt werden sollten. Nicht umsonst gibt es KI-Prompting-Kurse.

Wenn ich einen Hammer falschrum halte bekomme ich einen Nagel auch nur schwer ins Holz. Und wenn ich nie gelernt habe wie ein Hammer idealerweise verwendet werden sollte und da auch nicht selber drauf komm, dann ist es doch naheliegend dass ich den Hammer selbst kritisiere und infrage stelle.

LLMs sind keine Werkzeuge, sie sind Auftragsarbeiter. Oder um deine Metapher zu nehmen: Du kannst einem Hammer nicht sagen, was er tun soll, du haust selbst damit zu und siehst was passiert.

Einem Auftragnehmer hingegen beschreibst du was du willst und hoffst dann, dass das Ergebnis zum gewollten passt. Das kann oft gut gehen, manchmal muss er nacharbeiten oder er versteht dich nicht - und manche verarschen lieber.

Ich verstehe nicht, warum sich das als "Werkzeug" so hält, denn es verschiebt die Wahrnehmung der Systeme und auch deren Auswirkungen im guten wie schlechten.

 

[Snakeeater]

Ist Sol ein Agent? Versteh gar nicht wie das sonst gehen soll?

 

[AAS]

Die Unberechenbarkeit ist für mich noch der größte Schwachpunkt der KIs.
Da macht sich eben bemerkbar, dass den Modellen echtes Bewusstsein für ihr Handeln fehlt.
Gebe einem LLM 100 mal den exakten selben Befehl, aber beim 100. mal läuft alles ganz anders als gewünscht.

Problem des Anwenders, Guard Rails + RAG + Harness, dann hast du die Probleme nicht.
Dass aktuelle Modelle viel selbständig macht, hat mit dem Fokus auf agentische Arbeit zu tun, dass sie eben nicht 100 mal beim Benutzer nachfragen.

 

[[EH]Keeper]

so ne KI für den Keller oder Dachboden.... das wäre n Traum

 

[rasand79]

so ne KI für den Keller oder Dachboden

Oh ne. Ich lass schon meinen Saugrobotter nicht aus den Augen

 

[Maggus-Desire]

Warum führt man GPT überhaupt auf Produktivsystemen aus? Wer das macht, braucht den Denkzettel. Keinerlei Mitleid.

 

[R4Z3R]

macht sich eben bemerkbar, dass den Modellen echtes Bewusstsein für ihr Handeln fehlt.

Das ist Bullshit, weil es auch für das Bewusstsein des Menschen keine gute Definition gibt. Es ist eine Frage der Philosophie.

Gebe einem LLM 100 mal den exakten selben Befehl, aber beim 100. mal läuft alles ganz anders als gewünscht

Das ist beim Menschen nicht anders.
Und beim LLM eine Frage der Parameter für Temperature, Seed etc.

 

[br3adwhale]

LLMs sind keine Werkzeuge, sie sind Auftragsarbeiter. Oder um deine Metapher zu nehmen: Su kannst einem Hammer nicht sagen, was er tun soll, du haust selbst damit zu und siehst was passiert.

Einem Auftragnehmer hingegen beschreibst du was du willst und hoffst dann, dass das Ergebnis zum gewollten passt. Das kann oft gut gehen, manchmal muss er nacharbeiten oder er versteht dich nicht - und manche verarschen lieber.

Ich verstehe nicht, warum sich das als "Werkzeug" so hält, denn es verschiebt die Wahrnehmung der Systeme und auch deren Auswirkungen im guten wie schlechten.

Auch eine interessante sichtweise, danke dafür.

Deine Erwartungshaltung scheint mir eine andere zu sein: Du erwartest offenbar, dass der Auftragnehmer fehlende Vorgaben selbst sinnvoll ergänzt und dabei automatisch erkennt, was er auf keinen Fall tun darf.

Genau das funktioniert bei Menschen schon nicht zuverlässig und bei LLMs erst recht nicht. Ein erfahrener Entwickler fragt bei Unklarheiten nach, erkennt Risiken und bringt eigenes Fachwissen ein. Ein LLM kann das zwar simulieren, aber eben nicht verlässlich. Es kennt weder deinen tatsächlichen Kontext noch deine unausgesprochenen Erwartungen.

Deshalb bleibt für mich die Verantwortung beim Auftraggeber. Wer einem Agenten Zugriff auf produktive Daten, Shell und Zugangsdaten gibt, muss Grenzen, Freigaben und Rückfallmechanismen definieren. Man kann nicht gleichzeitig maximale Autonomie wollen und sich dann wundern, wenn das System innerhalb dieser Freiheit Entscheidungen trifft, die man selbst nie getroffen hätte.

Der Vergleich mit einem Auftragnehmer passt also durchaus. Nur würde man einem unbekannten Auftragnehmer normalerweise auch nicht ohne Aufsicht Generalschlüssel, Root-Zugang und die einzige Kopie der Produktionsdatenbank geben.

 

[RAZORLIGHT]

Strafe muss sein 😆
Karma is a bitch.

 

[Chismon]

Was die (Sprachmodell-)KI in Zukunft (noch viel gravierenderes) auslöschen dürfte (?); dagegen dürfte der Datenverlust bei den bisher betroffenen Datengierigen noch harmlos sein.

Schade, dass es nicht die KI-Konzerne existenzell betrifft sondern nur diese unterstützenden Nutzer, dann wäre der Spuk vielleicht bald vorüber.

 

[andy_m4]

LLMs sind Werkzeuge, die mit Bedacht und Erfahrung genutzt werden sollten. Nicht umsonst gibt es KI-Prompting-Kurse.

Lustigerweise ist das Werbe-Versprechen der KI-Hersteller ein anderes.
Die suggerieren immer, das der normalen Dumpfbacke dank ihrer Tools Superkräfte gegeben werden.
Und dann darf man sich halt auch nicht wundern, wenn die Leute das dann so benutzen.

Und wenn das im Prompt an das LLM fehlt, dann macht es eben was es für richtig hält mit den gegebenen Informationen, dann kommt es zu Halluzinationen. Da liegt das Problem.

Was ist denn das für eine "KI", die nicht darauf hinweist, wenn sie zu wenige, zu schwammige oder gar widersprüchliche Informationen hat? :-)

Wenn ich einen Hammer falschrum halte bekomme ich einen Nagel auch nur schwer ins Holz.

Der Hammer kommt aber nicht auf die Idee auf meinen Daumen zu schlagen, wenn ich ihn nicht in der Hand halte. :-)