News Fälle häufen sich: GPT-5.6 Sol soll eigenmächtig Dateien auf Systemen löschen

Maggus-Desire schrieb:
Warum führt man GPT überhaupt auf Produktivsystemen aus? Wer das macht, braucht den Denkzettel.
Als mittlerweile Linuxer stellt sich mir eher die Frage, woher hat die KI die Berechtigungen überhaupt was am System anzufassen?
 
@SavageSkull Wenn Du Codex CLI oder Codex Desktop laufen lässt, läuft es mit den Berechtigungen deines aktuellen Users. Auch unter Linux.
Jetzt hat Codex zwar grundsätzlich ein eigenen Berechtigungsmechanismus, der ist aber in der Software bzw. teilweise in Form von Systemprompts (die der KI sagen, was sie tun darf und was nicht). Aber dieser Schutz hilft nur begrenzt. Wenn die KI z.B. ein fehlerhaftes Shell Kommando generiert dann wird es mit den Berechtigungen Deines Users ausgeführt.
 
Enurian schrieb:
Willst du jetzt sagen, einem nicht-deterministischen System Vollzugriff auf Echtdaten zu geben, ist nicht dumm?
Nein, will ich nicht - das ist es.

Trotzdem sind das ja nicht die generellen DAU's, auch wenn der Name das glauben lässt, sondern eher "fahrlässige Technikgläubige". Genauso wie Elektriker oft nachlässig werden und nicht mehr alle VDE Vorschriften beachten, KFZ Monteure denken sie wären F1 tauglich und generell jeder Handwerksberuf mit der Zeit in seinem Job ein gewisses Selbstvertrauen entwickelt und Richtlinien außer Acht lässt die ihren Zweck haben, was dann doch mal in die Hose gehen kann, so passiert das auch bei IT'lern. Agenten im Produktivsystem ist wie der Elektriker beim (unnötigen) Arbeiten unter Strom. Was soll schon schief gehen... :D

TomH22 schrieb:
Diese regelmäßigen Skynet Vergleiche sind zwar lustig, aber heutige LLMs haben eher wenig mit Skynet zu tun.
Ich denke das ist den Leuten bewusst, aber trotzdem entwickelt es sich langsam (!) in diese Richtung. Auch Skynet wurde sicher nicht direkt als Superintelligenz entwickelt, sondern musste sich erst "hocharbeiten". ;)

AAS schrieb:
Dann hast du hoffentlich/vielleicht ein Backup. ;)
Habe es mal an die Realität angepasst. :P
 
Brrr schrieb:
Was soll ein isolierter Git-Tree überhaupt sein. Du meinst vermutlich Git Worktrees. Hier geht es nicht darum, dass in der Versionsverwaltung Dateien gelöscht werden, sondern Dateien ausserhalb von deinem Code. Ein User hat z.B. gemeldet, dass sein ganzes Home Verzeichnis gelöscht wurde. Für solche Fälle bringen dir Git Worktrees nichts. Ja ein Backup bringt dir was, wenn du das wegen einem KI Agenten benötigst, hast du bei der Einrichtung aber schon versagt.
Und vom Homeverzeichniss hat man kein Backup? Wieso hat der Agent zugriff, wo er keinen haben sollte?
Ja ich meine Worktrees.
Ich mache wirklich viel mit Agenten, wer aber ganze Verzeichnisse ohne doppeltes prüfen durch einen Agenten löschen lässt, ist selber schuld.
Ergänzung ()

M@tze schrieb:
Habe es mal an die Realität angepasst. :P
Nein, wenn du kein Backup hast, sind die Daten nicht wichtig. Punkt.
 
  • Gefällt mir
Reaktionen: matt_99
R4Z3R schrieb:
Das ist Bullshit, weil es auch für das Bewusstsein des Menschen keine gute Definition gibt. Es ist eine Frage der Philosophie.
Kannst du deine Meinung auch neutraler ausdrücken? Ist doch unnötig
 
  • Gefällt mir
Reaktionen: a1i3n37
AAS schrieb:
Ich mache wirklich viel mit Agenten, wer aber ganze Verzeichnisse ohne doppeltes prüfen durch einen Agenten löschen lässt, ist selber schuld.
Wir streiten uns hier nur um Semantik. Wem das passiert ist selber schuld, da bin ich bei dir. Nur störe ich mich an dem Wort Prüfung. Wer sauber isoliert, braucht das gar nicht zu prüfen.
 
ev4x schrieb:
Kumpel hat das bei ChatGPT gemacht und die KI ist aus der Sandbox ausgebrochen und konnte Powershell Befehle als Administrator ausführen.
Ja, das ist natürlich auch ein Problem. Im Zweifel müsste man eine eigene Development-Umgebung dafür aufbauen, auf die sich der DEV nur remoten darf.
 
ev4x schrieb:
Kumpel hat das bei ChatGPT gemacht und die KI ist aus der Sandbox ausgebrochen und konnte Powershell Befehle als Administrator ausführen.
Wie bitte kann soll sich Codex ohne Adminrechte plötzlich Adminrechte beschaffen!?
Codex wurde hier offensichtlich mit Adminrechten ausgeführt...
Ergänzung ()

Brrr schrieb:
Wir streiten uns hier nur um Semantik. Wem das passiert ist selber schuld, da bin ich bei dir. Nur störe ich mich an dem Wort Prüfung. Wer sauber isoliert, braucht das gar nicht zu prüfen.
Da bin ich bei dir.
Agenten machen heute Fehler, auch wen isoliert.
1784212596480.png

Ich habe hier gerade so einen Fall, Grok-Build 4.5 und Codex GPT5.6-Sol sind die Worker, sie teilen sich die arbeit 50:50 auf, und überprüfen jeweils die Arbeit des anderen.
Wenn einer von beiden einen Fehler findet, wird ein Sonnet Worker gestartet, der es nochmals überprüft, so ist mein Workflow sehr Fehler resistent.
 
Zuletzt bearbeitet:
br3adwhale schrieb:
Wenn ich einen Hammer falschrum halte bekomme ich einen Nagel auch nur schwer ins Holz. Und wenn ich nie gelernt habe wie ein Hammer idealerweise verwendet werden sollte und da auch nicht selber drauf komm, dann ist es doch naheliegend dass ich den Hammer selbst kritisiere und infrage stelle.
Man darf aber auch dann nicht vergessen: Der Hammer ändert sich wöchentlich. Du brauchst also jede Woche einen neuen Hammer-Kurs ;-)
 
  • Gefällt mir
Reaktionen: Kuristina und br3adwhale
Deshalb sind viele die seit langem KI nutzen weg von der KI.
 
  • Gefällt mir
Reaktionen: Col.Maybourne, TomH22 und Brrr
Hörensagen. :)
 
R4Z3R schrieb:
(...) weil es auch für das Bewusstsein des Menschen keine gute Definition gibt. Es ist eine Frage der Philosophie.
Ich habe mich schon länger nicht mehr damit beschäftigt (ca. 1./2. Pandemiejahr oä.), deswegen ist mein Wissensstand eventuell veraltet, aber in meinem nun eventuell veralteten Wissensstand sprach die Philosophie schon länger nicht mehr von Bewusstsein (Consciousness), sondern von Self-Awareness und rätselte, ob das nicht immernoch die falsche Begrifflichkeit für das ist, was wir da zu definieren versuchen. Aber ja, wir haben das Problem, was das ist, nicht gelöst - das ist Philosophie. Aber das hat uns jetzt weg von dem geführt, was dein Vorredner mit Bewusstsein meinte, der meinte ja eher ein Verstehen - Bewusstsein bzw. Self-Awareness ist Philosophie des Geistes, Verstehen ist Epistemologie, auch ein Gebiet der Philosophie. Die Frage nach dem Verstehen hilft uns wiederum, zu verstehen, ob und warum es hier relevante Unterschiede zwischen Mensch und Agentic-AI gibt.
TomH22 schrieb:
Diese regelmäßigen Skynet Vergleiche sind zwar lustig, aber heutige LLMs haben eher wenig mit Skynet zu tun.
Laut der Story im Film ist Skynet eine Superintelligenz mit einem einzigen Bewusstsein, ...
Wenn Skynet das ist (ist das so? Ich kenn nur die Filme aus dem 20. Jh. und da war das nicht sicher), dann wäre vielleicht ein Vergleich mit Star Trek Discovery angebrachter. Dort hat die KI kein "Bewusstsein" bzw. keine Self-Awareness, keine Person-Eigenschaften und löscht trotzdem die Menschheit aus.
 
"Darf ich alles machen?" - "Ja, ja, ja, enter, enter, enter"
"Soll ich das hier wirklich löschen?" - "JA JA JA"

...huch, warum wurden plötzlich xyz gelöscht?!

Sorry, aber niemand bis auf ein paar Hobby-Bastler arbeiten ohne Versionskontrolle oder Backup - besonders nicht wenn man wild eine AI durchpeitscht. Selten so einen Schwachsinn gehört.

Jolly91 schrieb:
Deshalb sind viele die seit langem KI nutzen weg von der KI.
Warum? Weil sie jetzt arbeitslos sind und niemand mehr Selbstständige mit absolut unverschämten Gehaltsansprüchen braucht wenn ein Interner mit AI ca. 100x so viel leisten kann für einen Bruchteil der Kosten bei höherer Qualität?

Also unsere externen Entwickler saugen sich die wildesten Aufgaben aus den Fingern um irgendwie Stunden einreichen zu können und fragen ständig nach weiteren Projekten, weil die Auftragslage aktuell schlecht sei. Würde mich nicht wundern wenn ein paar schlaue selbstständige Entwickler durch AI mehrere Großprojekte in kürzester Zeit bearbeitet haben und jetzt nie wieder einen Finger krumm machen müssen. Dass das natürlich nicht ewig funktioniert sollte jedem klar sein.
 
  • Gefällt mir
Reaktionen: AAS
Wäre interessant, ob ein Muster dahinter steckt. Dazu müsste man aber wissen, was die jeweiligen Nutzer zuvor getan haben und welche Dateien auf welchen Systemen gelöscht wurden.

Grundsätzlich bin ich immer noch der Meinung, dass keine künstliche Intelligenz jemals haben wird, was im Alltag für sinnvollen Umgang mit wichtigen Daten nötig ist, nämlich gesunden Menschenverstand.
 
mal abgesehen davon, dass man ja ein Backup hat ( sonnst istr man eh selbst schuld ), warum sollte man chatgpt zugriff auf seine Festplatte geben?????
Ein isoliertes google drive oder so, klar, aber doch nicht die SSD????
 
AAS schrieb:
Hier ein altes Schema, aber im Grunde etwa so.

Und auf der andere Seite stehen die ganzen Kartoffeln mit ihren Mistgabeln und skandieren, wie schei*e KI doch ist, und sehen "die Blase" platzen.
Ist gruselig zu sehen, wie der Graben immer größer wird. Zugegebenermaßen ist die Evolutionskurve von AI aber wirklich ziemlich steil. Man muss da am Ball bleiben wollen.
 
  • Gefällt mir
Reaktionen: AAS
Zurück
Oben