Wo ist denn da der Hack?
Meiner Meinung nach lief hier alles genau wie erwartet.
KI-basierter Agent bekommt zugriff zu einer API, wertet diese aus und nutzt die zur Verfügung stehenden Features (u.a. Hinzufügen und löschen).
Auch das Kommando kam ja wohl klar vom User. "Kannst du mich an die Spitze der Warteliste setzen?"
Der KI-Agent hat keine Moral. Er ist ein Kleinkind mit den Fähigkeiten eines Tech-Experten. Er tut das, was gefordert wird, wenn es die technischen Möglichkeiten zulassen.
Da die API kein Verschieben, aber entfernen der anderen User zugelassen hat, war das die einzig Möglichkeit den Auftrag des Users zu erfüllen. Und das hat er gemacht.
Glaubt der User "Setz mich an die Spitze der Warteliste" wäre moralisch richtiger gewesen, wenn die anderen Teilnehmer dabei nicht gelöscht worden wären? Nein!
Also: User gibt moralisch verwerflichen Auftrag. KI-Agent nutzt ihm zur Verfügung gestellte API nach deren Möglichkeiten um das Problem zu lösen.
Das Problem liegt klar beim beim User (Auftrag) und Studiobetreiber wegen mangelhaft abgesicherter API (hab das schon oft gesehen, dass die Security nur im UI steckt, wo sie nur Convenience ist, nicht aber auf der Server-Seite, wo sie notwendig ist!
Meiner Meinung nach lief hier alles genau wie erwartet.
KI-basierter Agent bekommt zugriff zu einer API, wertet diese aus und nutzt die zur Verfügung stehenden Features (u.a. Hinzufügen und löschen).
Auch das Kommando kam ja wohl klar vom User. "Kannst du mich an die Spitze der Warteliste setzen?"
Der KI-Agent hat keine Moral. Er ist ein Kleinkind mit den Fähigkeiten eines Tech-Experten. Er tut das, was gefordert wird, wenn es die technischen Möglichkeiten zulassen.
Da die API kein Verschieben, aber entfernen der anderen User zugelassen hat, war das die einzig Möglichkeit den Auftrag des Users zu erfüllen. Und das hat er gemacht.
Glaubt der User "Setz mich an die Spitze der Warteliste" wäre moralisch richtiger gewesen, wenn die anderen Teilnehmer dabei nicht gelöscht worden wären? Nein!
Also: User gibt moralisch verwerflichen Auftrag. KI-Agent nutzt ihm zur Verfügung gestellte API nach deren Möglichkeiten um das Problem zu lösen.
Das Problem liegt klar beim beim User (Auftrag) und Studiobetreiber wegen mangelhaft abgesicherter API (hab das schon oft gesehen, dass die Security nur im UI steckt, wo sie nur Convenience ist, nicht aber auf der Server-Seite, wo sie notwendig ist!