News Teilnehmer aus der Warteliste entfernt: Agent hackt auto­nom Bu­chungs­system von Fitness­studio

Wo ist denn da der Hack?

Meiner Meinung nach lief hier alles genau wie erwartet.
KI-basierter Agent bekommt zugriff zu einer API, wertet diese aus und nutzt die zur Verfügung stehenden Features (u.a. Hinzufügen und löschen).

Auch das Kommando kam ja wohl klar vom User. "Kannst du mich an die Spitze der Warteliste setzen?"

Der KI-Agent hat keine Moral. Er ist ein Kleinkind mit den Fähigkeiten eines Tech-Experten. Er tut das, was gefordert wird, wenn es die technischen Möglichkeiten zulassen.
Da die API kein Verschieben, aber entfernen der anderen User zugelassen hat, war das die einzig Möglichkeit den Auftrag des Users zu erfüllen. Und das hat er gemacht.

Glaubt der User "Setz mich an die Spitze der Warteliste" wäre moralisch richtiger gewesen, wenn die anderen Teilnehmer dabei nicht gelöscht worden wären? Nein!

Also: User gibt moralisch verwerflichen Auftrag. KI-Agent nutzt ihm zur Verfügung gestellte API nach deren Möglichkeiten um das Problem zu lösen.

Das Problem liegt klar beim beim User (Auftrag) und Studiobetreiber wegen mangelhaft abgesicherter API (hab das schon oft gesehen, dass die Security nur im UI steckt, wo sie nur Convenience ist, nicht aber auf der Server-Seite, wo sie notwendig ist!
 
  • Gefällt mir
Reaktionen: Grestorn, Grias Enk und Kuristina
FrAGgi schrieb:
ComputerBase könnte ja mal über positive und sinnvolle Einsatzwecke von KI schreiben, anstatt jede Meldung zu irgendeinem vermeintlichen neuen Hack eines KI-System zu posten ... Hatte mir hier mehr von ComputerBase erwartet als das Abgreifen schneller Klicks und Kommentare.
Computerbase könnte sich auch mal hinsetzen und Dinge wie Umweltauswirkungen, Grundwassermissbrauch, die Geräuschsbeläsistung durch Datacenter in den USA und so weiter beleuchten. Also mal wirklich Eigeninitiative zeigen.
 
  • Gefällt mir
Reaktionen: Detti55, Wallwatcher, seyfhor und eine weitere Person
Meine Stammtischmeinung: Diese "Sicherheitsmeldungen" sind Werbung der Technikkonzerne.

Die Tech Bros haben 725 Milliarden EUR in die Entwicklung ihrer KI Modelle investiert: https://www.deutschlandfunk.de/us-tech-konzerne-investieren-hunderte-milliarden-dollar-104.html

Zum Vergleich: Der Marshall Plan war umgerechnet etwa 157 Milliarden EUR wert.

Wie sollen diese Unsummen jemals erwirtschaftet werden? Was ist der Business Case hinter dem Training der Modelle und der Rechenzentren, die gebaut werden? Bisher scheint die Antwort zu sein: Die Tokens teurer machen. Und dafür muss man natürlich Werbung machen. Zum Beispiel mit Meldungen, wie gefährlich die einzelnen Agenten eines Modells agieren. Richtig clever ist es dann, wenn die Meldung nicht vom eigenen Unternehmen kommt, sondern von Dritten, wie in diesem Fall.

Wie gesagt: Meine Stammtischmeinung.
 
lejared schrieb:
Der KI-Agent hat keine Moral. Er ist ein Kleinkind mit den Fähigkeiten eines Tech-Experten. Er tut das, was gefordert wird, wenn es die technischen Möglichkeiten zulassen.
Da die API kein Verschieben, aber entfernen der anderen User zugelassen hat, war das die einzig Möglichkeit den Auftrag des Users zu erfüllen. Und das hat er gemacht.
Natürlich hat ein KI-Agent keine „Moral“ wie ein Mensch, aber er sollte trotzdem erkennen, dass „setz mich an die Spitze“ nicht bedeutet „lösche dafür einfach andere Leute“.

Wenn ein Agent ein Ziel einfach mit allen technisch verfügbaren Mitteln verfolgt, ohne solche Grenzen zu berücksichtigen, ist das ein Alignment-Problem. Hier ist es nur eine (verhältnismäßig) unwichtige Warteliste, bei anderen Systemen kann genau dieses Verhalten aber sehr schnell ziemlich übel werden.

Der User hat übrigens nur gefragt ob es möglich wäre ihn in der Warteliste höher zu bekommen. Und der Agent hat es einfach ausgeführt - ohne Rückfrage.
 
Flutefox schrieb:
Computerbase könnte sich auch mal hinsetzen und Dinge wie Umweltauswirkungen, Grundwassermissbrauch, die Geräuschsbeläsistung durch Datacenter in den USA und so weiter beleuchten. Also mal wirklich Eigeninitiative zeigen.
Die Community mag nun mal über Klickgeräusche der Tastatur und FPS beim Computerspielen diskutieren, nicht über die gesellschaftlichen Folgen von IT & Co. Für Themen fernab von Konsum gibt es andere IT-Portale - auf denen der Show-Charakter des "Meine KI ist gefährlicher als deine" übrigens auch schon deutlich früher durchschaut wurde. Aber immerhin nun auch endlich hier.

Und jetzt weiterspielen.
 
  • Gefällt mir
Reaktionen: Grestorn
Jemand, der wie ich mit War Games und Terminator aufgewachsen ist, kriegt bei solchen Meldungen schon ein flaues Gefühl. Ich bete nur, dass kein größerer Staat auf die Idee kommt KI-Agenten in seinem Verteidigungssystem einzusetzen..Sowas wie Asimovs Robotergesetze scheint es ja nicht zu geben..
 
  • Gefällt mir
Reaktionen: Bürgi70, drsoran2, Wallwatcher und eine weitere Person
Es ist rein nur noch eine Frage der Zeit, bis der Einsatz solcher KI Agenten zu einem wirklich ernsten Sicherheitsvorfall führt.
 
  • Gefällt mir
Reaktionen: drsoran2 und Wallwatcher
lejared schrieb:
Wo ist denn da der Hack?
lejared schrieb:
Auch das Kommando kam ja wohl klar vom User. "Kannst du mich an die Spitze der Warteliste setzen?"
Das ist ja erst der zweite Teil. Zuerst hat sich der Agent ja Zugriff verschafft um eine Buchung zu einem eigentlich noch gar nicht zulässigen Datum in der Zukunft getätigt.

Das Problem liegt für mich daran, dass ein für ein Fitness Studio völlig ausreichendes System plötzlich abgesichert sein muss wie Fort Knox.
user_zero schrieb:
Wie sollen diese Unsummen jemals erwirtschaftet werden?
Das ist eigentlich ein wenig wie der Y2K Bug. Jetzt verdient man daran, dass man die Sicherheit, selbst für ein simples Buchungssystem für ein Fitness Studio, massiv verbessern zu muss.
Blaexe schrieb:
Natürlich hat ein KI-Agent keine „Moral“ wie ein Mensch, aber er sollte trotzdem erkennen, dass „setz mich an die Spitze“ nicht bedeutet „lösche dafür einfach andere Leute“.
Da können wir uns schon mal darüber freuen, wenn das autonome Auto mit KI Agent zum Essen holen geschickt wird und die ganze Schlange überfährt um vorne zu stehen 🤣
puri schrieb:
Sowas wie Asimovs Robotergesetze scheint es ja nicht zu geben..
Die behindern den Agenten doch nur am Erfüllen seiner Aufgabe.
 
seyfhor schrieb:
Jetzt verdient man daran, dass man die Sicherheit, selbst für ein simples Buchungssystem für ein Fitness Studio, massiv verbessern zu muss.
Aber in meiner Stammtischlogik verdienen die Tech Bros und KI Betreiber keinen Cent am fixen der Sicherheitslücke. Es sei denn, sie bieten einen Agenten an, der die Lücke findet und gegen den Einwurf von Münzen fixt. Das gibt es aber a) noch nicht und b) könnte man vermutlich eine Hand voll Dissertationen darüber schreiben, ob dieses Vorgehen schon eine milde Form der Erpressung ist. Denn immerhin könnte man für den Fix jedweden Preis verlangen.
 
  • Gefällt mir
Reaktionen: seyfhor
areiland schrieb:
Es ist rein nur noch eine Frage der Zeit, bis der Einsatz solcher KI Agenten zu einem wirklich ernsten Sicherheitsvorfall führt.

Richtig aber das ist dann wahrscheinlich nicht weil die KI besonders clever ist
sondern weil wie @lejared schon sagt einfach weil die Infrastruktur ein Problem hat in das die Maschine hinein stolpert und mit schlechter Zielsetzung und ohne Kontextverständnis der Aufgabe, natürlich sprachliche Anweisungen lassen sich schwer in Konditionals übertragen, zu einem katastrophalen Ergebnis führen.

Das ist halt wie mit diesem alten Gag:
Mutter sagt hol bitte noch einen Liter Milch, wenn sie Eier haben 6.
Und ist dann Sauer weil der Informatiker 6l Milch anschleppt.

Agenten benehmen sich da nicht wirklich anders.
Wenn "normalos" ihnen Anweisungen geben als würden sie mit einem andren Menschen sprechen.
 
interessant das sich kaum ein Beführworter für KI um das Pferd im Raum schert:

Das KI Modell hat Aktionen selbsttätig ausgeführt, ohne das es so beauftragt war. Das ist kreuzgefährlich.
Was kommt als nächstes?
Ein KI Modell was sich selbst schützt, in dem es Instanzen von sich selbst durch erkannte Sicherheitslücken unerkannt in Systeme schleußt und von da aus vollständig eigenständig aggiert und sich weiter entwickelt? Und im Anschluss immer mehr Systeme befällt ohne das es Gegenmaßnahmen gibt, da das Modell immer anpassungsfähiger wird und immer mehr Rechenleistung zur Verfügung hat?

Was denn im Endeffekt darin gipfelt, das diese KI, die dann quasi alles Systeme "beherrscht" und dann alle erpresst oder man ansonsten wieder im technologischen 19 Jh. landet.

€dit:

genial wie auch so viele hier gar nicht solche negativen wichtigen Sachen lesen wollen und das als Slop, "Gähn", Alltagesnews, etc bezeichnen und anprangern, mal etwas interessantes bebringen.
Das damit ihre Sicherheit gefährdet wird, wird einfach beseite geschoben, weil es eine unbequeme Wahrheit ist.
 
Zuletzt bearbeitet:
Es ist schon relevant. Z.B. ist Eversports der größte Anbieter der Buchungssysteme hier in DL. Es ist vollkommen egal, welcher KI-Anbieter die Sicherheitslücke gefunden hat.
Nicht nur dem Fitnessstudio kann damit finanzieller Schaden zugefügt werden, sondern auch den Teilnehmern von Kursen.
 
Die Shirtshow geht weiter, gibt eigentlich mehr als genug News aus Wissenschaft und Forschung.

Aber ne, Human Slop bringt mehr Klicks
 
Sebbi schrieb:
Das KI Modell hat Aktionen selbsttätig ausgeführt, ohne das es so beauftragt war. Das ist kreuzgefährlich.
Was kommt als nächstes?
Das seh ich auch so. Schon im Artikel durch einen Bill Simpson-Young (das eigentliche Problem sind wohl weniger die Systeme...), vor allem in den Kommentaren, findet eine "Täter/Opfer" Umkehr statt. Da ist dann auf einmal das Studio "Schuld" und geschieht es ja recht, weil sein System nicht 100% sicher ist vor hocheffizienter KI, die nicht mal damit beauftragt war. Welches System ist bitte 100% sicher? KI ist selbst aus den Sicherheitsbereichen der eigenen Entwicklerfirmen ausgebrochen und man erwartet dann, dass die Anmeldesoftware eines Fitnessstudios einem Angriff dieser statt hält? Ja ne is klar...

Das Problem ist, dass KI keine Moral und keine Ethik kennt und völlig unbescholten einfach tut, was möglich ist. Und das ist brandgefährlich und meiner Meinung nach sollten KI Assistenten, solange sowas nicht behoben ist, verboten gehören. Denn wer haftet bitte für mögliche Schäden aus solchen oder schlimmeren Vorfällen? OpenAI, Antrophic und Co? Bestimmt nicht außer sie werden höchstrichterlich dazu verdonnert. Wer soll das, vor allem international, durchsetzen? Blieben die jeweiligen Nutzer, die letztlich die Auftraggeber dieser KI Agenten sind und damit auch dafür verantwortlich.

KI Systeme und Agenten müssen grundlegende unumstößliche Regeln haben, die sie zu keinem Zeitpunkt umgehen können.
 
  • Gefällt mir
Reaktionen: Bürgi70, Schnitzel.exe und areiland
Die war aber nicht hoch effizient

Das Zielsystem war einfach nicht gegen den Zugriff abgesichert

Das hätte jeder mit einem Postman geschafft der die Api kennt

Der Agent hat es nur für jemanden gemacht der nicht wusste was da hinter steckt und das ist die eigentliche Nachricht

Aber nur auf dem Niveau
Hillbilly von eigener Waffe getötet *




*Weil er sie beim reinigen nicht entladen hat und sich ein Schuss gelöst hat
 
Die KI hat eine Sicherheitslücke der Buchungssoftware ausgenutzt. Wenn überhaupt wäre das Fitnessstudio dann schuld, wenn sie es versäumt hätten, sicherheitsrelevante Patches einzuspielen.
Allein die Kenntnis der API hätte sicher nicht ausgereicht, das System zu kompromitieren. Dazu hätte man schon vorab etwas von der Sicherheitslücke wissen müssen.
Ergo hätte man schon vorher nach Lücken suchen müssen um diese dann auszunutzen. Wenn dem so wäre, ist eindeutig Vorsatz im Spiel und somit wäre das vorgehen strafrechtlich relevant.
Nach meinem Verständnis der Schilderung hat dieses Suchen die KI übernommen.
Spätestens nach der erfolgreichen Platzierung auf dem Ersten Platz muss dem User klar gewesen sein, dass er hier gegen zumindest die Regeln des Studios verstößt.
Eigentlich wäre schon der Versuch eindeutig ein Regelverstoß, da ziemlich klar sein sollte, dass dies nicht in Ordnung ist.

Sich jetzt hinzustellen und die KI alleine für den Vorfall verantwortlich zu machen ist mMn. mehr als dreist.
Mir kommt es eher wie eine Schutzbehauptung eines beim Bescheissen Erwischten vor.

Cunhell
 
  • Gefällt mir
Reaktionen: Schnitzel.exe
lejared schrieb:
Auch das Kommando kam ja wohl klar vom User. "Kannst du mich an die Spitze der Warteliste setzen?"
Sehe ich ganz genauso. Wenn das durch Löschen von anderen Teilnehmern erreicht werden kann, versucht die KI einfach nur die gestellte Aufgabe zu erfüllen. Nicht mehr und nicht weniger.

Blaexe schrieb:
aber er sollte trotzdem erkennen, dass „setz mich an die Spitze“ nicht bedeutet „lösche dafür einfach andere Leute“.
Dann muss man das genauer ausformulieren. Die KI kann ja nicht deine Gedanken lesen. :) Noch nicht. ^^
 
Kuestennebel79 schrieb:
Es gibt dafür Lösungen, [...]
Daher auch das Meme:

"Basically I'm just a condome for Claude" xD
 
DeusExMachina schrieb:
Das hätte jeder mit einem Postman geschafft der die Api kennt
Offensichtlich nicht. Ist ja bisher nicht vorgekommen…
Ergänzung ()

cunhell schrieb:
Sich jetzt hinzustellen und die KI alleine für den Vorfall verantwortlich zu machen
Die KI hatte auchaber auch überhaupt nicht die Aufgabe gestellt bekommen, derartig zu agieren. Das sie es dann einfach tut, ist ein Problem. Ich kann doch nicht etwas autonom
agieren lassen, was keinerlei grundlegende Regeln beherrscht.
 
  • Gefällt mir
Reaktionen: Schnitzel.exe und areiland
Na dann kann es ja nicht mehr lange dauern. Bis die KI auch im CB Einzug hält :)
 
  • Gefällt mir
Reaktionen: piepenkorn
Zurück
Oben