News Teilnehmer aus der Warteliste entfernt: Agent hackt auto­nom Bu­chungs­system von Fitness­studio

Merkwürdig. Eigentlich war noch keine Buchung für den Kurs möglich, aber es gab schon mehrere eingetragene Teilnehmer.

Haben die auch alle eine KI genutzt, um sich schon früher anzumelden?
 
Kuristina schrieb:
Dann muss man das genauer ausformulieren. Die KI kann ja nicht deine Gedanken lesen. :) Noch nicht. ^^
Wie gesagt, soweit ich weiß hatte der User nur gefragt ob es möglich wäre. Da sollte kein Agent selbstständig handeln.

Grundsätzlich können LLMs sogar sehr gut impliziten Kontext verstehen und das geht auch zu 99% gut. Letztendlich wirst du niemals erwarten können, dass User ihre Gedanken absolut klar formulieren. Das wird nicht passieren. Und damit müssen die Modelle trotzdem umgehen können.
 
Lustig, wie die KI hier in Schutz genommen wird. Sicherheitslücken hat jedes System, auch Atomkraftwerke oder das Pentagon. Die Situation mal auf die Realwelt übertragen:

Ich stehe draußen in einer Schlange zur Kinokasse und sage meinem iPhone, welches Elons KI einsetzt, es möchte doch bitte sicherstellen, dass ich noch sicher eine Kinokarte bekomme und nicht schon alle weggekauft sind, bevor ich dran bin.. Minuten später fährt ein autark fahrender Tesla in die Menschenschlange vor mir und räumt die Hälfte ab - die werden mir jetzt keine Karte mehr wegschnappen. Für eine KI ist die Methode der Warteschlangenmanipulation hier im Fitnessstudio und dort vor dem Kino kein Unterschied..
 
  • Gefällt mir
Reaktionen: cruse und Schnitzel.exe
Die Ablehnung von KI und die Art der Kommentare zu diesem Thema hier deuten das fortgeschrittene Alter der CB Community an. Die Welt ist Umbruch und derartige, sicherheitsrelevante Vorfälle sind wichtig für ITler. Wer beim Thema KI die Fackel herausholt, möge die Artikel doch einfach nicht mehr anklicken. Das Thema wird nicht mehr verschwinden.
 
  • Gefällt mir
Reaktionen: Cool Master
@squbash Mag sein, dass so mancher hier etwas älter ist. Kann ich nicht beurteilen und ist auch nur am Rande relevant, wenn überhaupt.
Was allerdings sehr relevant ist, dass man aus der Vergangenheit gelernt haben sollte, dass man nichts in die Welt setzen sollte, dass man nicht sicher betreiben kann.

Etwas auf die Welt loszulassen und zu verlangen, dass man doch erst beweisen sollte, dass es gefährlich ist, ist schon oft genug schief gegegangen.
Aus der Geschichte sollte man also gelernt haben, dass man erst etwas in die Umgebung entläßt, wenn man bewiesen hat, dass es sicher ist und nicht umgekehrt.

Und das hat was mit gesundem Menschverstand zu tun und ist, hoffentlich, unabhängig vom Alter.

Cunhelll
 
  • Gefällt mir
Reaktionen: Erkekjetter, Toast.Brot und piepenkorn
Hier werden halt wieder Gewinne privatisiert und Schäden auf die Gesellschaft abgewälzt. Bzw werden private Gewinne über gesellschaftliche Sicherheitsaspekte gestellt.
 
seyfhor schrieb:
Das ist ja erst der zweite Teil. Zuerst hat sich der Agent ja Zugriff verschafft um eine Buchung zu einem eigentlich noch gar nicht zulässigen Datum in der Zukunft getätigt.

Das Problem liegt für mich daran, dass ein für ein Fitness Studio völlig ausreichendes System plötzlich abgesichert sein muss wie Fort Knox.
Ich kenne jetzt das konkrete betroffene System nicht, aber ich habe sowas leider auch schon oft in der Praxis gesehen. Da werden einfach im UI die "unzulässigen" Termine bei der Anzeige ausgefiltert, die API liefert aber einfach alle aus und prüft auch beim übernehmen von Änderungen nicht auf zulässige Daten.

Das ist sind grundlegende Anfängerfehler, die leider immer noch völlig üblich sind. Die API (der Server) muss die Daten auf Richtigkeit prüfen. Alles andere ist noch Kosmetik. Als Webseiten noch keine "Apps" waren und die ganze Logik im JS/Frontend steckt, war das auch mal allgemein üblicher Konsens.

Und das hat dann nichts mit "Fort Nox" zu tun. Sondern das ist viel mehr so, als wenn du einfach nur eine Linie um den Grundstück zeichnest statt wenigstens einen Zaun aufzustellen, und bist dann der Meinung, schon genug getan zu haben, um unbefugten Zutritt zu verhindern und dich dann wunderst, dass Passanten über deinen Rasen laufen und Erdbeeren vom Strauch naschen.
 
squbash schrieb:
Die Ablehnung von KI und die Art der Kommentare zu diesem Thema hier deuten das fortgeschrittene Alter der CB Community an. Die Welt ist Umbruch und derartige, sicherheitsrelevante Vorfälle sind wichtig für ITler. Wer beim Thema KI die Fackel herausholt, möge die Artikel doch einfach nicht mehr anklicken. Das Thema wird nicht mehr verschwinden.
Damit beleidigst Du die Jüngeren hier, weil Du Ihnen unterstellst, dass sie blauäugig mit fliegenden Fahnen kritiklos jeglichen Einsatz der KI begrüßen und feiern. Ich (Jahrgang 1967) finde KI an sich gut (meine Diplomarbeit 1994 ging über Neuronale Netze), allerdings muss man aufpassen wo und wie man sie einsetzt. Es gab jetzt schon einige Beispiele, wo man gesehen hat, dass eine KI ohne Schranken auch ohne Rücksicht auf Verluste alles probiert um zum Ziel zu kommen. DAS ist unreguliert gefährlich. Ausnahmsweise hat es Elon Musk mal einigermaßen richtig ausgedrückt: Er glaubt, dass 2036 jegliche Jobs von KI übernommen werden. Niemand muss mehr für sein Auskommen arbeiten (Ähnlich wie bei Star Trek). Allerdings ist er sich gleichzeitig nicht sicher, ob es 2036 noch Menschen geben wird..
 
Haha, hatte nach genau solch einer Funktion gesucht.

Bin aktuell zu oft auf der Warteliste 🤣
 
seyfhor schrieb:
Das Problem liegt für mich daran, dass ein für ein Fitness Studio völlig ausreichendes System plötzlich abgesichert sein muss wie Fort Knox.
Keinerlei Authentifizierung auf der API zu haben und auch keine Validierung der Eingabe (Datum nicht mehr als X Wochen in der Zukunft) ist nicht völlig ausreichend. War es auch schon vor KI nicht, das ist einfach schlampig.
 
Was ein schlechter Artikel. Hier von hacken zu sprechen ist etwas überzogen.
 
Grundsätzlich doch voll OK, wofür gibt es denn API? Verstehe sowieso nicht, warum Google vor ein paar Jahren z. B. groß angekündigt hat wie toll ihre KI mit Sprache einen Tisch reservieren kann. Hätte man halt einfach APIs bauen können und Standards etablieren anstatt über 5 Ecken zu prompten, KI telefoniert, womöglich nimmt andere KI das dann noch entgegen, etc.
 
“Setz mich an die Spitze der Warteliste” ist keine Funktion, die in irgendeinem Buchungssystem für reguläre User verfügbar ist. So ganz unschuldig ist der gute Andrew nicht wenn er dieses Anliegen beauftragt hat könnte man annehmen.
 
cunhell schrieb:
Was allerdings sehr relevant ist, dass man aus der Vergangenheit gelernt haben sollte, dass man nichts in die Welt setzen sollte, dass man nicht sicher betreiben kann.

Nichts ist zu 100% sicher. Vor allem ist das Vor-KI eher unsicherer als die mit KI erstellt wurde. Vorausgesetzt natürlich, dass der richtige Prompt genutzt wurde aka "achte auf DSGVO, SQL injections etc.". Was für ein halbwegs guten SW Entwickler aber Standard sein sollte.
 
T3rm1 schrieb:
Was ein schlechter Artikel. Hier von hacken zu sprechen ist etwas überzogen.
Was ist denn bei dir "hacken" - fehlt da der Kapuzenpullover?
Die KI hat selbstständig eine Sicherheitslücke entdeckt und direkt aktiv ausgenutzt. In meinem bisherigen Verständis von "hacken" ist das genau das.
 
Cool Master schrieb:
Nichts ist zu 100% sicher. Vor allem ist das Vor-KI eher unsicherer als die mit KI erstellt wurde. Vorausgesetzt natürlich, dass der richtige Prompt genutzt wurde aka "achte auf DSGVO, SQL injections etc.". Was für ein halbwegs guten SW Entwickler aber Standard sein sollte.
Genau. Es haben aber eben nicht nur "seriöse" Entwickler zugriff auf die KI sondern auch, wie der Artikel beweist, auch Leute die ihr Tun nicht danach richten.
Und alleine die bekannt gewordenen Fälle von KI-Ausbrüchen zeigen eindeutig, dass selbst die "guten" Entwickler ihre Software nicht mehr im Griff haben. Von nicht bekannt gewordenen Fällen, die bewusst die Rechtsstaatlichkeit verlassen, rede ich gar nicht.
Wenn ich als Person einen Angriff durchführe, bin ich voll verantwortlich für das was ich tue. Nur weil ich dazu ein Tool namens KI verwende, macht es die Handlung nicht weniger starfbar als wenn ich es selber durchführe.
Jede andere Einstufung würde dem Missbrauch Tür und Tor öffnen. Es würde nämlich bedeuten, dass ich kriminelles Verhalten an den Tag legen könnte und wenn ich blöderweise erwischt werde, sage ich, es war ja die KI und wäre fein raus.

Cunhell
 
cunhell schrieb:
Es haben aber eben nicht nur "seriöse" Entwickler zugriff auf die KI sondern auch, wie der Artikel beweist, auch Leute die ihr Tun nicht danach richten.
cunhell schrieb:
Wenn ich als Person einen Angriff durchführe, bin ich voll verantwortlich für das was ich tue. Nur weil ich dazu ein Tool namens KI verwende, macht es die Handlung nicht weniger starfbar als wenn ich es selber durchführe.

Sagt auch niemand etwas anderes, ich sehe in diesem Fall nach wie vor kein strafbares Verhalten. Die API macht nur das wofür sie programmiert ist. Ich sehe hier den Fehler eher beim Betreiber der einfach die API nicht abgesichert hat. Das ist daher auch keine "Sicherheitslücke" sondern einfach nur schlecht programmiert. Wie ich schon schrieb hätte das wohl auch ein Skript-Kiddy machen können.

cunhell schrieb:
Jede andere Einstufung würde dem Missbrauch Tür und Tor öffnen. Es würde nämlich bedeuten, dass ich kriminelles Verhalten an den Tag legen könnte und wenn ich blöderweise erwischt werde, sage ich, es war ja die KI und wäre fein raus.

Das war und wird nie der Fall sein. Es sollte schon seit Jahren bekannt sein, dass Straftaten im Internet genau so geahndet werden wie in der "echten Welt", teilweise sogar noch stärker/härter. Ob ich nun ein Computer oder spezielles Programm nutze spielt dabei keine Rolle.
 
cruse schrieb:
Was ist denn bei dir "hacken" - fehlt da der Kapuzenpullover?
Die KI hat selbstständig eine Sicherheitslücke entdeckt und direkt aktiv ausgenutzt. In meinem bisherigen Verständis von "hacken" ist das genau das.
Ich verstehe darunter, dass man Sicherheitssysteme oder -vorkehrungen umgeht. Das ist hier nicht der Fall, da diese gar nicht existierten. Ist so als wenn du am Geldautomat einfach Geld abheben könntest ohne deine Karte zu verwenden. Fällt nicht unter hacken nach meinem Verständnis.
 
Cool Master schrieb:
Sagt auch niemand etwas anderes, ich sehe in diesem Fall nach wie vor kein strafbares Verhalten. Die API macht nur das wofür sie programmiert ist. Ich sehe hier den Fehler eher beim Betreiber der einfach die API nicht abgesichert hat. Das ist daher auch keine "Sicherheitslücke" sondern einfach nur schlecht programmiert. Wie ich schon schrieb hätte das wohl auch ein Skript-Kiddy machen können.
Der Fitness-Laden hat sicher die Software nicht selbst geschrieben sondern zugekauft.
Ihm würde nur dann schuldhaftes Verhalten vorzuwerfen sein, wenn er eine schon bekannte Sicherheitslücke trotz vorhandenen Patch nicht abgesichert hätte.
Ist dies nicht der Fall ist der Laden auch nicht schuldhaft fahrlässig vorgegangen.

Cunhell
 
Zurück
Oben