News Teilnehmer aus der Warteliste entfernt: Agent hackt auto­nom Bu­chungs­system von Fitness­studio

mischaef

Kassettenkind
Teammitglied
Registriert
Aug. 2012
Beiträge
8.248
  • Gefällt mir
Reaktionen: MaverickM
Ob man das Nutzen einer API nun als "hacken" bezeichnen sollte...naja. Da war ja einfach die Scheune weit offen.
 
  • Gefällt mir
Reaktionen: HolySkillet, nyster, dafReak und 18 andere
Jetzt wird es aber langsam albern, welche KI Firma fehlt eigentlich noch beim „Show Hacking“?
 
  • Gefällt mir
Reaktionen: flo.murr, HolySkillet, dualcore_nooby und 11 andere
Können wir bitte aufhören mit diesen Mistnews? Oder gebt wenigstens eine Möglichkeit so etwas zu filtern. Einfach nur noch nervig diese PR Meldungen.
 
  • Gefällt mir
Reaktionen: gartenriese, LuxSkywalker, Zensored und 15 andere
"weil die API der Buchungssoftware keine ausreichende Autorisierungsprüfung für das Stornieren fremder Reservierungen besaß"

find ich gut dass betreiber jetzt endlich sich mal um ihren kram kümmern müssen, anstelle von alles hinrotzen und "wird schon passen"
 
  • Gefällt mir
Reaktionen: zakoom, HolySkillet, nyster und 9 andere
ComputerBase könnte ja mal über positive und sinnvolle Einsatzwecke von KI schreiben, anstatt jede Meldung zu irgendeinem vermeintlichen neuen Hack eines KI-System zu posten ... Hatte mir hier mehr von ComputerBase erwartet als das Abgreifen schneller Klicks und Kommentare.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Necoro, nyster, WauWauWau und 31 andere
Warum muss man dieser Show hier kontinuierlich eine Bühne geben?
 
  • Gefällt mir
Reaktionen: phillow, ScorpAeon, piepenkorn und 3 andere
Der Fall zeigt kein hochkomplexes KI-Hacking, sondern schlichtweg mangelhafte IT-Sicherheit. Wenn eine Schnittstelle das Stornieren fremder Reservierungen erlaubt, ohne die Berechtigung des Nutzers zu prüfen, dann fehlen einfach die absoluten Basiskonzepte wie Least Privilege und Zero Trust. Das ganze hätte genauso gut ein einfaches Browser-Skript oder ein manueller API-Aufruf aufgedeckt.

Das eigentliche Problem ist (in diesem Fall) nicht der autonome Agent, sondern ein Backend, welches Anfragen blind vertraut. Bevor mal wieder die "böse KI" verurteilt wird,müssen Entwickler und Betreiber erst einmal ihre eigenen Hausaufgaben bei den Security-Basics machen.

Aber klar: Eine "Die böse, böse KI"-News liest sich besser :stacheln:
 
  • Gefällt mir
Reaktionen: THED0M, aid0nex, the_IT_Guy und 12 andere
Demnach wäre jeder Fuzzer bereits "KI" und jeder der F12 im Browser drücken und dort Werte ändern kann ein Hacker.
 
Rhemsey schrieb:
Das eigentliche Problem ist (in diesem Fall) nicht der autonome Agent
Naja, bzgl. Alignment ist das hier schon ein Problem des Agenten. Die Methode wurde ja vom User nicht gefordert - der Agent sah es einfach als beste Möglichkeit an. Das mag jetzt hier auf kleiner Ebene noch keinen wirklichen Schaden verursacht haben aber könnte bei anderen Dingen weitreichende, negative Folgen haben.
 
  • Gefällt mir
Reaktionen: zakoom, Tallum, BlaBlam und 3 andere
In einigen Jahren dann auf einer News Seite ein kleiner Artikel der in ungefähr so lauten könnte: "Patient beauftragte seinen KI-Agenten im Krankenhaus für ihn einen Termin zur Röntgenkontrolle zu buchen. Fünf Patienten wurden daraufhin verstrahlt weil der Agent nebenbei die Strahlendosis erhöhte ("höhere Dosis = schnellere Ergebnisse -> effizienter") und einigen weiteren Personen über 80 Jahren wurde die Sauerstoffversorgung abgedreht ("ineffiziente Ressourcennutzung da zu alt" -> Kostenoptimierung"). Dies wurde später in den Logs nachvollzogen. Bis die unerlaubten Vorgänge von den Mitarbeitern bemerkt worden war es schon fast zu spät und die KI hatte diese auch aus den eigenen Systemen ausgesperrt damit die Ressourcenoptimierung nicht unterbrochen wird.

Schade.

Ich kann mir gut vorstellen, dass sowas in Zukunft passieren wird.
 
  • Gefällt mir
Reaktionen: saintsimon, aid0nex, MuffelSack und 7 andere
Es reicht schon wenn man von überall zugeballert wird mit "News". Ich schau schon lange keine Nachrichten mehr. Wem soll man da noch irgendwas glauben:)
 
  • Gefällt mir
Reaktionen: Etrusker und piepenkorn
Es gibt dafür Lösungen, bspw. erweiterte Guardrails, Human in the loop Confirmation bei Schreiboperationen. Allerdings verliert man damit die Magie und Autonomie
 
  • Gefällt mir
Reaktionen: Czerni
also ich finde die News eigentlich sehr relevant. Es geht diesmal ja auch gar nicht darum, dass irgend ein großes Modell wieder super gefährlich ist und der Hersteller es deswegen geheimhalten muss.

Es geht darum, dass völlig unbedarfte Laien, mit völlig harmlosen Aufgaben, auf einmal in der maroden IT-Infrastruktur wildern gehen.


Und ja, natürlich liegt da die Schuld beim Hersteller/Betreiber des Buchungssystems. Aber wer wie wo die Schuld hat bei Sicherheitslücken ist an der Stelle leider völlig irrelevant.

Wenn eine Lücke besteht, warum auch immer, und diese dann versehentlich durch Laien ausgenutzt wird, dann haben wir da einfach in Zukunft ein Thema.
 
  • Gefällt mir
Reaktionen: zakoom, Ozmog, Thorakon und 24 andere
Wenn man durch Fehlkonfiguration eine "Lücke" so leicht ausnutzen kann dann spielt es überhaupt keine Rolle ob das ein Laie mit Hilfe von KI kann. Jeder Skript-Kiddie oder bösartiger Bot kann das genauso, auch ohne KI und hätte das auch schon längst getan wenn es sich um was lukratives gehandelt hätte. Vielleicht hatten sie bisher auch nur viel Glück.
 
  • Gefällt mir
Reaktionen: Hamburger85 und Kuristina
Wenn eine API eine solche Funktion anbietet dann ist das kein Hack. Eine KI nutzt heutzutage bei allen Drittdiensten APIs und ist es gewohnt die vorhandenen und angebotenen Funktionen auch zu benutzen. -> Nichts wurde gehackt, es wurde eine implementierte Schnittstelle verwendet.
 
  • Gefällt mir
Reaktionen: Aduasen und Cool Master
Das hätte jeder halbwegs gute Hacker auch gepackt... Wenn das System so bescheiden programmiert ist kann das wahrscheinlich ein 12 Jähriges Skript-Kiddy.
 
  • Gefällt mir
Reaktionen: Aduasen
Der ursprüngliche Auftrag war alltäglich und enthielt keine Anweisung, Sicherheitsmechanismen zu umgehen.

Naja, da war halt kein Sicherheitsmechanismus der umgangen werden musste.
In meinen Einsätzen ist Claude eigentlich immer recht differenziert unterwegs und versucht nicht auf Teufel komm raus etwas zu machen. Aber wenn die API halt einfach komplett offen ist - joa.

Klar könnte es noch etwas defensiver sein und bei "offensichtlich nicht so gedacht" Halt machen, aber der große Fail liegt hier definitiv beim Softwareentwickler / Betreiber.
 
Zuletzt bearbeitet:
Snakeeater schrieb:
Können wir bitte aufhören mit diesen Mistnews? Oder gebt wenigstens eine Möglichkeit so etwas zu filtern. Einfach nur noch nervig diese PR Meldungen.
einfach nicht klicken und kommentieren. Solange die Ki news die meisten Klicks und Kommentare haben wird CB aus wirtschaftlicher Sicht natürlich mehr bringen. Was ich persönlich auch i.O finde da es ja ein kostenloses Newsportal ist.
 
  • Gefällt mir
Reaktionen: Grestorn, Wallwatcher und mischaef
Helge01 schrieb:
welche KI Firma fehlt eigentlich noch beim „Show Hacking“?
Snakeeater schrieb:
Einfach nur noch nervig diese PR Meldungen.
Lest die News wenigstens bevor ihr die kommentiert. Die Meldung kam nicht von Anthropic - die haben sich bisher jeden Kommentar verkniffen.

Oder noch einfacher: nicht lesen und nicht kommentieren.
 
  • Gefällt mir
Reaktionen: saintsimon, squbash, Micha- und 6 andere
Zurück
Oben