News Hunderte Datenbanken offen im Netz: KI-Agenten übernehmen unsichere Voreinstellungen ohne Kontrolle

[Der Nachbar]

Wenn ein künstlicher Agent nicht die Qualifikation einer Hilfskraft besitzt. Wer ist wohl am Ende teurer?

Was gravierender ist, das die KI Unternehmen nicht die komplexen Zusammenhänge von Handlungen und Wirkungen begreifen und flexible Produkte verkaufen wollen, die alles können sollen und oft nicht mal spezialisierte Tools die Voraussetzungen erfüllen.

Wer will solch einem Agenten seine Wohnungsschlüssel geben?

 

[Calamyt1]

Prüft denn niemand mehr die Einstellungen?
Wie kommt es, dass bei KI so unkritisch jeder Slop geschluckt wird und alle Sicherheitsbedenken über Bord geworfen werden?
Ist das alles FOMO?

Traurigerweise hast du recht.
Es wird einfach ohne rücksicht auf verluste ein Ki schmarrn nach dem anderen rausgehauen nur weil sies können und weil sie sehen wollen welcher mist dann an der wand kleben bleibt.

 

[Cyberpunk61]

Mann wer hätte das gedacht, dass es einmal soweit kommt...
Auch interessant folgender Vorfall: https://winfuture.de/news,1583541.html
Zumindest hat die KI ihren Fehler eingesehen, kann ja mal passieren.

 

[Calamyt1]

@Cyberpunk61
Wow der ITler der das dann wieder gerade biegen muss möchte ich nicht sein.
Passiert halt wenn man sich ohne kontrolle auf so etwas verlässt

 

[SheepShaver]

Und das zeigt wieder das spezielle SaaS-Tools/ Software nicht durch Ki Agenten "aktuell" ersetzt werden kann v.a. Cyber Security und IT-Service-Management.

Nie die KI machen lassen, was man prinzipiell nicht auch selber machen könnte.
Dann ist sie ein sehr hilfreiches Werkzeug.

Ergänzung (Heute um 13:24)

Zumindest hat die KI ihren Fehler eingesehen, kann ja mal passieren.

Verantwortlich ist der Mensch, der die KI nutzt.

 

[BxBender]

bei einer Autovermietung hat der neue KI-Agent in 9 Sekunden sämtliche Datenbanken und deren Backups gelöscht, 3 Monate Datenstamm sind weg udn alel superglücklich darüber, yeah!
gerade in den Nachrichten gelesen
krass, wie gutgläubig und naiv die Menschen sind

 

[Kuristina]

Naja, man muss mit den Werkzeugen auch umgehen können. Wie bei anderen Werkzeugen auch.

 

[KainerM]

Ja, aber die wenigsten Werkzeuge können so viel Schaden anrichten wie eine schlecht eingesetzte KI... Das ist ja das Problem: Man muss nicht viel wissen/können, um mit einer KI viel Schaden anzurichten. Und die Schwelle "funktioniert ja eh" ist halt leider schnell erreicht, und das ist dann "gut genug".

mfg

 

[the_IT_Guy]

Zumindest hat die KI ihren Fehler eingesehen, kann ja mal passieren.

Gleicher Vibe 😉

 

[Conqi]

Finde ich sehr gut. Es muss noch richtig, richtig wehtun, bis es der Letzte verstanden hat.

Es tat schon sehr vielen Firmen sehr doll weh. Sowohl was KI-Agenten angeht als auch IT-Security im Allgemeinen. Lernen tun daraus aber viele gar nichts so lange es sie nicht explizit selbst trifft.

Wobei selbst das nicht reicht. Als ob ein nennenswerter Teil der Websitebetreiber, die es hier getroffen hat, jetzt sein Vorgehen überdenkt. Man ist ja nochmal glimpflich davongekommen.

sondern auch mal die AI Anweisen ein Security Audit durchzuführen

"Entdecke alle Schwachstellen. Mache keine Fehler."
Das Problem ist, dass ein LLM nicht reproduzierbar und vorhersagbar arbeitet. Es ist sehr gut möglich, dass sowas Simples wie eine ungesicherte Datenbank einfach übersehen wird und wenn man selbst keine Ahnung hat weiß man natürlich auch nicht, wonach man gucken muss.

bei einer Autovermietung hat der neue KI-Agent in 9 Sekunden sämtliche Datenbanken und deren Backups gelöscht, 3 Monate Datenstamm sind weg udn alel superglücklich darüber, yeah!

Wobei man so ehrlich sein und sagen muss: wenn man in wenigen Sekunden die vorhandenen Backups löschen kann, waren sie auch nur eine mittelgute Ransomware weg davon, alles zu verlieren.

 

[alyk.brevin]

man sollte wohl in der agents.md hinterlegen, dass iso 25010:2023 eingehalten werden muss und auf owasp top10:2025 getestet werden muss.

https://agents.md/
https://www.iso.org/standard/78176.html
https://owasp.org/Top10/2025/

 

[Calamyt1]

Neues geiles Ki Video gedroppt von einem Channel von dem ich es nicht erwartet hätte.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[KeinNutzerName]

Ich bin über die Meldung nicht überrascht und warte auf die KI-Fans die sich das irgendwie schönreden oder kleinreden. Macht Ihr mal. Welches Popkorn nehm ich Heute.. Ohne KI gibts schon genug Menschen die Fehler machen, nun ist die teure KI am Zug.

 

[aid0nex]

Man muss echt vorsichtig sein was man die KIs so coden und konfigurieren lässt: Ich habe Gemini neulich mal die offenen Vorschläge bzw. best practices aus meiner Nextcloud lösen lassen. Beim nächsten Minor Update kam dann ein Access Error beim Schreiben... Hat mich stundenlang manuelles Suchen gekostet, was genau die KI da zerschossen hat. Gemini selbst meinte das wäre mit einem einfachen chown gelöst, war es natürlich nicht. Und das ist nur ein kleines Privatprojekt und nichts womit man Geld verdient...

 

[metoer]

KI Agenten sind eben sehr soziale Geschöpfe, der Code Agent stellt einfach sicher das der Sicherheitslücken Agent genug Arbeit hat.

 

[Calamyt1]

@Meteor
Ja die Ki ist so nett und sorgt dafür das wir alle genug arbeit haben.
Danke Ki seist du gesegnet.
Ich lach mich tot. 😭
Manchmal kann man doch noch ein bischen spaß haben.