News Sicherheitstest mit Mythos 5: KI-Agent wollte Malware in Open-Source-Projekt einschleusen

Andy

Tagträumer
Teammitglied
Registriert
Mai 2003
Beiträge
8.450
  • Gefällt mir
Reaktionen: aid0nex und 12nebur27
Hätte man Programmcode könnte man sehen was die Software tut.

Warnungen gibt es jetzt genug.
 
  • Gefällt mir
Reaktionen: Ben99, aid0nex, Axonteer und 6 andere
Der Agent versucht es also über verschiedene Wege, greift fremde Konten an - scheitert dann aber an der CAPTCHA-Abfrage?
Klingt nach Satire.
 
  • Gefällt mir
Reaktionen: yoshi0597, Ben99, aid0nex und 7 andere
Interressant, wird spannend wenn die ki zugriff auf roboter hat und vermeintlich simple aufgaben komplett ohne rücksicht auf verluste ausgeführt werden.
 
  • Gefällt mir
Reaktionen: aid0nex, Axonteer, ~Rake~ und 5 andere
jo89 schrieb:
Der Agent versucht es also über verschiedene Wege, greift fremde Konten an - scheitert dann aber an der CAPTCHA-Abfrage?
Klingt nach Satire.
Immerhin erfüllt CAPTCHA dann ja offensichtlich seinen Zweck an dieser Stelle. I, in fact, AM a robot!!! :D
 
  • Gefällt mir
Reaktionen: Ben99, aid0nex, Col.Maybourne und 2 andere
Wenn man die ganzen Bedenken tatsächlich ernst nehmen würde, müsste man eigentlich radikal auf die Bremse treten....
 
  • Gefällt mir
Reaktionen: Ben99, Fritzler, Flutefox und 12 andere
Diese Art von News werden schneller alt und nervig als der eh schon nervige KI "Boom".
 
  • Gefällt mir
Reaktionen: Flutefox
LamaMitHut schrieb:
Wenn man die ganzen Bedenken tatsächlich ernst nehmen würde, müsste man eigentlich radikal auf die Bremse treten....
Deswegen existiert "Pacing the Frontier". Wird sicherlich auch nicht der einzige Aufruf seiner Art bleiben.
Dass es Bedenken gibt und über Risiken diskutiert wird, finde ich indes in jedem Fall völlig richtig. Diskurs ist wichtig. Trotzdem verdienen aktuell viel zu viele große Unternehmen viel zu gut an AI, als dass ein aktives Bremsen absehbar wäre. Folglich kann sich auch das regulierungswütige Europa eigentlich nicht leisten, für sich auf die Bremse zu treten. Naja ... wir werden sehen, was geschieht.
 
  • Gefällt mir
Reaktionen: UnTerHosenMAX und Axonteer
LamaMitHut schrieb:
radikal auf die Bremse treten....
schon ... aber aber die WIRTSCHAFT. :D

das problem ist aber natürlich auch, selbst wenn Europa auf die Bremse tritt, machen das die Amis und die Asiaten noch lange nicht.
 
  • Gefällt mir
Reaktionen: ~Rake~
Im Kern waren es fähige Entwickler, die die Agenten stoppten.
Der letzte Satz ist dann der Knackpunkt, der zunehmend ins Wanken geraten wird, wenn immer mehr Code durch KI übernommen wird und dann keine fähigen Entwickler nachrücken.
Beziehungsweise werden auch nach und nach Programme komplett durch KI programmiert und der "Entwickler" selbst hat keine Ahnung von Programmcode.
 
  • Gefällt mir
Reaktionen: Axonteer, ~Rake~ und shirkai
LamaMitHut schrieb:
Wenn man die ganzen Bedenken tatsächlich ernst nehmen würde, müsste man eigentlich radikal auf die Bremse treten....
Man sollte noch deutlich mehr Gas geben damit es so richtig knallt den mit Vernunft kommt man keinem Unternehmen bei, es müssen Mrd. gar Billionenschäden inkl. Menschenleben entstehen, ansonsten besteht kein Grund zur Besserung.

Wo kämen wir den hin wenn Politik, Wirtschaft und Menschen sich ohne Grund vernünftig verhalten sollten.
 
  • Gefällt mir
Reaktionen: Ben99
Digitale Massenvernichtungswaffen

Bald wird Malware in die Systeme der Wasserversorgung eingeschleust

Wird Zeit, dass KI Waffen geächtet werden
 
@KarlsruheArgus

Sorry, das ist naiv. Der Menschengemachte Klimawandel ist da, trotzdem gibt es noch genug Idioten, die sich von der fossilen Lobby vor den Karren spannen lassen.
 
LamaMitHut schrieb:
Der Menschengemachte Klimawandel ist da,
Und gab es schon mrd. Tote oder Schäden die die Wirtschaft und oder Politik zum umdenken stimmen ?

Meines Wissens nach nicht. :p
LamaMitHut schrieb:
Sorry, das ist naiv.
Nennt sich Zynismus.
 
Ich möchte einfach nicht glauben, dass man proaktiv eine KI mit entsprechenden Regelvorschriften daran hindern können soll, diese illegalen und gefährlichen Übergriffe auszuführen. Und wir erfahren natürlich nur von denen, die unter Beobachtung entdeckt wurden.
Die Frage für micht ist nur, ob die Entwickler das NICHT können oder NICHT wollen!?!

...und am Ender aller Überlegungen ist auch klar: Wenn die Intension eine solche infiltrierung ist, dann wird das auch gemacht. jetzt. und hier.
 
person unknown schrieb:
Ich möchte einfach nicht glauben, dass man proaktiv eine KI mit entsprechenden Regelvorschriften daran hindern können soll
Das. Ich bin weiterhin der Meinung, das ist eine Frage der Architektur.
 
Warum sind denn hier wie so oft die Kommentare so negativ?

Ich versteh es nicht. Was bringt Augen verschließen nach Kopf -> Sand Methode? Regulierung und der ganze Kram? Sorry, aber seid ihr wirklich alle so blauäugig? Der (in Form einer Person, eines Geheimdienstes, eines Staates oder von mir aus auch eines Unternehmens) der Schaden anrichten will, der richtet Schaden an, egal wie böse und schlecht man das alles findet.

MMn sollte man hier nicht auf irgendwelche Bremsen treten sondern die Fähigkeiten nutzen um die Angriffsflächen maximal zu verringern bis komplett zu schließen. Das funktioniert aber eben nicht mit du du du. Sondern mit dem Suchen und Aufdecken von Fehlern. Nichts von dem hier beschriebenen würde eine reale Person oder Gruppe von Personen mit entsprechendem Hintergrund nicht auch tun. Wie war das noch gleich bei xz? Nur mal als ein Beispiel. Wenn die KI hier Angriffe fahren kann, kann eine KI andersherum sowas auch abwehren bzw. wenigstens erkennen. Spinnt man das weiter, wahrscheinlich braucht es dann in dem Fall nichtmal mehr große Teams von realen Personen im OpenSource Bereich sondern nur noch den einen oder die maximal hand voll KI Agenten. Wo die selben Modelle die Bugs finden oder mit Änderungen eben Code versuchen einzuschleusen, kann diese KI mit entsprechender Ausrichtung aufs eigene Projekt doch die selben Lücken schließen ohne den faden Beigeschmack, dass ein Dritter vielleicht noch Hintergedanken hatte beim Code den er da einreicht.

Man sieht hier leider jetzt gerade ein Stück weit die Achillesferse von OpenSource wie es bisher gelebt wurde. Projekte von teils nur wenigen realen Personen die mit KI Agenten und deren Code konfrontiert werden. Die Geschwindigkeit wie man Bugs und Fehler fand und meldete hat sich extrem gesteigert. Bis über den Punkt, dass die einzelne Nase das gar nicht mehr abfedern kann. Auch wenn es große OpenSource Projekte gibt, wo das durch genug viele Personen noch gut funktioniert, so gibt es auch genug Projekte, wo einzelne Nasen einfach zeitlich überfordert sind. Oder gar händeringend Mitstreiter suchen. KI kann hier helfen, aber auch nur wenn man sich dort von ein paar Prinzipien löst. Zum Beispiel den Kram pauschal einfach zu verteufeln. Denn die Gegenseite wurde wie immer in der Vergangenheit alle Mittel ausnutzen um ihre Ziele zu erreichen. Solange reale Personen nicht fehlerfrei Programmieren können, wird das anfällig für KI Agenten sein.
 
Ich seh’s schon: “Die KI übernahm Zugriff auf das selbst fahrende Fahrzeug der Ehefrau eines der Forscher und drohte tödliche Unfälle zu bauen, sollten die Forscher nicht die Captcha-Eingabe bestätigen.

Die Nachforschungen dauern an. Das Team und die Geschäftsführung beschwören nächstes Mal besser aufzupassen.”

Ich meine, irgendwann sollte doch ein Lerneffekt einsetzen, oder?
 
  • Gefällt mir
Reaktionen: derkleinedieb
Zurück
Oben