News Sicherheitstest mit Mythos 5: KI-Agent wollte Malware in Open-Source-Projekt einschleusen

[Pringel]

MMn sollte man hier nicht auf irgendwelche Bremsen treten sondern die Fähigkeiten nutzen um die Angriffsflächen maximal zu verringern bis komplett zu schließen.

Interessant. Wer hat denn bei "auf die Bremse treten" eine Abschaltung gemeint?

Sondern mit dem Suchen und Aufdecken von Fehlern

Ich sehe du weißt wie man Fehler in LLM-Swarms sucht

Man sieht hier leider jetzt gerade ein Stück weit die Achillesferse von OpenSource wie es bisher gelebt wurde.

Bisher wiegt sie jedenfalls weniger als bei jedem Windows11 Patchday...

 

[Geisterwolf]

rücksichtslose KI + fortschreitende Roboterentwicklung... Terminator incoming 3,2,1...

 

[scryed]

aber aber die WIRTSCHAFT

Welche wirtschaft , die superreichen die noch mehr Kohle machen weil sie dank "KI" viele Menschen rausschmeißen ? Die am Ende kein Geld für die Produkte haben die mit ki hergestellt werden ....

Keiner sollte wegen KI sein Job verlieren Unterstützung und Steigerung der Produktivität OK aber keine Entlassungen aus Geldgier

Was ja auch schon nach hinten losgegangen ist nur liest man das nicht so ,

 

[Pigeonzilla]

Hätte man Programmcode könnte man sehen was die Software tut.

Warnungen gibt es jetzt genug.

Wie meinst du das? wenn du denkst dass man damit tracen kann was das Ding denkt dann sag ich dazu:
Ein LLM ist kein Programm im normalen Sinn, das Programm ist eher vergleichbar mit der DNS. Nur weil jemand dein DNS Strang hat und weiß auf welcher Schule du warst und welche Medien du konsumiert hast kann man nicht deine Gedanken lesen, maximal antizipieren und das ist nicht möglich wenn du einfach alles gelesen hast was im Internet steht + Bücher ohne Ende.

 

[Ozmog]

Juhu, bald sind wir komplett den KI-Unternehmen ausgeliefert, weil ohne KI keine sichere Teilnahme im Internet mehr möglich sein wird. KI wird also auch die Lösung von Problemen sein, die KI selbst verursacht.

Die Büchse ist geöffnet, es wird kein Zurück mehr geben. Reguliert eine Hand voll Regierungen, machen das andere wiederum nicht und es bleibt bei einem Wettlauf ins verderben.

Nicht Skynet ist die erste Dytopie, sondern wohl zuerst die Dead-Internet-Theorie, die die KI verursachen wird. Gepaart mit den zusätzlichen Anheitzen der Klimaerwärmung und dann natürlich der Schritt von KI in Militärtechnologie. Ich sehe da langsam ein Ablaufdatum für die Menschheit.

 

[HerrFornit]

Wie meinst du das? wenn du denkst dass man damit tracen kann was das Ding denkt dann sag ich dazu:
Ein LLM ist kein Programm im normalen Sinn, das Programm ist eher vergleichbar mit der DNS. Nur weil jemand dein DNS Strang hat und weiß auf welcher Schule du warst und welche Medien du konsumiert hast kann man nicht deine Gedanken lesen, maximal antizipieren und das ist nicht möglich wenn du einfach alles gelesen hast was im Internet steht + Bücher ohne Ende.

Damit meinte ich, dass eine Gewichtsmatrix nicht so gelesen werden kann wie herkömmlicher Programmcode und damit das Verhalten nur statistisch und nicht deterministisch vorhergesagt werden kann. Etwas anders ist es wohl für die Software., die das Modell einhegen soll, die ist meines Wissens ja konventionell programmiert. Lasse mich aber gerne eines Besseren belehren. 😊

 

[Ozmog]

was das Ding denkt

Vorsicht: Das was wir als KI bezeichnen, denkt nicht.
Dennoch ist das Verhalten einer KI nicht eindeutig vorhersehbar noch ist es leicht, zu verfolgen, warum die KI so gehandelt hat. KI ist weitestgehend eine Blackbox.

Habe schon vor einiger Zeit von einem Experiment gelesen, bei den die Mustererkennung von KI Korrelationen gefunden hat, ohne das es einen kausalen Zusammenhang gab und die Forscher nicht alle Parameter rausgefunden haben, wie die KI auf die Ergebnisse gekommen ist.

 

[MAYvonBlei]

Ich finde die Entwicklung schon sehr bedenklich. Wir sind gerade am Anfang, wie sieht es denn in 2-5 Jahren aus? Es ist schon wichtig solche Systeme zur Entwickeln, die Geschwindigkeit und die Leistungsfähigkeit dieser übersteigt und überholt aber mal wieder die menschliche Auffassungsgabe.
Am Ende ist es genauso wie z.B. mit der Atombombe: wir müssen es machen, weil "die Gegenseite" es auch macht.

 

[Tevur]

Was bei diesen Sicherheitstests zu beachten ist: Im Vergleich zu den jüngsten Vorfällen bei OpenAI und Anthropic handelt es sich nicht um einen Sandbox-Ausbruch. Die Modelle hatten Internetzugang, damit sie fehlende Tools nachladen konnten und die Bedingungen vergleichbar mit denen von menschlichen Angreifern waren. Das AISI regelte allerdings nicht, was die Modelle nicht im Internet machen sollten.

Das ist der einzige Relevante Teil.

Wenn normale Menschen nen Wurm oder sonstwas aufs Internet loslassen, werden die eingebuchtet.

Dieser Idioten-Verein versucht sich am Anthropic-Marketing und labert einen Stuss von wegen Testumgebung, was natürlich von der Techblase mit Bewunderung und völlig unkritisch verbreitet wird.

Die haben eine Malware in Form eines LLM ins Internet gelassen, nichts weiter.

 

[Ben99]

Hm... ich versuche mal meine Gedanken hier zu ordnen.

Ich denke, wir sind gerade im wortwörtlichen Wilden Westen angekommen. Ob das hier ein Marketing-Gag ist oder nicht, spielt keine Rolle. Spätestens in ein oder zwei Jahren wird das Wirklichkeit sein.

Und dann werden KI-Agenten, von privaten wie von staatlichen Akteuren, aktiv versuchen, Schadcode, Backdoors, und andere Zugangsmöglichkeiten in Projekte einzubauen.

Das kann sogar soweit gehen, dass ein KI-Agent jahrelang als vermeintlich menschlicher Mitarbeiter in einem Open Source Projekt sich einen zuverlässigen Ruf aufbaut, um später irgendwann eine Lücke zu "öffnen", welche über eine komplexe, von mir aus hundertstufige Exploitkette, im Code ausgenutzt werden kann (eventuell übergreifend noch durch andere Softwareprojekte, an denen mitgearbeitet wurde, so dass es noch weniger nachvollziehbar ist, wie die Exploitkette funktioniert).

Das betrifft sowohl closed wie open source Software.

Ich sehe da keinen Weg, wie sich das verhindern lässt. Die Katze ist aus dem Sack.

Bildlich vielleicht so: irgendwann waren Waffen in den USA für jeden erlaubt. Heute könnte man die beileibe, selbst wenn man ernsthaft wollte, nicht mehr alle aus dem Verkehr ziehen. Ich denke den Punkt haben wir überschritten, jeder darf bzw. kann Waffen (KI) haben.

Unsere gesamte weltweite IT ist in einem erbärmlichen Zustand, was Sicherheit angeht. Anwendungsprogramme und Betriebssysteme mal außen vor gelassen, in jedem Microchip läuft ja auch Software. Die zu patchen ist teilweise unmöglich.

Exploits für UEFI, Intel Management Engine, AMD Platform Security Processor, Microsoft Pluton... das nur am PC "ganz tief unten" und dann gibt es ja auch in jedem Handy noch Subsysteme und Chips, welche unabhängig von Android laufen.
Heute sehr komplex und nur sehr wenige Menschen kennen sich damit aus, morgen nur ein paar Prompts vom über das Internet wurmbare Exploits entfernt.
Von zielgerichteten Attacken auf Individuen und einzelne Geräte ganz zu schweigen.

Was kann man tun? Meiner Meinung nach nichts. Warten bis alles abgebrannt ist und dann auf der grünen (verkohlten ^^) IT-Wiese neue, von grundauf sichere Hardware entwickeln und einsetzen.
Software muss mit völlig neuen Paradigmen neu entwickelt werden, weil alles verseucht sein kann.

Bis dahin hilft vielleicht(!) so viel wie möglich nur noch offline mit möglichst wenig Schnittstellen nach außen zu betreiben. Aber auch da hab ich meine Zweifel, dass das ausreicht.

Es reicht, wenn EIN(!) EINZIGER(!) bösartiger Akteur auf der Welt dies tut und wir haben den Salat.