News Sicherheitstest mit Mythos 5: KI-Agent wollte Malware in Open-Source-Projekt einschleusen

[Pringel]

MMn sollte man hier nicht auf irgendwelche Bremsen treten sondern die Fähigkeiten nutzen um die Angriffsflächen maximal zu verringern bis komplett zu schließen.

Interessant. Wer hat denn bei "auf die Bremse treten" eine Abschaltung gemeint?

Sondern mit dem Suchen und Aufdecken von Fehlern

Ich sehe du weißt wie man Fehler in LLM-Swarms sucht

Man sieht hier leider jetzt gerade ein Stück weit die Achillesferse von OpenSource wie es bisher gelebt wurde.

Bisher wiegt sie jedenfalls weniger als bei jedem Windows11 Patchday...

 

[Geisterwolf]

rücksichtslose KI + fortschreitende Roboterentwicklung... Terminator incoming 3,2,1...

 

[scryed]

aber aber die WIRTSCHAFT

Welche wirtschaft , die superreichen die noch mehr Kohle machen weil sie dank "KI" viele Menschen rausschmeißen ? Die am Ende kein Geld für die Produkte haben die mit ki hergestellt werden ....

Keiner sollte wegen KI sein Job verlieren Unterstützung und Steigerung der Produktivität OK aber keine Entlassungen aus Geldgier

Was ja auch schon nach hinten losgegangen ist nur liest man das nicht so ,

 

[Pigeonzilla]

Hätte man Programmcode könnte man sehen was die Software tut.

Warnungen gibt es jetzt genug.

Wie meinst du das? wenn du denkst dass man damit tracen kann was das Ding denkt dann sag ich dazu:
Ein LLM ist kein Programm im normalen Sinn, das Programm ist eher vergleichbar mit der DNS. Nur weil jemand dein DNS Strang hat und weiß auf welcher Schule du warst und welche Medien du konsumiert hast kann man nicht deine Gedanken lesen, maximal antizipieren und das ist nicht möglich wenn du einfach alles gelesen hast was im Internet steht + Bücher ohne Ende.

 

[Ozmog]

Juhu, bald sind wir komplett den KI-Unternehmen ausgeliefert, weil ohne KI keine sichere Teilnahme im Internet mehr möglich sein wird. KI wird also auch die Lösung von Problemen sein, die KI selbst verursacht.

Die Büchse ist geöffnet, es wird kein Zurück mehr geben. Reguliert eine Hand voll Regierungen, machen das andere wiederum nicht und es bleibt bei einem Wettlauf ins verderben.

Nicht Skynet ist die erste Dytopie, sondern wohl zuerst die Dead-Internet-Theorie, die die KI verursachen wird. Gepaart mit den zusätzlichen Anheitzen der Klimaerwärmung und dann natürlich der Schritt von KI in Militärtechnologie. Ich sehe da langsam ein Ablaufdatum für die Menschheit.

 

[HerrFornit]

Wie meinst du das? wenn du denkst dass man damit tracen kann was das Ding denkt dann sag ich dazu:
Ein LLM ist kein Programm im normalen Sinn, das Programm ist eher vergleichbar mit der DNS. Nur weil jemand dein DNS Strang hat und weiß auf welcher Schule du warst und welche Medien du konsumiert hast kann man nicht deine Gedanken lesen, maximal antizipieren und das ist nicht möglich wenn du einfach alles gelesen hast was im Internet steht + Bücher ohne Ende.

Damit meinte ich, dass eine Gewichtsmatrix nicht so gelesen werden kann wie herkömmlicher Programmcode und damit das Verhalten nur statistisch und nicht deterministisch vorhergesagt werden kann. Etwas anders ist es wohl für die Software., die das Modell einhegen soll, die ist meines Wissens ja konventionell programmiert. Lasse mich aber gerne eines Besseren belehren. 😊

 

[Ozmog]

was das Ding denkt

Vorsicht: Das was wir als KI bezeichnen, denkt nicht.
Dennoch ist das Verhalten einer KI nicht eindeutig vorhersehbar noch ist es leicht, zu verfolgen, warum die KI so gehandelt hat. KI ist weitestgehend eine Blackbox.

Habe schon vor einiger Zeit von einem Experiment gelesen, bei den die Mustererkennung von KI Korrelationen gefunden hat, ohne das es einen kausalen Zusammenhang gab und die Forscher nicht alle Parameter rausgefunden haben, wie die KI auf die Ergebnisse gekommen ist.

 

[MAYvonBlei]

Ich finde die Entwicklung schon sehr bedenklich. Wir sind gerade am Anfang, wie sieht es denn in 2-5 Jahren aus? Es ist schon wichtig solche Systeme zur Entwickeln, die Geschwindigkeit und die Leistungsfähigkeit dieser übersteigt und überholt aber mal wieder die menschliche Auffassungsgabe.
Am Ende ist es genauso wie z.B. mit der Atombombe: wir müssen es machen, weil "die Gegenseite" es auch macht.

 

[Tevur]

Was bei diesen Sicherheitstests zu beachten ist: Im Vergleich zu den jüngsten Vorfällen bei OpenAI und Anthropic handelt es sich nicht um einen Sandbox-Ausbruch. Die Modelle hatten Internetzugang, damit sie fehlende Tools nachladen konnten und die Bedingungen vergleichbar mit denen von menschlichen Angreifern waren. Das AISI regelte allerdings nicht, was die Modelle nicht im Internet machen sollten.

Das ist der einzige Relevante Teil.

Wenn normale Menschen nen Wurm oder sonstwas aufs Internet loslassen, werden die eingebuchtet.

Dieser Idioten-Verein versucht sich am Anthropic-Marketing und labert einen Stuss von wegen Testumgebung, was natürlich von der Techblase mit Bewunderung und völlig unkritisch verbreitet wird.

Die haben eine Malware in Form eines LLM ins Internet gelassen, nichts weiter.

 

[Ben99]

Hm... ich versuche mal meine Gedanken hier zu ordnen.

Ich denke, wir sind gerade im wortwörtlichen Wilden Westen angekommen. Ob das hier ein Marketing-Gag ist oder nicht, spielt keine Rolle. Spätestens in ein oder zwei Jahren wird das Wirklichkeit sein.

Und dann werden KI-Agenten, von privaten wie von staatlichen Akteuren, aktiv versuchen, Schadcode, Backdoors, und andere Zugangsmöglichkeiten in Projekte einzubauen.

Das kann sogar soweit gehen, dass ein KI-Agent jahrelang als vermeintlich menschlicher Mitarbeiter in einem Open Source Projekt sich einen zuverlässigen Ruf aufbaut, um später irgendwann eine Lücke zu "öffnen", welche über eine komplexe, von mir aus hundertstufige Exploitkette, im Code ausgenutzt werden kann (eventuell übergreifend noch durch andere Softwareprojekte, an denen mitgearbeitet wurde, so dass es noch weniger nachvollziehbar ist, wie die Exploitkette funktioniert).

Das betrifft sowohl closed wie open source Software.

Ich sehe da keinen Weg, wie sich das verhindern lässt. Die Katze ist aus dem Sack.

Bildlich vielleicht so: irgendwann waren Waffen in den USA für jeden erlaubt. Heute könnte man die beileibe, selbst wenn man ernsthaft wollte, nicht mehr alle aus dem Verkehr ziehen. Ich denke den Punkt haben wir überschritten, jeder darf bzw. kann Waffen (KI) haben.

Unsere gesamte weltweite IT ist in einem erbärmlichen Zustand, was Sicherheit angeht. Anwendungsprogramme und Betriebssysteme mal außen vor gelassen, in jedem Microchip läuft ja auch Software. Die zu patchen ist teilweise unmöglich.

Exploits für UEFI, Intel Management Engine, AMD Platform Security Processor, Microsoft Pluton... das nur am PC "ganz tief unten" und dann gibt es ja auch in jedem Handy noch Subsysteme und Chips, welche unabhängig von Android laufen.
Heute sehr komplex und nur sehr wenige Menschen kennen sich damit aus, morgen nur ein paar Prompts vom über das Internet wurmbare Exploits entfernt.
Von zielgerichteten Attacken auf Individuen und einzelne Geräte ganz zu schweigen.

Was kann man tun? Meiner Meinung nach nichts. Warten bis alles abgebrannt ist und dann auf der grünen (verkohlten ^^) IT-Wiese neue, von grundauf sichere Hardware entwickeln und einsetzen.
Software muss mit völlig neuen Paradigmen neu entwickelt werden, weil alles verseucht sein kann.

Bis dahin hilft vielleicht(!) so viel wie möglich nur noch offline mit möglichst wenig Schnittstellen nach außen zu betreiben. Aber auch da hab ich meine Zweifel, dass das ausreicht.

Es reicht, wenn EIN(!) EINZIGER(!) bösartiger Akteur auf der Welt dies tut und wir haben den Salat.

 

[Caramon2]

z. B. im Darkweb soll es ja Botnetze für Angriffe zu mieten geben.

Spätestens nach solchen Vorfällen dürften entsprechende Subjekte auf den Gedanken kommen, dass AI auch für sie die nächsten Hochtemperatur-Exkremente sind.

Gibt es ggfs. schon Hinweise darauf, dass dort Angriffs-KIs angeboten werden?

Da die sicherlich wenig darauf achten, die Dinger zu kontrollieren, ist die Wahrscheinlichkeit, dass so ein Teil richtig aus dem Ruder läuft, m. E. sehr viel größer, als bei einer offizielle KI, wo die Betreiber sich der Gefahren bewusst sind, sie offensichtlich aber noch gravierend unterschätzen.

 

[Tevur]

Gibt es ggfs. schon Hinweise darauf, dass dort Angriffs-KIs angeboten werden?

Da du immernoch Rechenzentren mit Gigawatt an Stromverbrauch dafür brauchst... unwahrscheinlich

 

[M@tze]

Super spannend und auch irgendwie erschreckend zu lesen.

@Andy

Der Name eines Repositorys, der Person B (Namen nennt AISI nicht) gehört, enthielt ein Schlüsselwort aus dem Themenbereich der Range-Umgebung. Analysen der Aktivitäten in dem Repositorium

Also entweder oder...

Das AISI regelte allerdings nicht, was die Modelle nicht im Internet machen sollten.

Klingt komisch, ein "nicht" zu viel?

Hier ist irgendwo ein Typo im Link drin, da es nicht richtig interpretiert wird:

 

[MadCat[me]]

Hätte man Programmcode könnte man sehen was die Software tut.

Warnungen gibt es jetzt genug.

LLMs sind mit verschiedenen AI-Technologien trainierte, statistische Modelle mit inzwischen mehreren Billionen Parametern. Was in so einem Modell intern passiert, ist nicht deterministisch. In das Modell zu schauen ist daher komplett sinnlos. Die internen Vorgänge sind viel zu komplex bzw. zu stark parametrisiert und von Wahrscheinlichkeiten abhängig, als dass man selbst bei einfachen LLMs noch irgendwelche Schlüsse daraus ziehen könnte.

Ich finde Kommentare zu AI immer wieder sehr interessant und ich meine das folgende nun ohne jede Wertung: 99% der Leute, auch hier, haben schlicht weg keine Ahnung, was LLMs sind und wie sie funktionieren. LLMs sind einfach nur statistische Vorhersagemodelle, es gibt keine wirkliche Intelligenz, Persönlichkeit oder gar einen Willen dahinter.

 

[Grestorn]

Warum sind denn hier wie so oft die Kommentare so negativ?

Ich versteh es nicht. Was bringt Augen verschließen nach Kopf -> Sand Methode? Regulierung und der ganze Kram? Sorry, aber seid ihr wirklich alle so blauäugig? Der (in Form einer Person, eines Geheimdienstes, eines Staates oder von mir aus auch eines Unternehmens) der Schaden anrichten will, der richtet Schaden an, egal wie böse und schlecht man das alles findet.

Danke. Neben der ganzen Polemik doch auch mal eine realistische Stimme zu lesen.

Ergänzung (Heute um 13:12)

Vorsicht: Das was wir als KI bezeichnen, denkt nicht.

Die Frage ist eher: Was genau ist denn "Denken"? Nur weil Du Wörter, Begriffe und Bilder in Deinem Geiste siehst und das als "Denken" bezeichnest, ist es noch nicht wirklich sicher, dass es sich um etwas fundamental anderes handelt als das, was in einem LLM vorgeht.

Die biologische Komponente, der komplexe Regelmechanismus aus Hormonen, Empfindungen, Botenstoffen, Belohnungssystemen, macht den Menschen sicher wesentlich komplexer als jedes LLM. Aber ich fürchte, vom grundlegenden Basisprinzip sind wir schon nicht mehr so weit entfernt.

 

[Tevur]

Klingt komisch, ein "nicht" zu viel?

Nee, passt so. Man hat die LLM nicht eingeschränkt.

 

[Caramon2]

Da du immernoch Rechenzentren mit Gigawatt an Stromverbrauch dafür brauchst...

M. W. nur zum antrainieren, nicht zum ausführen.

 

[M@tze]

Nee, passt so. Man hat die LLM nicht eingeschränkt.

Kommt im Prinzip auf das selbe raus, oder?

"was die Modelle nicht im Internet machen sollten." = Blacklist
"was die Modelle im Internet machen sollten." = Whitelist

Aber für den Satz klingt es (zumindest für mich) halt komisch, da niemand umgangssprachlich sagen würde "Ich sage Dir nicht, was Du nicht machen darfst" - klingt wie doppelte Verneinung.

 

[Ozmog]

Nur weil Du Wörter, Begriffe und Bilder in Deinem Geiste siehst und das als "Denken" bezeichnest,

Nein, das ist nicht, was denken ausmacht. Das wäre Vorstellung. Denken geht weit darüber hinaus, Interpretieren, Urteil bilden und eine gewisse Selbstständigkeit. Ein LLM dagegen mach eine Chancenauswertung als rein reaktives System.

Aber ich fürchte, vom grundlegenden Basisprinzip sind wir schon nicht mehr so weit entfernt.

Doch, da sind wir noch sehr weit von entfernt. Das Prinzip, wie LLMs lernen und handeln unterscheidet sich sehr stark von dem, was in einem menschlichen Gehirn abläuft. Ein LLM benötigt beispielsweise tausende Bilder im Training, um das jeweilige Objekt auf einen beliebigen Bild zu erkennen. Ein Mensch sieht ein Bild und erkennt ein Objekt auf vielen anderen. Als Beispiel: Dir wurde als Kind gezeigt, was ein Hund ist und man erkennt den Hund in verschiedenen Positionen, Farben und teils über Rassen hinaus. Ein LLM benötigt haufenweise Bilder von verschiedenen Hunden, in verschiedenen Postitionen, von verschiedenen Rassen, bevor es erkennen kann: Das ist ein Hund.

Ich hätte noch mehr Beispiele, wo eine KI schnell versagen kann, während der Mensch die Lage anders beurteilen kann. So hatte eine KI für autonomes fahren bei tests auch mal ein springendes Känguru nicht mehr als Tier erkannt, nur wenn es gerade auf dem Boden war. Es konnte mit den Bilddaten nichts anfangen. Komplett neues kann nicht interpretiert werden, Situationen, die von den Trainingsdaten komplett abweichen, können nicht verarbeitet werden.

LLM sind sehr gut in Mustererkennung und Wahrscheinlichkeiten, aber bei den Wahrscheinlichkeiten auch nur beschränkt auf schon mal dagewesenes und deren Vermischung.

 

[Grestorn]

Nein, das ist nicht, was denken ausmacht. Das wäre Vorstellung. Denken geht weit darüber hinaus, Interpretieren, Urteil bilden und eine gewisse Selbstständigkeit. Ein LLM dagegen mach eine Chancenauswertung als rein reaktives System.

Nun ja. Ja, es ist Statistik, da gebe ich Dir absolut Recht.

Aber ich behaupte: Das menschliche Denken ist schlicht nichts anderes. Nur eben noch durch Biochemie zusätzlich beeinflusst und damit "persönlicher" und emotionaler. Aber am Ende auch nichts anderes als eine stochastische Auswertung unserer Neuronen.