Bericht Interview mit Manuel „HonkHase“ Atug: Wie gefährlich sind KI-Modelle wie Claude Mythos?

[incurable]

das kann so gut wie jede KI, in einen code sicherheitslücken finden

Welches Modell am Ende zum Einsatz kommt ist egal. Mythos stellt diesbezüglich nur ein neues Mindestniveau der Überprüfung vor Veröffentlichung dar, sicher nicht den Endzustand.

 

[7hyrael]

Wer das Anwenden von KI und die möglichen Auswirkungen auch gesellschaftlicher Art ins Lächerliche zieht, hat den Schuß noch nicht gehört.

Wer es so verallgemeinert hat es noch nie verstanden.

 

[Weedlord]

Aber Menschen sind nicht harmlos, auch die doofen nicht.

Sind die doofen nicht sogar am gefärlichsten? Weil die Schaden verursachen ohne dabei einen eigenen nutzen zu haben

 

[incurable]

Sind die doofen nicht sogar am gefärlichsten?

Zumindest bislang scheint sich die von Boning und Dittrich ausgehende Gefahr in gewissen Grenzen zu halten.

 

[Horst.das.Pferd]

Die Frage, wieso Claude Mythos bei gefundenen Sicherheitslücken, selbstständig eigene Exploits entwickelt und nicht versucht Patches bereit zu stellen, habe ich mir auch gestellt.
Da es aber den Zweitmarkt für den Militärischen/Geheimdienstsektor gibt, will man hier auch gleich Kundschaft
anlocken. Und wenn Anthropic zum Jahresende an die Börse will, ist auch der Hype nur aufgebläht.

Dem Geld dem du hinterherläufst, ist das Mittel zur Knechtschaft. Das Geld, das du besitzt ist das Mittel zur Freiheit.

 

[Thares]

In einem Unternehmen ist die KI - bzw. kann schon gefährlich werden, wenn die zig Mitarbeiter im Netz die KIs nutzen und eventuell interne Firmen Daten posten unbewusst oder bewusst, spielt keine Rolle, könnte ja ein sehr hohen Schaden anrichten. Also, ist schon für Unternehmen bisschen gefährlich.
Für Privat - eher weniger gefährlich.

 

[M@tze]

Danke für den Artikel, liest sich interessant. Obwohl das Thema in deutschen Konzernen nicht so locker flockig genommen wird, wie die Aussagen suggerieren.

@Andy

Bereitgestellt werden dafür Computing-Leistungen im Wert von 100.000 Millionen US-Dollar sowie eine Direktspende an Open-Source-Projekte in Höhe von 4 Millionen US-Dollar.

Manuel Atug: Man kann es aus verschiedenen Sichtweisen betrachten. Natürlich kann man sich über die Spende freuen und Open-Source-Tools können austesten, ob sie damit Sicherheitslücken schließen können. Die 100 Millionen US-Dollar sind aber eher so etwas zum Anteasern von Interessierten wie Banken.

Was jetzt? 100 Millionen oder 100 Milliarden? 🤷‍♂️ 🤪

 

[Flutefox]

Niemand in der IT nutzt Copy-Paste-Chats. Alle Agenten wie Claude Code, OpenCode, Aider etc. agieren direkt in den Repos. Alles andere wäre auch völlig ineffizienter Unfug.

Schön wie du meinst pauschal für alle IT Unternehmen zu sprechen. Es gibt zahlreiche IT Unternehmen in denen das per Policy untersagt ist. Das kann ich sowohl von mir bestätigen wie auch von Kollegen aus anderen Unternehmen.

Ergänzung (Heute um 11:36)

Danke für den Artikel, liest sich interessant. Obwohl das Thema in deutschen Konzernen nicht so locker flockig genommen wird, wie die Aussagen suggerieren.

Bei uns ist das mitwirken von KI in den Repos etc. nicht erlaubt, das ist korrekt. Das ist auch gut so.

 

[Syntax_41]

@Flutefox Bei uns auch aus Sicherheitsgründen da muss noch altmodisch per usb stick zu einen anderen rechner erst von da aus gehts weiter nach ein paar checks

 

[Brati23]

Danke für den informativen Artikel @Andy !

 

[SheepShaver]

Schön wie du meinst pauschal für alle IT Unternehmen zu sprechen. Es gibt zahlreiche IT Unternehmen in denen das per Policy untersagt ist. Das kann ich sowohl von mir bestätigen wie auch von Kollegen aus anderen Unternehmen.

Ob du nun Source Code in einen KI Chat Copy-Pastest und dann die Lösung manuell ins Repo kopierst oder der Agent das direkt selbst erledigt ist inwiefern "besser"?

Bei uns ist das mitwirken von KI in den Repos etc. nicht erlaubt, das ist korrekt. Das ist auch gut so.

Was soll daran "gut" sein?

 

[ArilethDeTyr]

Das KI-Modell hat mehrere Schwachstellen bzw. Sicherheitslücken identifiziert und diese gezielt miteinander kombiniert. Auf dieser Basis wurde unmittelbar ein Tool bzw. Framework entwickelt, das die einzelnen Schwachstellen koordiniert ausnutzt. Durch diese Kombination entsteht ein deutlich erhöhtes Risiko, da die einzelnen Lücken nicht isoliert, sondern im Zusammenspiel wirken, um ein System zu kompromittieren und Administratorzugriff zu erlangen.

Soweit ich es verstanden habe, bestand die Besonderheit darin, dass nicht nur einzelne kritische Schwachstellen ausgenutzt wurden, sondern mehrere kleinere bzw. moderat eingestufte Lücken kombiniert wurden. Diese Aggregation führte zu einem insgesamt deutlich höheren Gefährdungspotenzial.

Der neuartige Aspekt liegt also darin, dass mehrere potenzielle Zero-Day-Schwachstellen identifiziert und in einem Schritt in Form eines Tools bzw. Frameworks operationalisiert wurden, um deren kombinierte Ausnutzung zu ermöglichen.

Man sollte diesen Sachverhalt jedoch nicht kleinreden. Gleichzeitig ist zu beobachten, dass solche Entwicklungen auch im Kontext von Marketing und Börsengängen strategisch genutzt werden. Die Darstellung der technischen Leistungsfähigkeit kann dazu dienen, den wahrgenommenen Wert eines Unternehmens zu steigern und entsprechende Erwartungen am Kapitalmarkt zu beeinflussen. In diesem Zusammenhang stellt sich die Frage, welchen realen wirtschaftlichen Wert eine solche Entdeckung oder technologische Fähigkeit tatsächlich hat und in welchem Umfang dieser bereits in Bewertungen eingepreist wird.

 

[Zensored]

Ob du nun Source Code in einen KI Chat Copy-Pastest und dann die Lösung manuell ins Repo kopierst oder der Agent das direkt selbst erledigt ist inwiefern "besser"?

Was soll daran "gut" sein?

Beim herauskopieren von AI output mit dazugehörigem nachdenken was man da vor sich hat, ist man noch am nächsten dran an einem Workflow wie bei der Nutzung von Suchmaschinen ( z.B. Google) oder spezialisierteren Community betriebenen Seiten wie StackOverflow.

Ein Mensch hat bei dem kopieren und einfügen Arbeitsschritten immer noch die alleinige Kontrolle des Veränderns und ist die entscheidende Kraft ob ein Code hineinkommt oder nicht.
Keine AI die einem autark wer weiß wo welche Daten löscht und man mehrfach bitten muss das es einem wiederhergestellt wird.

Bei uns ist das mitwirken von KI in den Repos etc. nicht erlaubt, das ist korrekt. Das ist auch gut so.

Was soll daran "gut" sein?

Haftung, langfristig Überblick behalten, Unabhängigkeit von äußeren Einflüssen.

 

[VR 4K etc.]

Wenn das neue Tool effizienter und schneller Sicherheitslücken findet, als andere vorher und dies in dem vom Artikel angesprochenen Fall circa 20.000 € gekostet hat, dann ist das doch eher ein positives Ergebnis. Wäre die Sicherheitslücke ausgenutzt worden wäre es viel teurer geworden. Auch wenn man die Kosten an Arbeitszeit und hierzu benötigte andere Infrastruktur Kosten berechnet, die Sicherheitslücke mit menschlicher Leistung zu finden hätte es viel länger gedauert und wäre wahrscheinlich auch teurer geworden.

 

[Piktogramm]

Wenn das Modell auf Anfrage Sicherheitslücken selbstständig findet und Beispielprogramme für deren Ausnutzung vorlegt, ist das doch nur gut für alle, vorausgesetzt, die entwickelnde Firma steckt nicht den Kopf in den Sand und ignoriert die Ergebnisse.

Es ist für mich erkennbar, dass eine mindestens grundlegende Kontrolle jeder neu zu veröffentlichenden Version vor deren Freigabe in naher Zukunft nicht nur wünschenswert, sondern Voraussetzung werden wird.

Firmen, die den Kopf in den Sand stecken gibt es doch aber in Massen. Genauso wie es Firmen gibt, die Reviewprozesse nicht vorsehen bzw. in ihrer Wirkung schleifen, weil schlicht Ressourcen fehlen bzw. nicht bereitgestellt werden oder die Reviews als nervige Blockade gesehen werden.
An dieser Denke ändert sich nichts und irgendwelche LLMs, die Bugs und/oder technische Altschulden ankreiden werden daran nichts ändern.

Scheiße ich hab Makefiles (oder Vergleichbares) von Unternehmen die alle Warnungen unterdrückt und einige Errors explizit unterdrückt hat. Eben weil Alles gammliger Scheiß war und anders nicht kompilierbar war. In solchen "Buden" wird ein LLM in der Endkontrolle auch geschliffen werden.

Sind die doofen nicht sogar am gefärlichsten? Weil die Schaden verursachen ohne dabei einen eigenen nutzen zu haben

Gefahr würde ich als Schadenspotential sehen. Wer Wissen und Intellekt hat Grenzen technischer und sozialer Natur grundlegend zu hinterfragen und auszunutzen hat normalerweise viel mehr Potential Schaden anzurichten.
Die Irren Diktatoren und Despoten waren meist selbst nicht doof und hatten immer auch geistig Potente Unterstützung, was die Schadenswirkung massiv erhöht hat. Selbst bei senilen Sockenpuppen stehen in zweiter Reihe kompetentere Denker, die die Richtung vorgeben.

In einem Unternehmen ist die KI - bzw. kann schon gefährlich werden, wenn die zig Mitarbeiter im Netz die KIs nutzen und eventuell interne Firmen Daten posten unbewusst oder bewusst, spielt keine Rolle, könnte ja ein sehr hohen Schaden anrichten. Also, ist schon für Unternehmen bisschen gefährlich.
Für Privat - eher weniger gefährlich.

Als Unternehmen sind Computersysteme zur Interferenz in leistbaren Regionen kaufbar, da muss ja nicht zwingend alles nach Außen gegeben werden.
Für Privat ist es ultra gefährlich. Palantirs Führungsriege, Zuckerberg, Google und wie sie alle heißen sind ja alle nicht Koscher und kommunizieren ihre Überwachungsphantasien recht offen. Ich kann mir wenig riskanteres Vorstellen als da Zugriff auf private Belange zu geben und seien sie noch so nichtig.

@Flutefox Bei uns auch aus Sicherheitsgründen da muss noch altmodisch per usb stick zu einen anderen rechner erst von da aus gehts weiter nach ein paar checks

"Aus Sicherheitsgründen" können - wild - USB-Speicher gesteckt werden..
Aber so Netzwerkfoo mit Sicherheitsschicht und Versionsverwaltung die 2FA unterstützen könnte, wenn es richtig gemacht wird, ist verboten?!

Beim herauskopieren von AI output mit dazugehörigem nachdenken was man da vor sich hat, ist man noch am nächsten dran an einem Workflow wie bei der Nutzung von Suchmaschinen ( z.B. Google) oder spezialisierteren Community betriebenen Seiten wie StackOverflow.
[...]

Im Studium hat vielleicht Einer von Zwanzig sich die Mühe gemacht zu verstehen was kopiert wurde. Noch weniger haben sowas wie die Dokumentation für etwaige Funktionen, Bibliotheken auch nur gesichtet. Keine Ahnung wo du deine sehr positive Sicher der Dinge her hast.

 

[Snakeeater]

Der Zweitmarkt aus diesem offensiven Dunkelbereich wird jetzt wieder mal durch Israel befüllt

Da schlackern mir jetzt aber mal die Ohren.

warum es in den USA eine kleine Runde mit Banken gibt, in der man das Modell vorstellt, bespricht und zugänglich macht. Und nicht als erstes beispielsweise Atomkraftwerke oder andere kritische Infrastrukturen mit in den Kreis packt. Da merkt man schon, da stimmt was nicht. Banken haben durchaus viel Geld, um solche Lösungen zu bezahlen und natürlich sind Banken auch kritische Infrastruktur. Aber das passt alles insgesamt nicht ins Bild.

Muss mir auch mal jemand erklärenn diese Argumentation. Er beschreibt doch selbst das Banken das Geld haben so etwas zu bezahlen. Wer betreibt Atomkraftwerke und was für Kunden haben die?
Das als Gegenargument anzudeuten ist schon bisschen sehr laienhaft.

 

[Piktogramm]

Wenn das neue Tool effizienter und schneller Sicherheitslücken findet, als andere vorher und dies in dem vom Artikel angesprochenen Fall circa 20.000 € gekostet hat, dann ist das doch eher ein positives Ergebnis. Wäre die Sicherheitslücke ausgenutzt worden wäre es viel teurer geworden. Auch wenn man die Kosten an Arbeitszeit und hierzu benötigte andere Infrastruktur Kosten berechnet, die Sicherheitslücke mit menschlicher Leistung zu finden hätte es viel länger gedauert und wäre wahrscheinlich auch teurer geworden.

Das Problem hast du bei klassischen Reviews und Pentests auch schon. Die Kosten von X um Lücken zu finden ist im Vergleich zum Schadensfall mit Kosten Y viel geringer. Das Problem ist, dass für den Preis für X nicht abgesichert ist, dass kein Schadensfall eintritt, es wird "nur" die Wahrscheinlichkeit reduziert und das neue Reviews fällig werden bei technologischer Entwicklung (sowohl extern, auf Seite der Angreifer, als auch eigene Entwicklung der Software), wobei da jedesmal grob die Summe X anfällt. Die wiederholende Summe X ist dabei irgendwann deutlich mehr als die Summe Y multipliziert mit einer angenommenen Eintrittswahrscheinlichkeit des Schadenseintritts.
Entsprechend werden sich Reviews dann gern mal gespart.

 

[Syntax_41]

"Aus Sicherheitsgründen" können - wild - USB-Speicher gesteckt werden..
Aber so Netzwerkfoo mit Sicherheitsschicht und Versionsverwaltung die 2FA unterstützen könnte, wenn es richtig gemacht wird, ist verboten?!

Es geht darum, physisch vom Internet getrennt zu sein (Air Gap), und nein, USB-Sticks können nicht gesteckt werden, ohne dass ich dabei bin.

 

[Snakeeater]

Ob du nun Source Code in einen KI Chat Copy-Pastest und dann die Lösung manuell ins Repo kopierst oder der Agent das direkt selbst erledigt ist inwiefern "besser"?


Was soll daran "gut" sein?

Ich versteh auch gar nicht wozu es Gits gibt.

 

[Piktogramm]

Da schlackern mir jetzt aber mal die Ohren.

In Isreal gibt es verpflichtenden Militärdienst und ein nicht unerheblicher Teil der Verpflichteten landen da in der Abteilung "Cyber", verlängern dort. Dabei ist es durchaus Absicht, dass da offensive Fähigkeiten entwickelt werden und es zu Ausgründungen kommt. Unter anderem Palantir kommt daher und auch andere offensiv ausgerichtete Produkte/Dienstleistungen. Wobei Letztere auch immer wieder sichtbar werden, wo der Einsatz durch Akteure außerhalb westlichen Rechtsrahmen und Interessen liegen.

Ergebnis ist dann sowas: https://dailysecurityreview.com/sec...ro-click-ios-attacks-on-european-journalists/
Journalist (Italiener) hat Spyware auf einem iPhone, wobei der Exploit aus dem Leistungsspektrum eines isrealischen Unternehmens stammt.
Es ist leider auch kein Einzelfall :/