Bericht Interview mit Manuel „HonkHase“ Atug: Wie gefährlich sind KI-Modelle wie Claude Mythos?

[Piktogramm]

@Snakeeater
Exploits verkaufen ist Unsicherheit die zum Geschäft gemacht wird. Sicherheit ist die Abwehr bzw. noch besser das Unterbinden von ausnutzbaren Schwachstellen. Bei der Sicherheit steht Deutschland nicht schlecht da, das Potential wird aber leider nur bedingt genutzt. Das BSI ist für das was es machen soll auch solide aufgestellt, das Personal dort auffällig kompetent.


Ich erkenne nichtmal eine Anspielung, da ist allenfalls unspezifisches Geraune deinerseits. Werde in deiner Kritik doch einfach konkret oder nenne Anforderungen an Quellen die zur Akzeptanz deinerseits führen würden.

 

[Zensored]

In beiden Fällen haftet das Unternehmen. Äußeren Einflüssen, häh?

Mit äußeren Einflüssen sind Cloud-basierte sowie auch autonom agierende LLMs/KIs gemeint.
das wäre gut, in den News liest man hin und wieder die faule Ausrede, KI wäre schuld gewesen und man könne nichts für den entstandenen Schaden.

PRs und Vier-Augen-Prinzip sind bekannte Begriffe? Ein Mensch schaut so und so nochmal drüber. Genauso wie Menschen wird auch eine KI nicht direkt Push-Berechtigungen auf Master haben.

Das sind bekannte Begriffe, habe jedoch (leider) auch in diesem Monat anderes erlebt.
"autonome" KIs nur mit ein paar Promts ausgestattet, die versucht haben Produkte herzustellen, Webseiten aufzuziehen und mit dem " Marketing" dieser "Produkte" den Leuten den letzten Nerv geraubt haben.
(Der Output von dieser autonomen KI "polsia" den wir so gesehen haben im Netz war komplett nutzlos und das konnte man sehr schnell realisieren wenn man sich auskennt in unserem Bereich)
Der gleiche KI Müll von dieser AI habe ich in zwei Foren entdeckt und die Forenbetreiber haben es auch jeweils gelöscht.

Im Studium hat vielleicht Einer von Zwanzig sich die Mühe gemacht zu verstehen was kopiert wurde. Noch weniger haben sowas wie die Dokumentation für etwaige Funktionen, Bibliotheken auch nur gesichtet. Keine Ahnung wo du deine sehr positive Sicher der Dinge her hast.

Oh das ist schade, dann muss man mich zu diesen wenigen hinzuzählen, gehe mittlerweile gerne durch dieses Wissen hindruch, dachte das machen viel mehr Leute.😅
Die positive Sicht kommt weil in der Gruppe viele genauso ticken und wir uns gegenseitig helfen.

 

[Snakeeater]

@Snakeeater
Das BSI ist für das was es machen soll auch solide aufgestellt, das Personal dort auffällig kompetent.

Na wenn es um deine Kompetenz genauso bestellt ist, Gute Nacht.

 

[SheepShaver]

• Der Code sollte gut dokumentiert sein
• KI nimmt nicht immer den besten Pfad und nimmt auch gerne Methoden, die nicht mehr dem Stand der Technik entsprechen, z.B. beim Ansprechen von Schnittstellen
• Wartbarkeit, Haftungsfragen, DSGVO Fragen, ob man seine Daten einfach so den großen nicht-europäischen Giganten in den Hals werfen will
• Wandlung von Entwicklern zu reinen Prompt Engineers, die selbst keinen sauberen Code mehr erzeugen können

Guter Code dokumentiert sich selbst. Wenn der Code so undurchschaubar ist, dass er haufenweise Dokumentation braucht, dann ist das schon eine Alarmglocke. Die KI macht hier sowieso in den meisten Fällen einen ziemlich guten Job, sicherlich besser, als der durchschnittliche Medior-Entwickler. Der Mensch, der die KI bedient, sollte natürlich die Intention jeder Codeänderung verstehen, aber diese gibt man normalerweise vor - genauso wie den Kontext.

Für die Wartbarkeit ist der Mensch zuständig, der die KI bedient: wieder durch entsprechende Vorgaben.

Hahftungsfragen gibt es keine. Nur weil man eine KI verwendet, ist nicht plötzlich die KI haftbar, sondern selbstverständlich der Mensch, der sie bedient.

Die DSGVO regelt den Umgang mit personenbezogenen Daten. Wir reden hier von Source Code.

Was die Wandlung der Entwickler angeht: kann sein. Ich sehe es eher als Weiterentwicklung, denn einen Rückschritt. Als Entwickler kann man mehr Zeit in konzeptuelle und architektonische Fragen investieren während die KI die Fleißarbeit macht (Boilerplate, Refactoring, etc.) und beratend zur Seite stehen.

Es sei aber mal gefragt: Macht es dir Spaß, kostenlos den Techgiganten die Stiefel zu lecken? Dieser naive Umgang mit Technologie und den Anbietern ist höchst fragwürdig.

Naiv ist da gar nichts. Sondern einfach nur emotionslos objektiv. Gäbe es einen ebenbürtigen deutschen oder europäischen Anbieter, würde ich lieber dem die Stiefel lecken. Aber wie immer wird das Thema hier ausgebremst und verschlafen während die Konkurrenz davonrennt.

 

[Piktogramm]

@Snakeeater
Herje,
das BSI ist politischer Spielball vom Innenministerium. Das ist kritikwürdig. Es ändert aber wenig daran, dass das technische Personal vom BSI im Großen und Ganzen kompetent ist.

Lustigerweise referenzierst du hier eine Quelle, die die Tätigkeit vom BSI im Bereich Offensive (nichts Anderes ist der Staatstrojaner) ankreidet, während es im Verlauf eher so klang als würdest du das als wünschenswert ansehen, als es um israelische Anbieter ging.
Ich werde aus dir nicht schlau und deine Maßgaben für Quellen fehlen weiterhin.

Nehm ich halt die Freunde von Netzpolitik, um Quellen nachzureichen wieso isrealische Exploitverkäufer problematisch sind: https://netzpolitik.org/?s=pegasus

 

[Zensored]

BSI zieht Empfehlung für Ad-Block Plus zurück.

Gut so, Adblock Plus (ABP) steht in der Kritik wegen "Acceptable Ads" die durchgelassen werden von ABP gegen Bezahlung der Werbetreibenden.

Der Hinwies auf fehlende Bezahlung der Webseitenbetreiber kann man erwähnen nach dem Motto deaktiviere es bei Webseiten denen du wirklich vertraust, sicherer ist man jedoch mit Werbeblocken-Script blockern und meide es diese zu deaktivieren auf Webseiten die ihre Werbung extern einbinden.

Das BSI hätte ublock origin und alternativen Empfehlen sollen.

Der aktuelle Job des BSI ist es auch normalen Anwendern des Internets eine Empfehlung zu geben, entsprechend vereinfacht (und oft falsch) wird es dann.
Das BSI sollte finde ich gestaffelt für den jeweiligen Wissensgrad die Infos vorbereiten.

 

[Piktogramm]

Naiv ist da gar nichts. Sondern einfach nur emotionslos objektiv. Gäbe es einen ebenbürtigen deutschen oder europäischen Anbieter, würde ich lieber dem die Stiefel lecken. Aber wie immer wird das Thema hier ausgebremst und verschlafen während die Konkurrenz davonrennt.

Naja "ausgebremst" wird hier vor allem, da der Rechtsrahmen und dessen Durchsetzung nicht so massiv missachtet werden, wie es in den USA möglich ist. Urheberrechte und Persönlichkeitsrechte so massiv ignorieren funktioniert in der EU nur mäßig, was für entsprechendes Risikokapital entsprechend unattraktiv ist.

Ich bin mir dabei nicht so sicher, ob es wirklich wünschenswert ist, Rechtsrahmen und damit Schutzrechte aufzuweichen, damit sich Geschäftsmodelle etablieren können, die den Mangel entsprechender Schutzrechte voraussetzen.

 

[Biedermeyer]

Wie gefährlich sind KI-Modelle wie Claude Mythos?

Sehr gefaehrlich!
Was machbar ist - wird gemacht (missbraucht)...

 

[Syntax_41]

Na gut, so konservativ sind wir auch nicht. 😅

Müssen wir leider gibt keine alternative zum Air Gap

 

[mcdexter]

Hack the World

 

[swage]

Niemand in der IT nutzt Copy-Paste-Chats. Alle Agenten wie Claude Code, OpenCode, Aider etc. agieren direkt in den Repos. Alles andere wäre auch völlig ineffizienter Unfug.

In ihrer coding Chatbox...

 

[SheepShaver]

@Piktogramm
KI Modelle werden mit öffentlich zugreifbaren Daten trainiert. Und mit Daten von Nutzern, die diese explizit zu Trainingszwecken freigegeben haben. Das ist erstmal die offizielle Lage. Alles andere sind Mutmaßungen.
Für das Abwägen der Risiken sollte jede Firma einen Datenschutzbeauftragten und eine Complianceabteilung haben. Wenn die grünes Licht geben, dann reicht mir das.
Fakt ist, man bremst sich selbst aus. Dass wir zunehmend abgehängt werden und mit der Konkurrenz nicht mithalten können, sollte dann nicht weiter verwundern.
Gerade im Software-Bereich wird man mit so einer Einstellung langfristig kein Land mehr sehen.

 

[Lupin9]

Ob du nun Source Code in einen KI Chat Copy-Pastest und dann die Lösung manuell ins Repo kopierst oder der Agent das direkt selbst erledigt ist inwiefern "besser"?

Weil Claude Code jede Datei die es anfasst und alles was es findet
in die cloud und damit in die usa lädt. Die haben n genaues Bild deiner kompletten Umgebung.
Sie sagen sie machen damit nichts und löschen alles nach 30 Tagen.
Aber who knows deine Daten sind schon mal online auf deren Server. NSA wird nicht weit sein.

 

[JP-M]

Niemand in der IT nutzt Copy-Paste-Chats.

Ähm .. da gibt es sogar viele :-) Warum? Weil der Datenschutzbeauftragte / Chef / Projektverantwortliche pauschal den Einsatz von (lokalen) Agenten nicht gestattet. Es könnten Kundendaten bei der Entwicklung abfließen. Warum man Kundendaten in einem Repo hat? Das wird nicht hinterfragt.
Also bleibt nur Copy & Paste in und aus den Chats

 

[incurable]

Firmen, die den Kopf in den Sand stecken gibt es doch aber in Massen. Genauso wie es Firmen gibt, die Reviewprozesse nicht vorsehen bzw. in ihrer Wirkung schleifen, weil schlicht Ressourcen fehlen bzw. nicht bereitgestellt werden oder die Reviews als nervige Blockade gesehen werden.
An dieser Denke ändert sich nichts und irgendwelche LLMs, die Bugs und/oder technische Altschulden ankreiden werden daran nichts ändern.

Scheiße ich hab Makefiles (oder Vergleichbares) von Unternehmen die alle Warnungen unterdrückt und einige Errors explizit unterdrückt hat. Eben weil Alles gammliger Scheiß war und anders nicht kompilierbar war. In solchen "Buden" wird ein LLM in der Endkontrolle auch geschliffen werden.

Ich gehe fest davon aus, dass es zukünftig erheblich gesteigerte Mindestanforderungen an öffentlich verteilte Programme geben wird, bis hin zum kompletten Ausschluss von Firmen und Individuen, deren Veröffentlichungen wiederholt bei automatisierten Prüfungen negativ auffallen und nicht kurzfristig von Fehlern befreit werden.

 

[Piktogramm]

KI Modelle werden mit öffentlich zugreifbaren Daten trainiert. Und mit Daten von Nutzern, die diese explizit zu Trainingszwecken freigegeben haben. Das ist erstmal die offizielle Lage. Alles andere sind Mutmaßungen.

Öffentlicher Zugriff bedeutet nicht, dass da keinerlei Schutzrechte bestehen. Normalerweise ist es sogar innerhalb der WTO Urheberrechtsvereinbarung immer Urheberrechte bestehen. Ob der Zugriff darauf legal ist, wird von Gerichten unterschiedlich bewertet.
Auch die "explizite" Zustimmung stimmt so nicht. Rechtlich braucht es dafür in den meisten Rechtsrahmen eine wissentliche[1] Zustimmung, was oftmals nicht gegeben war und auch jetzt nur begrenzt der Fall ist. Irgendwo in >10 Seiten Vertragstext eine Rechteabtretung zu verstecken hilft da wenig.

Zudem "Mutmaßung", ist etwas lustig, wenn es Verfahren gibt bei denen Anthropic u.a. wegen der vermutet illegalen Aneignung von Urheberrechlich geschütztem Material beklagt wird: https://arstechnica.com/tech-policy... Alsup ruled did not favor a fair use finding

Oder hier für Meta: https://arstechnica.com/tech-policy...ust-dont-understand-how-that-can-be-fair-use/

Nachgewiesene Umstände sind keine Mutmaßung.


[1] In der EU, USA ist schwierig und andere Rechtsrahmen entziehen sich mir

 

[dev/random]

Ich verstehe die Stichrichtung der Kritik nicht.

Wenn das Modell auf Anfrage Sicherheitslücken selbstständig findet und Beispielprogramme für deren Ausnutzung vorlegt, ist das doch nur gut für alle, vorausgesetzt, die entwickelnde Firma steckt nicht den Kopf in den Sand und ignoriert die Ergebnisse.

Das Finden von Sicherheitslücken ist nicht automatisch gut, sondern erst das Beheben oder Vermeiden von Sicherheitslücken. Wenn solche Tools die Herstellern mit Unmengen vermeintlicher Sicherheitslücken überschwemmen, bleibt das Beheben aufgrund der Menge an Informationen aber wahrscheinlich auf der Strecke.
Wenn so ein LLM dann auch noch die Ausnutzung der Sichheitslücken durch Exploit-Generierung erleichert, wird damit nur den Angreifern aber nicht den Software-Entwicklern geholfen.

Wenn das neue Tool effizienter und schneller Sicherheitslücken findet, als andere vorher und dies in dem vom Artikel angesprochenen Fall circa 20.000 € gekostet hat, dann ist das doch eher ein positives Ergebnis. Wäre die Sicherheitslücke ausgenutzt worden wäre es viel teurer geworden.

Die Rechnung geht aber nur für schwerwiegende Sicherheitslücken auf, deren Ausnutzung offensichtlich zu großen Schäden führen kann.
Die Mehrzahl der von LLMs identifizierten Sicheheitslücken scheint aber eher trivialer Natur zu sein, deren Ausnutzung nicht einfach ist und nicht unbedingt große Schäden anrichten würde. Dann kann die Rechnung ganz anders ausfalllen.
Angenommen, ein LLM findet mit je 20.000 EUR Kosten 5.000 Schwachstellen. Dann sind schon 100 Mio EUR nur für die Schwachstellen-Identifikation drauf gegangen. Wenn bei den 5.000 Schwachstellen aber 4990 trivial sind und kaum nennenswerte Schäden verursachen werden, dann ist das Tool nicht effizient und günstiger, sondern nur schneller. Ich kann solche Relationen mangels nachvollziehbarer Studien hier nur schätzen und mag falsch liegen. Aber zumindest von meiner Berufserfahrung ausgehend ist das keineswegs abwegig.

Muss mir auch mal jemand erklärenn diese Argumentation. Er beschreibt doch selbst das Banken das Geld haben so etwas zu bezahlen. Wer betreibt Atomkraftwerke und was für Kunden haben die?

Der Punkt ist nicht, dass Betreiber von Kraftwerken oder anderer kritischer Infrastruktur kein Geld haben, sondern dass Anthropic diesen Unternehmen bisher gar keinen Zugriff gewährt, auch nicht gegen Geld.

 

[Piktogramm]

@incurable
Wieso sollte das der Fall sein? Software- wie Hardwarebuden die Dekaden an mangelhafter Reaktion auf gemeldeter Sicherheitslücken und zusammengepfuschte Software vertreiben geht es teils prächtig am Markt.

Da sehe ich mehr Wirkung beim überarbeitetem Produkthaftungsgesetz (danke EU), welches die Anforderungen bei Software nachschärft.
Auch gabt es schon vor LLMs sehr potente Werkzeuge um Code zu analysieren, Schwachstellen zu finden. Auch sind wenig tiefgreifende Prüfungen, ob die OWASP TOP10 gerissen wurden schon länger recht günstig zu haben. Da bestand und wird auch in Zukunft kein all zu großer Druck bestehen.
Selbst wenn, dann ploppen halt Anbieter auf, die entsprechende Tests günstig anbieten mit einer für die Auftraggeber guten Quote die entsprechende Zertifikate auch zu erreichen.

Ergänzung (Vor 4 Minuten)

Bin da bei dir. Ich denke aber, dass sich die Herangehensweise bei der Kostenoptimierung bald ändern könnte, weil neue KI-Tools die Wahrscheinlichkeit erhöhen dürften, auch schwerwiegende Sicherheitslücken zu entdecken, die bisher kaum auffindbar waren.
[...]

Für einige Anbieter wird das der Fall sein. Für ein Großteil der Softwareanbieter wird sich an der Kultur aber wenig bis nichts ändern. Schnell irgendwas zusammenschustern, was zu Geld gemacht werden kann ist lohnend. Irgendwelche automatisierten Prüfungen werden den Pfusch aufzeigen, werden Bremsen und werden alsbald aufs Abstellgleis gezogen. Die Gleichen Buden sind aber tendenziell auch jene, die mit LLMs noch schneller pfuschen können werden.

Die Dekaden an spektakulären Security Fuckups von oftmals wiederkehrenden Anbietern, scheint langfristig nicht zu deren Schaden. Da sehe ich nicht, was LLMs etwas ändern.