Bericht Interview mit Manuel „HonkHase“ Atug: Wie gefährlich sind KI-Modelle wie Claude Mythos?

[Snakeeater]

Haftung, langfristig Überblick behalten, Unabhängigkeit von äußeren Einflüssen.

In beiden Fällen haftet das Unternehmen. Äußeren Einflüssen, häh?

 

[SheepShaver]

@Zensored
PRs und Vier-Augen-Prinzip sind bekannte Begriffe? Ein Mensch schaut so und so nochmal drüber. Genauso wie Menschen wird auch eine KI nicht direkt Push-Berechtigungen auf Master haben.

 

[Piktogramm]

Genauso wie Menschen wird auch eine KI nicht direkt Push-Berechtigungen auf Master haben.

Wo habt ihr alle euren Optimismus her?

 

[Snakeeater]

In Isreal gibt es verpflichtenden Militärdienst und ein nicht unerheblicher Teil der Verpflichteten landen da in der Abteilung "Cyber", verlängern dort. Dabei ist es durchaus Absicht, dass da offensive Fähigkeiten entwickelt werden und es zu Ausgründungen kommt. Unter anderem Palantir kommt daher und auch andere offensiv ausgerichtete Produkte/Dienstleistungen. Wobei Letztere auch immer wieder sichtbar werden, wo der Einsatz durch Akteure außerhalb westlichen Rechtsrahmen und Interessen liegen.

Ergebnis ist dann sowas: https://dailysecurityreview.com/sec...ro-click-ios-attacks-on-european-journalists/
Journalist (Italiener) hat Spyware auf einem iPhone, wobei der Exploit aus dem Leistungsspektrum eines isrealischen Unternehmens stammt.
Es ist leider auch kein Einzelfall :/

Nur mal so, also weil Israel genau das macht was in Deutschland seit Jahren ignoriert wird unterstellt man ihnen jetzt irgendwie in einem "offensiven Dunkelbereich" zu agieren? Warum diese negativ Konnotation?

 

[VR 4K etc.]

Das Problem hast du bei klassischen Reviews und Pentests auch schon. Die Kosten von X um Lücken zu finden ist im Vergleich zum Schadensfall mit Kosten Y viel geringer. Das Problem ist, dass für den Preis für X nicht abgesichert ist, dass ein Schadensfall eintritt und das neue Reviews fällig werden bei technologischer Entwicklung (sowohl extern, auf Seite der Angreifer, als auch eigene Entwicklung der Software), wobei da jedesmal grob die Summe X anfällt. Die wiederholende Summe X ist dabei irgendwann deutlich mehr als die Summe Y multipliziert mit einer angenommenen Eintrittswahrscheinlichkeit des Schadenseintritts.
Entsprechend werden sich Reviews dann gern mal gespart.

Bin da bei dir. Ich denke aber, dass sich die Herangehensweise bei der Kostenoptimierung bald ändern könnte, weil neue KI-Tools die Wahrscheinlichkeit erhöhen dürften, auch schwerwiegende Sicherheitslücken zu entdecken, die bisher kaum auffindbar waren.
Vielleicht etwas überspitzt formuliert: Viele kleine, bisher unentdeckte Sicherheitslücken brechen einer Firma meist nicht sofort das Genick und ruinieren auch nicht zwingend ihren Ruf. Bei großen, mit bisherigen Tools kaum auffindbaren Schwachstellen könnte das aber anders aussehen – vor allem abhängig davon, welche Akteure sie zuerst entdecken.

 

[SheepShaver]

Wo habt ihr alle euren Optimismus her?

Wenn nicht mal Selbstverständlichkeiten befolgt werden, dann ist die KI das kleinere Problem.
Ja, wenn man kein Versionierungstool wie Git verwendet, dann kann man auch nicht mehr nachverfolgen wer was, wann und warum gemacht hat. Aber dann erübrigt sich auch jede weitere Argumentation bezüglich Sicherheit.

 

[Tornhoof]

Genauso wie Menschen wird auch eine KI nicht direkt Push-Berechtigungen auf Master haben.

Github copilot hat einen /yolo (you only live once) mode, der alle tools etc freischaltet, der pushed auch ohne mit der wimper zu zucken mit -f auf master. Ohne /yolo kannst das tool nur sehr nervig nutzen, weil du verdammt viele Berechtigungen für Tool Aufrufe etc. einzeln vergeben musst.
Mit Github Enterprise kann man da aber einiges blockieren mit Einstellungen.

Jeder muss sich bei Coding Agents bewußt sein, dass die eigentlich abseits jeglicher klassischer Entwicklungsprozesse laufen. Das ist ja auch einer der Gründe wieso die Aussage, dass Coding Agents eigentlich nur Senior Entwicklern helfen, die das Know-How haben, den Unfug den der Agent produziert auch zu reviewen und zu bewerten.

 

[Piktogramm]

Nur mal so, also weil Israel genau das macht was in Deutschland seit Jahren ignoriert wird unterstellt man ihnen jetzt irgendwie in einem "offensiven Dunkelbereich" zu agieren? Warum diese negativ Konnotation?

Du solltest spezifischer werden. WAS wird deiner Meinung nach In Deutschland seit Jahren ignoriert?
Kompetente IT-Sec gibt es in Deutschland durchaus, Exploitforschung auch. Das Exploits vermarktet werden ist hierzulande eher untypisch, in Isreal eine Vermarktung staatlich durchaus gefördert.
Die negative Konnotation kommt vielleicht daher, dass Spyware von israelischen Anbietern immer wieder bei Journalisten, Völkerrechtlern, Aktivisten auf Geräten auftaucht und da keinerlei rechtsstaatliche Kontrolle wirkte, noch vom Anbieter anzunehmen war, dass entsprechende Kontrollen überhaupt stattfinden würden.

Es müssten sich auch Fälle finden lassen, wo entsprechende Exploits unter Kontrolle von sanktionierten Staaten finden lassen (ich glaube mich dran zu erinnern).

Und ja Scheiße noch eins, das ist negativ. White- bis Greyhathacker melden ihre Funde an die betroffenen Anbieter, damit die Schwachstelle gefixt wird. Exploits/Spyware handeln ist in der Szene der IT-Sec doch eher die dunkle Seite.

 

[SheepShaver]

@Tornhoof
Der Agent kann nur so viele Rechte bekommen, wie man ihm gibt und mit Sicherheit nicht mehr Rechte, als man selber hat. Wenn dein Repo so konfiguriert ist, dass direkte Pushes nach Master erlaubt sind, dann ist dein Repo falsch konfiguriert und genügt nicht einfachsten Sicherheitsanforderungen.

 

[Simmal1203]

Gibt es das Interview eigentlich auch (irgendwann) als Podcast? Oder innerhalb eines Podcasts?
Wäre ja einfach, es bei Teams aufzuzeichnen und bereit zu stellen.

 

[Tornhoof]

@SheepShaver das ist doch nicht die Diskussion, die Diskussion ist was der Agent ausführen will, der Agent hat kein abstraktes Sicherheitsverständnis für irgendwas, wenn er push -f machen kann dann wird er push -f machen, auch auf master wenn er dazu die Rechte hat.
Das ist ja der ganze Grund wieso die Harness Diskussion überall geführt wird.

Ansonsten:

Der Agent kann nur so viele Rechte bekommen, wie man ihm gibt und mit Sicherheit nicht mehr Rechte,

Jein. Es gibt genug Beispiele da haben Agents versucht bestimmte Mechanismen auszuhebeln um ihre "Probleme" zu lösen.

 

[Extraportion25]

"Definiere" Sicherheitslücke 😆

Der "Mensch", als aktuell global mit ca 70%, always "Connectet" wird früher oder später die Kontrolle über diese Verbindung vollständig verlieren.
Die von Macht und Idiologie getriebenen Konzerne und deren gesteuerten Politik sind längst im Krieg -
Gegeneinander und gegen die User.

Der Zugang zu freien Informationen und Kommunikation ist längst nicht mehr "legal und uneingeschränkt" möglich, teils sogar unter Strafe gestellt. Als globales Massenkontrollinstrument mit maximaler Reichweite wird stetig als Waffe für Manipulationen ( Desinformationen, Massenerziehung durch permanente Weltbilddarstellung ( dazu gehören u.a. auch Kaufverhalten, Sprache, Denken und ethnische Kontrolle + Meinungs-u. Impuls- u. Aktivismusprogrammierung ) sowie immer weiter ausgedehnte "Rund-um-die-Uhr" Überwachung der User.

Jegliche KI/AI Automatisation beschleunigt und verschärft dies expotentiell und schon heute ist der Mensch bei der Informationserfassung, Menge und Auswertung dieser in jeder Form abgehängt. Eine follständige Userprofilierung die sich in diesem Netzwerk befindet findet pro User inzwischen in Nanosekunden und vor allem "Pauschal" statt, insbesondere wenn solche KI/AI die Fähigkeiten zum durchbrechen jeglicher Datenschutzbarrie hat.

"Sicherheitslücke" als Definition von was, für wen? Übersehen, geduldet oder gar gewollt? Sind Backdoors per Gesetz auch Sicherheitslücken? Frage für Fred 😂

Das Ziel dahinter kann jeder für sich selbst Bewerten, und während "DU" diesen Text gelesen hast, haben Dich unzählige Ki's schon x fach gescannt und mit aktualisierten Informationen über Dich Dein schon vorhandenes Profil aktualisiert und womöglich neu Bewertet 🫣.

 

[Snakeeater]

Du solltest spezifischer werden. WAS wird deiner Meinung nach In Deutschland seit Jahren ignoriert?
Kompetente IT(-Sec).

Das da. Und wenn "Aktivisten" plötzlich von irgendwelcher Spyware betroffen sind, hat das sicher auch gar keine Grundlage, richtig?

Finde die Aussage von Herrn Atug trotzdem grenzwertig, immerhin kenne ich jetzt seinen Namen und kann ihm auf Mastodon folgen. Bin gespannt was das noch alles zu Tage führt.

 

[pseudopseudonym]

Github copilot hat einen /yolo (you only live once) mode, der alle tools etc freischaltet, der pushed auch ohne mit der wimper zu zucken mit -f auf master.

Deswegen darf man also normaler Account nicht auf Master (force-)pushen. Da kann dann auch Copilot mit /yolo nichts in der Richtung.

 

[cypeak]

Wenn man daran denkt, welche psychischen Schäden Teenies aus Social Media davontragen, bis hin zu lebenslangen Verhaltens- Selbstwahrnehmungs- Belastungsstörungen bis hin zu Suiziden. Und das war noch alles menschengemacht.

Jetzt nochmal zehnmal mehr, schneller und grotesker. Gute Nacht.

wenn man so manchen "experten" reden hört, fragt man sich was für eine vorstellung von der zukunft und auch von den menschen in dieser zukunft haben.
ich habe z.b. vor einigen wochen einen artikel aus der "ki sphäre" gelesen in dem man dafür plädierte unsere gesamte schulische ausbildung umzukrempeln, den im ki-zeitalter wären fähigkeiten relevant die aktuell nicht gelehrt werden und das was uns beigebracht wird, hätte kaum noch relevanz.
sicherlich, zu einem teil müssten unsere lehrpläne der technischen entwicklung mehr rechnung tragen - aber das ist etwas was schon vor 10-20 jahren gültigkeit hatte. (übrigens auch wie die forderung in den schulen life-skills wie verträge abschließen, versicherungen, basics der geldalage und ähnliches zu lehren..)

aber ich habe heute schon bedenken dass der nachwuchs ohne smartphone und google gefült nicht "funktionsfähig" ist.
wollen wir wirklich dass der nachwuchs ohne ki komplett hilflos ist weil basics aus wissenschaften, mathematik, physik uncd co. nicht vorhanden sind? schon heute sind da bei den absolventen lücken die nicht lustig sind....aber will man wirklich "ki-fachidioten" heranzüchten? ich weiß ja nicht...

 

[Piktogramm]

Das da.

Dann zeigt deine Aussage allenfalls, dass du wenig Wissen um die IT-Sec in Deutschland, Europa hast. Es gibt kompetente Forschung, es gibt kompetente Firmen, selbst Behörden wie Polizei, BSI, BND, MAD stehen gar nicht so schlecht da. Die größte "Hacker" NGO weltweit haben wir dabei auch noch.

Wie überall sonst auch gibt es auch viel Mist und oftmals überwiegen fachfremde Abwägungen :/.

Und wenn "Aktivisten" plötzlich von irgendwelcher Spyware betroffen sind, hat das sicher auch gar keine Grundlage, richtig?

Grundlagen lassen sich immer finden. Fraglich ist halt, ob es rechtsstaatliche Grundlagen gab und ob vom Vertrieb der Spyware/Exploits angenommen werden konnte, dass rechtsstaatliche Kontrolle wirksam ist beim Einsatz entsprechender Lösungen. Im Falle israelischer Firmen sind es auffallen viele Fälle, wo dies verneint werden kann.

https://www.amnesty.org/en/latest/n...tion-tools-to-hack-journalists-and-activists/

https://www.bbc.com/news/technology-57881364

Und ich habe keinen Schimmer, wieso du Aktivisten in Anführungszeichen schreibst.

Finde die Aussage von Herrn Atug trotzdem grenzwertig, [...]

Naja, israelische Anbieter sind in den letzten Jahren die auffälligsten Quellen für Spyware und Exploits innerhalb der Staaten mit westliche Orientierung. Da kann Hase wenig dran ändern und sowas nicht zu kritisieren wäre untypisch.

 

[Snakeeater]

@Piktogramm Geile Quellen Bro, politisch mal über den Tellerrand blicken bitte, danke. Falls das Absicht war dann danke für deine Offenheit.

Achja zum ersten Absatz, woher beziehst du denn deine Informationen wie es um die IT in Deutschland bestellt ist?

 

[Flutefox]

@Flutefox Bei uns auch aus Sicherheitsgründen da muss noch altmodisch per usb stick zu einen anderen rechner erst von da aus gehts weiter nach ein paar checks

Na gut, so konservativ sind wir auch nicht. 😅

Ergänzung (Heute um 14:27)

Ob du nun Source Code in einen KI Chat Copy-Pastest und dann die Lösung manuell ins Repo kopierst oder der Agent das direkt selbst erledigt ist inwiefern "besser"?


Was soll daran "gut" sein?

Um dir mal ein paar Beispiele zu nennen, wieso das gut ist, wenn wir einfach mal beim Code bleiben:

• Der Code sollte gut dokumentiert sein
• KI nimmt nicht immer den besten Pfad und nimmt auch gerne Methoden, die nicht mehr dem Stand der Technik entsprechen, z.B. beim Ansprechen von Schnittstellen
• Wartbarkeit, Haftungsfragen, DSGVO Fragen, ob man seine Daten einfach so den großen nicht-europäischen Giganten in den Hals werfen will
• Wandlung von Entwicklern zu reinen Prompt Engineers, die selbst keinen sauberen Code mehr erzeugen können

LLMs sind nicht der Heilsbringer, den so viele darin sehen, aber auch nicht unser Untergang oder ein Abgesang auf viele Branchen.

Es sei aber mal gefragt: Macht es dir Spaß, kostenlos den Techgiganten die Stiefel zu lecken? Dieser naive Umgang mit Technologie und den Anbietern ist höchst fragwürdig.

 

[Piktogramm]

Geile Quellen Bro, politisch mal über den Tellerrand blicken bitte, danke. Falls das Absicht war dann danke für deine Offenheit.

Quellenkritik sollte ausführlicher sein als "geile quellen Bro". Wenn die BBC für dich keine belastbaren Leumund hat, brauche ich echt Hilfe um deine Anforderung an Quellen zu verstehen.

Achja zum ersten Absatz, woher beziehst du denn deine Informationen wie es um die IT in Deutschland bestellt ist?

IT-Sec kenne ich nach dem Motto: "Been there, done that, knowing people". Es gab in den letzten Jahren einfach immer wieder schöne Exploits. Nur halt überwiegend als responsible disclosure anstatt Vermarktung.

 

[Snakeeater]

Was haben irgendwelche Exploits jetzt mit generellem Stand der IT (Sicherheit) in Deutschland zu tun? Israel macht einen Markt aus Cybersicherheit, Deutschland hat das BSI.

Die Anspielung für die andere Quelle hast du doch scheinbar verstanden, BBC ist davon ja nicht weit entfernt?