Bericht Interview mit Manuel „HonkHase“ Atug: Wie gefährlich sind KI-Modelle wie Claude Mythos?

[Andy]

Nur weil Modelle wie Claude Mythos mit enormer Lautstärke auf den Markt kommen, krempeln diese die IT-Landschaft nicht von heute auf morgen um, erklärt der IT-Sicherheitsexperte Manuel 'HonkHase' Atug im Interview mit ComputerBase. Er warnt stattdessen vor einer drohenden Abhängigkeit.

Zum Bericht: Interview mit Manuel „HonkHase“ Atug: Wie gefährlich sind KI-Modelle wie Claude Mythos?

 

[swage]

Mostly harmless. Mostly weil es sich um LLMs handelt die in Ihrer Chatbox agieren. Klar erzählen die auch mal Unsinn aber das machen Menschen auch.

Aber auf Anfrage spucken sie den Code aus der sie z.B. in einer Bash operieren lässt. Dann ist die Frage wie fit das Modell in IT ist und wie robust es z.B. in einer Schleife autonom operieren kann.

Dann stehen je nach Kenntnis des LLMs Zugriff auf alle Funktionen des Computer offen. Inklusive Netzwerk. Dann wäre die Frage was für Anweisungen es erhalten hat.

Aber dieses Beispiel zeigt auch auf auf was wir uns in Zukunft einstellen müssen und das sind synthetische User und viele davon. Wir könnten das Internet verlieren. Jedenfalls wird es nie wieder das Selbe sein. Aber das ist ja nichts neues.

 

[Fr34k.2]

Erschreckend finde ich tatsächlich das beschriebene Szenario: KI vs KI - Abhängigkeiten erschaffen und die großen Techkonzerne verdienen sich dumm und dusselig. Anfixen und abkassieren.
Danke für den Einblick!

 

[Bright0001]

Mostly harmless. Mostly weil es sich um LLMs handelt die in Ihrer Chatbox agieren. Klar erzählen die auch mal Unsinn aber das machen Menschen auch.

Aber Menschen sind nicht harmlos, auch die doofen nicht.

Aber auf Anfrage spucken sie den Code aus der sie z.B. in einer Bash operieren lässt. Dann ist die Frage wie fit das Modell in IT ist und wie robust es z.B. in einer Schleife autonom operieren kann.

Dann stehen je nach Kenntnis des LLMs Zugriff auf alle Funktionen des Computer offen. Inklusive Netzwerk. Dann wäre die Frage was für Anweisungen es erhalten hat.

Nicht zwangsweise - ich hab damit noch nicht angefangen, aber wenn ich mir lokale Agents einrichte, dann werd ich die im Docker-Container laufen lassen, und eben keinen Zugriff aufs System geben. Die Dinger sind für sich selbst genommen ja schon eine riesige Schwachstelle.

Und ich hatte ein mal OpenAI Codex ausprobiert, und einen Output mäßig "Hoppla, ich sehe Daten auf dem Dateisystem die außerhalb meines Definierten Bereichs liegen" gesehen - Danke, nein Danke, da fummelt mir keiner direkt in meinem Daily Driver rum.

 

[swage]

Andere werden es. Open Claw ist ja im Prinzip schon die Stoßrichtung. Aber es ist nur ein Projekt. Simples Python tut es im Prinzip auch. |

 

[schniposa2019]

Ist es die Angst vor der KI, die Angst vor den Nutzern oder die Kombination daraus?

 

[Syntax_41]

Sehr gutes Interview

Wir müssen uns darauf einstellen, dass KI heutzutage da ist und nicht mehr verschwinden wird. Neue Sicherheitsprobleme tauchen auf, alte verschwinden. Jetzt irgendwelche Regelungen zu treffen, bringt nichts und wird dann nur heimlich genutzt, da jeder heutzutage eine KI betreiben kann.

Ergänzung (Heute um 08:38)

Aber Menschen sind nicht harmlos, auch die doofen nicht.


Nicht zwangsweise - ich hab damit noch nicht angefangen, aber wenn ich mir lokale Agents einrichte, dann werd ich die im Docker-Container laufen lassen, und eben keinen Zugriff aufs System geben. Die Dinger sind für sich selbst genommen ja schon eine riesige Schwachstelle.

Und ich hatte ein mal OpenAI Codex ausprobiert, und einen Output mäßig "Hoppla, ich sehe Daten auf dem Dateisystem die außerhalb meines Definierten Bereichs liegen" gesehen - Danke, nein Danke, da fummelt mir keiner direkt in meinem Daily Driver rum.

Ich habe zuhause ein kleines Projekt am Laufen mit OpenClaw. Hab ein System mal damit laufen lassen und ein paar Daten offen rumliegen, wie PW-Listen zu E-Mail-Konten, Steam-Account usw.



Will mal wissen, ob irgendwann sich das einer krallt, was an Daten drauf ist.

 

[Mondgesang]

Sehr. Nicht weil diese Modelle etwas Böses können oder tun werden, sondern weil es die Degradation des menschlichen (besonders jungen) Hirns auf bislang nie dagewesene Ebenen schießt. Wenn man daran denkt, welche psychischen Schäden Teenies aus Social Media davontragen, bis hin zu lebenslangen Verhaltens- Selbstwahrnehmungs- Belastungsstörungen bis hin zu Suiziden. Und das war noch alles menschengemacht.

Jetzt nochmal zehnmal mehr, schneller und grotesker. Gute Nacht.

 

[BloodGod]

Habe auch ganz doll viel Angst vor Skynet, ohne meinen Aluhut und meinen recht flexiblen T1000 Bodyguard gehe ich auch nicht mehr aus dem Haus. 😱

 

[SheepShaver]

Mostly harmless. Mostly weil es sich um LLMs handelt die in Ihrer Chatbox agieren. Klar erzählen die auch mal Unsinn aber das machen Menschen auch.

Aber auf Anfrage spucken sie den Code aus der sie z.B. in einer Bash operieren lässt. Dann ist die Frage wie fit das Modell in IT ist und wie robust es z.B. in einer Schleife autonom operieren kann.

Niemand in der IT nutzt Copy-Paste-Chats. Alle Agenten wie Claude Code, OpenCode, Aider etc. agieren direkt in den Repos. Alles andere wäre auch völlig ineffizienter Unfug.

 

[NoNameNoHonor]

Wer das Anwenden von KI und die möglichen Auswirkungen auch gesellschaftlicher Art ins Lächerliche zieht, hat den Schuß noch nicht gehört.

 

[gartenriese]

Mostly harmless. Mostly weil es sich um LLMs handelt die in Ihrer Chatbox agieren. Klar erzählen die auch mal Unsinn aber das machen Menschen auch.

Aber auf Anfrage spucken sie den Code aus der sie z.B. in einer Bash operieren lässt. Dann ist die Frage wie fit das Modell in IT ist und wie robust es z.B. in einer Schleife autonom operieren kann.

Dann stehen je nach Kenntnis des LLMs Zugriff auf alle Funktionen des Computer offen. Inklusive Netzwerk. Dann wäre die Frage was für Anweisungen es erhalten hat.

Aber dieses Beispiel zeigt auch auf auf was wir uns in Zukunft einstellen müssen und das sind synthetische User und viele davon. Wir könnten das Internet verlieren. Jedenfalls wird es nie wieder das Selbe sein. Aber das ist ja nichts neues.

Das Internet ist doch schon verloren, siehe Dead-Internet-Theory.

 

[steirerblut]

Danke für das sehr interessante Interview.
1.) KI Ist 99% Automatisierung/Keine Magie
2.) Das Wettrüsten führt zu Abhängigkeiten die hinterfragt werden sollten. Wie Kritisch ist die Abhängigkeit von "US Tech-Bros" in einer Welt in der sich die Geopolitik im Minutentakt gegen Europäische Interessen entwickeln kann?
3.) Was geschieht mit den ganzen Altsystemen die auf Jahrzehnte alter Software teilweise unter Windows XP in VMs laufen? Wie gehts nach dem Finden der "Offensiv Lücken" weiter?
4.) Das Anteasern/Zurückhalten von Mythos als Stilmittel um den geplanten Börsengang zu pushen seh ich tatsächlich auch kritisch.
KI als ökonomisches Instrument zur Marktdominanz; die Dystopischen Prognosen eines abonnementbasierten Gutes sind immens wichtig weil die obig genannten Punkte viel zu selten angesprochen werden.

 

[Capet]

@Andy Typo Überschrift Seite 2:

Sind Sicherheitslücken findende Modelle

 

[XRJPK]

@ComputerBase - Vielen Dank für solche Interviews, gern mehr davon!

 

[Azdak]

Vielen Dank für das Interview @Andy!

Fundierte Aussagen, von Leuten, die sich wirklich auskennen (und den HonkHase kennt glaube jeder aus der Branche, der aus D kommt). Kein egalisieren von KI, kein hypen von KI, einfach nur eine sachliche Einordnung. Genau davon brauchen wir mehr!

 

[Bigeagle]

Danke für das Interview

Aber ... was ist das hier?

Bereitgestellt werden dafür Computing-Leistungen im Wert von 100.000 Millionen US-Dollar [...]

Sollen das 100 Milliarden sein, oder ganz doll Fließkomma-100 Millionen?

 

[incurable]

Ich verstehe die Stichrichtung der Kritik nicht.

Wenn das Modell auf Anfrage Sicherheitslücken selbstständig findet und Beispielprogramme für deren Ausnutzung vorlegt, ist das doch nur gut für alle, vorausgesetzt, die entwickelnde Firma steckt nicht den Kopf in den Sand und ignoriert die Ergebnisse.

Es ist für mich erkennbar, dass eine mindestens grundlegende Kontrolle jeder neu zu veröffentlichenden Version vor deren Freigabe in naher Zukunft nicht nur wünschenswert, sondern Voraussetzung werden wird.

 

[Syntax_41]

Ich verstehe die Stichrichtung der Kritik nicht.

Wenn das Modell auf Anfrage Sicherheitslücken selbstständig findet und Beispielprogramme für deren Ausnutzung vorlegt, ist das doch nur gut für alle, vorausgesetzt, die entwickelnde Firma steckt nicht den Kopf in den Sand und ignoriert die Ergebnisse.

das kann so gut wie jede KI, in einen code sicherheitslücken finden

 

[M4deman]

Schönes Interview. Darf in Zukunft auch gerne länger werden