News Autonom Exploits entwickeln: Anthropics neues Modell ist so stark, dass es nicht veröffentlicht wird

[gartenriese]

Ich hab auch ein Modell entwickelt, das ist sogar noch besser. Aber weil das zu gefährlich ist, werde ich es auch nicht veröffentlichen.

 

[Sinush]

Aktuell kennen wir eigentlich nur die Aussagen von Anthropic

...und die der Mozilla Foundation hinsichtlich ihrer Patches. Ich traue denen genug Selbstbewusstsein zu, bei gegenteiliger Ansicht zu äußern: "Was labert Ihr für eine Scheiße?"

🤷‍♂️

Es hilft dem Ganzen auch nicht, dass KI-Firmen gefühlt seit Jahren rufen, sie stünden kurz vor AGI und immer wieder mal Mitarbeiter bei denen die dollsten Fähigkeiten herbeifantasieren.

👍

 

[Crifty]

Also wenn diese Engine so gut sein soll, dann frage ich mich ernsthaft warum die normale Bevölkerung durch eine News dadurch erfährt? Durch die Aufmerksamkeit werden ja wohl mehr Leute ein Interesse daran haben, egal gut oder böse.
Besser wäre es gewesen, wir hätten davon nicht erfahren, keiner spricht darüber und sie wäre unter Verschluss.
Manchmal habe ich das Gefühl das wir als Menschheit, nicht soviel Macht haben sollten.

Aber natürlich alles nur unter der Voraussetzung, das es stimmt.

 

[Azdak]

Da wir ja gerade erst den Beitrag über Coding Agents hatten...

Sind wir gerade am Wendepunkt von "KI schreibt bescheidenen Code, der Reviewed werden muss" hin zu "Programmierer schreiben bescheidenen Code und finden die flaws im Review nicht mal"?

Ich bleib gespannt.

 

[Blaexe]

Also wenn diese Engine so gut sein soll, dann frage ich mich ernsthaft warum die normale Bevölkerung durch eine News dadurch erfährt?

Anthropic - genau wie OpenAI - sammelt immer noch händeringend Geld von externen Firmen. Sowas ist natürlich die beste Werbung dafür.

 

[mmdj]

hört sich an wie das eine unternehmen die seit jahren viel viel bessere "chips" als namenhafte hersteller haben, aber noch nie eins davon herausgebracht hat.

 

[Domi83]

Ich habe wirklich (also wirklich) eine KI entwickelt, die auf meinem Quantencomputer unter dem Haus aktiv ist. Sie kann Dinge machen, uff! Wer den Insider versteht, bitte nicht für andere spoilern!

Zurück zum Thema... Ich dachte auch erst einmal "Skynet kommt"

Vor allem wenn man sieht, welche Macht OpenClaw haben kann, wenn man ihm "Macht" und ein passendes LLM gibt.

 

[Blaexe]

hört sich an wie das eine unternehmen die seit jahren viel viel bessere "chips" als namenhafte hersteller haben, aber noch nie eins davon herausgebracht hat.

Außer dass Sonnet und Opus existieren und sowieso schon als führend im Coding Bereich gelten und diese gefundenen Exploits auf breiter Front von Dritten bestätigt wurden.

 

[mmdj]

@Blaexe man redet hier weder von opus oder sonnet, sondern um ein produkt das kein normalo zurzeit gesehen hat. also ist es weiterhin geschwafel.

 

[g0dy]

Hab ich das richtig verstanden?
Da kein System 100% sicher sein kann, ist jetzt alles in kürzester Zeit kompromittierbar?

 

[swage]

@Andy
Was der Meldung fehlt ist Imho die Wiedergabe, was hier als "autonom" gewertet wird. Das würde der Einordnung mehr helfen, als die Aufzählung von Funden.


Selbst wenn das Harnes hier viel Vorgaben enthalten sollte, ist das schwer beeindruckend.

Das ist eine gute Frage. Zunächst kann ein LLM lesen und schreiben. Wenn ich nun eine Bash auslese und die Ki Antwort in die Bash pipe was mit ALLEN LLMs prinzipiell geht wenn man ein wenig Python drumrum bastelt. Dann hat es theoretisch Zugriff auf alle Funktionen in der Bash.

Kommt das LLM damit zurecht?

Wie viele Parameter hat es? Persönlich denke ich das LLMs so ca. ab 13 Milliarden Parametern anfangen vernünftig zu werden. Natürlich, je mehr Parameter es hat umso höher sind Anforderungen an Hardware und um so langsamer ist es.

Also wenn ich ein 27 Milliarden Parameter Modell habe das vision enabled ist und auch den Monitor mit Screenshots abgreifen und villeicht noch speziell auf Coding und Werkzeuge trainiert ist ist es vermutlich sogar in der Lage genau das Python Script auszuspucken das es mit der Bash interagieren lässt.

Dann fragt sich an sich nur noch was es für Anweisungen bekommen hat. Man könnte es auch beauftragen dynamisch Anweisungen für sich selbst zu erzeugen.

Autonom ist... Loop.

 

[Blaexe]

@mmdj

Dein Vergleich nennt "seit jahren viel viel bessere chips als namenhafte hersteller haben aber noch nie eins davon herausgebracht hat". Der Vergleich funktioniert nicht. Diese Chips in deinem Vergleich sind Sonnet und Opus. Und nun kommt ein neuer High End Chip dazu, dessen gefundene Exploits auch bereits bestätigt wurden.

Wenn du das anzweifeln willst dann nur "weil aus Prinzip", einen Grund dafür gibt es nicht.

@swage

Mythos soll angeblich 10T Parameter haben.

 

[swage]

Mythos soll angeblich 10T Parameter haben.

nickt enthusiastisch

 

[pioneer3001]

Zu dieser News sollte man wissen, falls man nicht selbst mit KI programmiert, dass Bugs finden zu den Aufgaben gehört die Sprachmodelle am schlechtesten lösen können. Weil man um Ecken denken und womöglich den ganzen Code in Verbindung mit einer fehlerhaften Funktion testen muss. Bugs finden die Sprachmodelle nur wenn sie mehrfach hin und her probieren. Auf Anhieb spuckt kein Frontier-Modell (auch Claude Opus) eine korrigierte und korrekte Funktion aus. Daher gibt es so viele Beschwerden dass von gemeldeten Sicherheitslücken kaum welche bearbeitet werden. Das sind fast alles falsch-positive Meldungen.

Und ich glaube nicht dass das neue Modell Mythos darin irrwitzig überragend ist. Denn Kacke + 10 % ist immer noch Kacke. Das ist nur Werbung: Zu gefährlich für die Welt! Haben wir schon öfter gehört wie bei OpenAI. Und deren Modelle sind immer schlechter geblieben als die von Anthropic. Und waren letztlich doch irgendwann für alle zur Nutzung angeboten worden.

PS: Der gepatchte Quellcode sieht im Übrigen dann aus wie Kraut und Rüben. Weil Sprachmodelle dazu neigen irre Workarounds zu basteln die ihren einzigen Testfall den sie sich ausdenken zu bestehen. Du selbst hast dann unkenntlichen Salat vor dir.

 

[Vigilant]

Die Regierungen die es wollen und gut bezahlen, werden es schon haben.

Wenn Anthropic es kann, können es andere auch. Will nicht wissen, wie, mit welchem Ziel und mit welchen Ressourcen KIs regierungsnah entwickelt werden.

 

[CDLABSRadonP...]

Das bedeutet, du witterst eine große Verschwörung, in der alle im Artikel genannten Konzerne involviert sind, um diesen "Mythos" aufrechtzuerhalten? (...)

Nein, ich wittere einen guten Witz und viel Potential für deutlich überzogenes Marketing.

Warum? Lässt sich doch recht schnell prüfen.

Unabhängig? Nein.

 

[daVinci]

Da muss doch nur eine einzige Person dieser "IT-Sicherheitsgruppen" das große Geschäft wittern und schon ist das Ding freigelassen.

 

[Atma]

Sicherheitslücken aufdecken ist ausnahmsweise ein sehr nützlicher und produktiver Anwendungszweck von AI. Wenn dadurch wie im Fall von Firefox Software sicherer wird, profitieren wir alle davon.

 

[Syrato]

Ich bin mir ziemlich sicher, dass viele das auch über den PC und Gaming gesagt haben.

Es gibt eben verschiedenste Anwendungsfälle von KI. Lasst den DAUs doch auch ihren Spaß damit.

Ich hab nicht geschrieben, dass die es nicht dürfen, du legst mir das nur in den Mund.
Es wird gute, spezialisierte Anwendungen für KI geben.

 

[Uzer1510]

Najha wie eillst de

Da muss doch nur eine einzige Person dieser "IT-Sicherheitsgruppen" das große Geschäft wittern und schon ist das Ding freigelassen.

Wie sollten die denn das freilassen - das läuft ja alles nur bei Anthropic - wenn auf einem Zugang zu viel genutzt wird oder verdächtiges passiert machen die den Account halt zu.