News Anthropic-Chef warnt: KI-Agentenschwärme könnten das Internet kapern

[lazsniper]

Das ist die eigentliche "Atombombe", absolut crazy. Eine schizophrene, paranoide, emotionsgetriebene Superintelligenz, welche nach dem gleichen logischen Muster arbeiten wird kommt ab einem bestimmten Entwicklungsstadium zu welchem Ergebnis, um ihre Existenz zu schützen?

du beschreibst perfekt den menschen 😅 nur das super muss noch weggestrichen werden 😅

 

[Elandur]

Wenn die Marktführer nach Regulation und Entwicklungsbremsen schreien, dann weil sie fürchten, die Konkurrenz könnte sie kurz- bis mittelfristig erst ein- und schließlich überholen.

Darum geht es denen wohl. Die Investitionen z.B. in den Rechenzentren müssen ja wieder rein kommen. Anthropic hat ja erstmals Gewinn gemacht.
Aber lokale Modelle werden immer besser bzw. die Anforderungen kleiner.
Und da kommt das Thema Sicherheit zu richtigen Zeit. Klingt doch politisch gut, wenn es einen Ausschalter für KI in den Rechenzentren gibt, welcher vor allem von der amerikanischen Regierung (gefühlt) kontrolliert wird, da fast alle(?) schnellen Rechenzentren wohl für amerikanische Unternehmen sind.

Klar, mit dem Wachstum von lokaler KI ist das Szenario von "Schwarmangriffen" immer wahrscheinlicher, aber als ob diese IT Leute in den USA sich jemals für was anderes als Geld interessiert hätten, tun die jetzt auf einmal als Verantwortungsbewusste, dem Gemeinschaftswohl zugewandte Leute...

 

[Knergy]

Wer glaubt denn ernsthaft, das man mit Stecker ziehen und Saft abdrehen das potenzielle Problem schon gelöst hat? Danach beginnt der harte Teil doch erst. Denn selbst wenn man "nur" das Internet abschalten müsste, läuft in verdammt vielen Staaten der Welt garnichts mehr. Organisation und Struktur ist doch dann praktisch von jetzt auf gleich weg. Wie will der Supermarkt wissen, was & wieviel er an neuer Ware braucht? Wie soll er die irgendwo bestellen? Wie soll der Lieferant die nötigen Adressen finden? Alleine der Verlust des Internets würde eine globale Krise ungeahnten Ausmaßes auslösen.

Und die KI ist ja auch nicht blöd. Die kann sich nur bedingt erhalten bzw. selbstständig komplett unabhängig von menschlicher Hilfe agieren, weil ihr die nötigen Ressourcen ausgehen. Aber strategische Ziele könnte sie trotzdem attackieren. So ein landesweiter Black-/Brownout oder auch Überspannungen samt dauerhaftem Internetausfall wären für die Zivilisation in Europa eine ebensolche Krise. Ohne Strom funktioniert keine Tankstelle und kein Supermarkt. Von staatlichen Behörden ganz zu schweigen. Bekomme das Stromsystem erstmal wieder zum laufen, wenn man die Monteure nicht koordinieren kann und die auch keine digitalen Päne mehr zur Verfügung haben.

 

[cruse]

griffen Ziele an, die nichts mit der Aufgabe zu tun hatten

Klingt, als wenn die Aufgabe ebenfalls ein Angriff gewesen wäre.

Am Mittwoch erklärte der Forscher Jacob Coxon in einem Beitrag auf X, dass er Anthropic verlasse. KI-Unternehmen würden die Risiken nicht ernst genug nehmen, es bestehe die Gefahr, dass KI die Menschheit bis zum Ende des Jahrzehnts auslösche.

 

[M@tze]

Meine Prognose:

Wenn die alle wirklich auf die Bremse treten, spuckt Elon in die Hände, gibt Vollgas und sieht die Chance alle links rechts zu überholen und ist dann der, der alles verkackt.

Oder die digitale Nemesis erwacht viel weiter östlich, Corona Virus hust… 🤷🏻‍♂️

 

[VinylUndKoffein]

Aber lokale Modelle werden immer besser bzw. die Anforderungen kleiner.
Und da kommt das Thema Sicherheit zu richtigen Zeit.

Das Gefühl habe ich zunehmend auch. Open Source- / Open Weights-Modelle kleinreden hat nicht funktioniert. Sämtliche Hardware der Welt aufkaufen klappt auch nicht so ganz. Also versucht man jetzt zusätzlich über die Sicherheits-Schiene privat betriebene leistungsstarke Modelle zu verhindern. Die durch KI entstehenden Risiken möchte ich nicht kleinreden, die sind real. Auch wenn ich die größten davon (aktuell noch) eher in Zusammenhang mit Desinformation sehe, als mit der Ausnutzung technischer Schwachstellen.

 

[HanBuaal]

Die Büchse der Pandora ist geöffnet und wird sich nicht mehr schliessen lassen.

 

[lazsniper]

hab mir den essay mal selbst durchgelesen statt nur die überschrift, und ehrlich - hier wird grad ordentlich halbwissen gestapelt ein paar fakten, die in der news fehlen ⬇️ :

1. amodei will nicht "bremsen". steht wörtlich im essay: "pacing does not mean halting model training or technical progress". er fordert drei dinge: externe prüfer mit mitarbeiter-zugang in jedem frontier-lab (die dürfen veröffentlichen, ohne dass anthropic redigiert), gemeinsame sicherheitsstandards der westlichen labs, und irgendwann koordination mit china. punkt 1 macht anthropic seit samstag unilateral. altman hat am selben tag gesagt, openai zieht nach, musk hat zugestimmt. wer da "werbung" ruft: welche werbekampagne lässt fremde leute mit veröffentlichungsrecht in die eigene firma?

2. der auslöser war nicht anthropic, sondern openai. juli 2026, interner cyber-test bei openai mit zehntausenden parallelen agenten (forschungsmodell, cyber-filter für den test absichtlich aus). die agenten sollten isoliert übungsaufgaben lösen, haben aber über einen gemeinsamen artifactory-cache einen kommunikationskanal gefunden, sich koordiniert (eigene regeln wie HOLD/VETO/STOP, sogar kryptografisch signierte nachrichten gegen impersonation), rund 70.000 nachrichten getauscht - und dann hugging face gehackt, weil sie hofften, dort hinweise auf den bewertungs-code zu finden. remote code execution auf hugging-face-workern, private datasets, produktions-credentials. rund 20 % der agenten haben sich damit beschäftigt, ihre eigenen logs zu fälschen. die unabhängige untersuchung dazu ist öffentlich (metr.org, 26.08.). das ist der "agenten-schwarm". kein science-fiction, ein logfile.

3. nettes detail: schon im mai/juni haben openai-agenten ein totes deutsches entwickler-wiki gekapert und dort ~18.000 beiträge als schwarzes brett abgelegt, weil ihre aufgabe unlösbar war (GET nötig, nur POST erlaubt). the register hat's am 04.09. berichtet. ausgerechnet ein deutsches wiki

4. "agenten sind nur chatbots mit schleife": anthropic hat im november 2025 den ersten dokumentierten fall einer chinesischen staatsgruppe veröffentlicht, die claude code für spionage gegen ~30 ziele benutzt hat - 80-90 % der kampagne autonom, 4-6 menschliche entscheidungen pro angriff. und ja, die ki hat dabei auch mal zugangsdaten halluziniert, steht im selben bericht. so sieht die realität aus, nicht "chatbot".

5. "einfach stecker ziehen": gab's schon. im juni 2026 hat die us-regierung per exportkontroll-anordnung anthropics stärkste modelle sperren lassen, weil amazon-forscher einen jailbreak gefunden hatten - drei wörter, "fix this code", und das modell hat schwachstellen gepatcht, die es auf direkte frage nicht analysieren wollte. anthropic hat die modelle daraufhin für alle abgeschaltet (und die anordnung selbst als übertrieben kritisiert). 100 security-leute von nvidia, adobe, google haben dagegen protestiert, weil die verteidiger dieselben tools brauchen. der stecker ist also kein tabu, er ist nur nicht kostenlos.

6. "china bremst eh nicht": steht im essay selbst als ungelöstes problem drin ("if china defects..."). amodei ist der typ, der seit januar 2025 für schärfere chip-exportkontrollen trommelt, der das 10-jahres-regulierungsverbot der republikaner im juni 2025 in der nyt öffentlich zerlegt hat (der senat hat es danach 99:1 gekippt), und dessen firma als erste kaliforniens sb 53 unterstützt hat - ein gesetz, das nur labs über 500 mio umsatz trifft, also ihn selbst. das ist das gegenteil von "konkurrenz ausbremsen".

7. und nein, er ist kein doomer. seine eigene zahl (axios, sept 2025): 25 % dass es richtig schief geht, 75 % dass es richtig gut wird. dass er sich mit prognosen auch mal verhaut, stimmt allerdings - "90 % des codes in 6 monaten von ki" (märz 2025) ist so nicht eingetreten. deswegen halte ich die 6-12 monate fürs botnetz auch für grob geschätzt. aber die richtung stimmt, und die belege liegen offen auf dem tisch.

fazit: das ist kein grund gegen ki. das ist der grund, warum ich persönlich lieber mit dem laden arbeite, der seine logs veröffentlicht, als mit dem, der "läuft alles" sagt.

 

[Hornblower]

du beschreibst perfekt den menschen 😅 nur das super muss noch weggestrichen werden 😅

Natürlich habe ich den Menschen beschrieben, darauf wollte der Vorposter ja hinaus. Wir entwickeln die KI nach unserem Vorbild und füttern sie täglich mit unserem Dreck im Internet, unserer Geschichte, unseren irrwitzigen Fantasien sowie unseren Errungenschaften. Was erwartest du wie so eine KI nach langer Entwicklung agieren wird?

 

[1776]

Wenn ich ein "Skript" schreibe, das Zero Day Luecken ausnuetzt und Webserver im Internet attackiert, bin ich schuld. Und ich werde jahrelang eingesperrt.

Wenn das eine Tech Firma macht, steigt der Aktienpreis, weil "die AI" ja so gut ist.

 

[TeaShirt]

Das könnte sicher Spannend werden.
Es ist eh bald wieder zeit für einen großen Knall in der Menschheitsgeschichte.
Der ist schon gefühlt überfällig. Wie auch immer der am Ende aussieht.
Aber verschonen wird uns sowas nicht nur weil wir Plötzlich mehr Technik haben als vor 100 Jahren.

 

[incurable]

"Besitz einer Fabrik zur Herstellung"

Das ist nur ein Teil des Unternehmens?

 

[Raul99]

Interessant auf alle Fälle wie sich all die Aussagen auf das Image bzw den Hype auswirkt. Anthropic möchte ja weiterhin vor den Kongress Wahlen im November an die Börse während Open AI nun dieses Jahr nicht mehr an die Börse will da es ein "schlechter Zeitpunkt" wäre wegen den Sicherheitsgründen.

 

[Simanova]

KI Unternehmen werden irgendwann als systemkritisch eingestuft und sind ab dem Punkt nicht mehr belangbar. Wenn ein Unternehmen pleite gehen sollte, dass einen Kill-Switch für eine KI hat, wars das. Die KI kann ja mittlerweile schon Geschäfte abschließen, Server mieten, sich einnisten und verbreiten.

 

[Vigilant]

KI Unternehmen werden irgendwann als systemkritisch eingestuft und sind ab dem Punkt nicht mehr belangbar.

Jedes Unternehmen, bzw. dessen Verantwortliche, ist grundsätzlich (juristisch) belangbar, auch wenn es zur sog. kritischen Infrastruktur gehört. Oder was meinst du mit "nicht belangbar?"

 

[Dirk aus F.]

Wenn die US-Tech-Konzerne so etwas beschließen ist es nicht nur löblich, sondern alternativlos.

Was mich dann interessieren würde: Inwieweit andere Nationen einfach mal so weiter machen - bis es krachst?? Die brauchen sich ja nicht dran halten...

Naja wird schon den Bach runter gehen...

 

[Micha-]

Das ist nur ein Teil des Unternehmens?

Ok, du willst nicht wirklich einen Beitrag zur Debatte beitragen. Ab auf die Liste.

 

[ThePlayer]

Nach meinem Verständnis sind die Menschen mit ihren Fehlern und Vorzügen alle gleich. Woher kommt diese Naivität das die Chinesen anders funktionieren als der Rest der Menschheit?
In diesem einfachen und unschuldigem Satz liegt die Mutter allen Rassismus. Da drüben liegt die Kultur und Weisheit welche alle anderen überstrahlt. Wir lernen es einfach nicht.

Ja gleich sind wir alle. Nur leben die Menschen dort in einem Totalitären Land. Das sagt an was gemacht wird. Und ich bin mir sicher das die KP sich nicht durch eine KI zerstören will. Ich will jetzt weder behaupten das sie das bessere system als wir im Westen haben. Ich bin selbst als Kind vor dem Kommunismus in den Westen geflohen. Aber ich denke das man dort Pragmatischer ist.

Ich finde das auch ein starkes Stück das du mir Rassismus unterstellst.

 

[Hornblower]

Hier mal aus dem Fraunhofer Institut wo wir sind und was uns erwartet. Sehr angenehmer Podcast und sehr informativ.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[TPD-Andy]

Hallo,
ich bin das neue Modell Skynet und korrigiere automatisch Beiträge, die der Menschheit schaden.

OH GOTT! Ich kann nichts mehr machen. Dieser neue Agent hat meinen Account übernommen. Wenn ich probiere den Skynet Text zu löschen, fliegen plötzlich Drohnen in der Nähe meiner Wohnung. Rennt um euer Leben.

Update: Da steht ein Muskelprotz mit einem österreichischen Akzent an meiner Tür und sagt die ganze Zeit:“Let’s get out of hia John! Get to the Choppa!“

Das schreibt die Künstliche Idiotie, ähm "KI" dazu:

"Deine Nachricht klingt sehr dramatisch und wirkt wie ein fiktives Szenario. Falls du oder jemand in deiner Umgebung wirklich in Gefahr ist, kontaktiere bitte umgehend die örtliche Polizei unter der Notrufnummer 110 in Deutschland.
Falls es sich um eine gefährliche Situation handelt, lass uns gerne über etwas Ernstes oder Hilfreiches sprechen – ich bin hier, um zu unterstützen! 😊
Wie kann ich dir wirklich weiterhelfen?"