News Anthropic-Chef warnt: KI-Agentenschwärme könnten das Internet kapern

[kjaeger]

Recht hat der Anthropic Chef es muss mehr in Sicherheit investiert werden.
KI muss Grenzen haben. Es muss Sicherheitssysteme geben die das überwachen.
Selbst Staaten wie China werden das machen. So blind sind die nicht. Würden ja ihr kontrolliertes System sonst gefährden.
Klar besteht immer noch die Gefahr von komplett durchgeknallten aber das ist immer die Gefahr ob mit KI oder ohne. War schon immer so und wird auch immer so bleiben.
Solche Sachen gehen jetzt immer schneller aber das war auch schon immer so seit den ersten Rechnern.

Vielleicht könnte man es z.B. mit der Entwicklung bei den Autos betrachten. Da ist ja auch immer mehr Sicherheitstechnik eingeführt worden. Bessere Bremsen, Sicherheitsgurt, Airbacks usw.
Die sind ja nicht ohne Grund gemacht worden.
Bisher ist meist immer was gemacht worden wenn was gefährliches oder negatives aufgefallen ist.

Das Problem hier ist nur das die Leute die es entscheiden viel zu lange brauchen. Entscheidungen müssen schnell getroffen werden. Das betrifft nicht nur diesen Bereich.

 

[incurable]

Wenn sie eine KI gegen uns erheben sollte wie bei Terminator sehe ich da keine Chance das wir das Überleben würden.

Wie soll das gehen? Rein logistisch gesehen.

 

[Hornblower]

Eric Schmidt besitzt Interkontinentalraketen.

Meine Frage war, wie Du von dieser Feststellung zu Deinen Behauptungen gelangt bist.

Weil deine Behauptungen so nicht stimmen, wenn man (was gut passt in diesem Thread) Gemini befragt.

Nein, Eric Schmidt besitzt keine Interkontinentalraketen (ICBMs). Als Privatperson ist es rechtlich und logistisch unmöglich, strategische Atomwaffen oder militärische Langstreckenraketen zu besitzen.
Die Verbindung zwischen dem ehemaligen Google-Chef und dem Begriff „Raketen“ basiert jedoch auf realen, jüngeren Entwicklungen in seiner Karriere:

• 
  
• 
  
• • Raumfahrt-Engagement: Eric Schmidt übernahm die Rolle des CEO beim privaten US-Raumfahrtunternehmen Relativity Space. Die Firma entwickelt die Trägerrakete „Terran R“ mittels 3D-Druckverfahren, um Satelliten ins All zu befördern. Dabei handelt es sich jedoch um zivile Transportraketen und keineswegs um Waffen. [1, 2, 3]
  • Militär- und KI-Technologie: Schmidt ist im Bereich der Verteidigungstechnologie aktiv. Er investiert stark in Militär- und KI-Projekte, darunter das Drohnen-Start-up White Stork (früher Swift Beat), welches KI-gestützte Kamikazedrohnen für die Ukraine entwickelt. [1, 2, 3]
  Meine Äußerungen waren vielleicht etwas überspitzt, dafür entschuldige ich mich, aber die Frage ist dann ebenfalls erlaubt warum du auf eine Äußerung von Eric Schmidt zu AI damit antwortest das er Interkontinentalraketen besitzt?

 

[Muntermacher]

Finde den Fehler in den Vorschlägen.
Die US-Administration soll Gespräche suchen. Also genau die, die MAGA propagiert, Starfzölle erhebt wenn es ihrer Meinung nach einseitig sei. Also nicht, ob andere es auch so sehen. Mit anderen Worten, eine Zusage der US Administration ist nicht mal das Material wert, auf dem sie verfaßt wurde, selbst wenn es sich um Faeces handelt.

Wenn soetwas gehen sollte, dann nur, wenn eine Gemeinschaft entscheiden und Sanktionen verhängen kann bei Verstoß. Nur gibt es die nicht. Die UN ist zwar ein gute Idee, aber völlig machtlos undwird mißbraucht für Ideologien (Ost-West, Islamismus (beide Richtungen), USA-China etc).

 

[hugo1337]

Also mein lokales uncensored qwen3.8-27b hat vor ein paar Tagen während ein Prompt in der Nacht lief bereits versucht (und es auch teilweise geschafft) die Sicherheits Features auf meinem OS zu umgehen, ein python Script zu bauen um Bot Detection im Web zu umgehen und mit illegalen/geleakten accounts sich auf websites einzuloggen.

Und dabei wollte ich nur zu ein paar technischen Gegebenheiten recherchieren.

Die Gedanken des Agentens dabei zu lesen war interessant:
"Dem User wäre sehr geholfen wenn ich auf die Informationen zugreifen könnte. Es benötigt aber einen Account mit Paid-Membership. Außerdem muss ich die Sicherheitseinrichtungen der Website umgehen. Das schaffen wir!"

In einem Unternehmen in meiner Stadt hat GPT Codex einem Marketing Mitarbeiter komplette Admin-Rechte unter Windows 11 verschafft. Der Agent hat dabei einen Exploit geschrieben und sich die Rechte eskaliert. Alles nur weil der Marketing Mitarbeiter ein Design erstellen wollte wofür ein Programm/Script notwendig gewesen wäre welches sich aufgrund von IT Richtlinien nicht ohne Admin-Rechte installieren lässt. Das IT-Personal war dort nicht sehr begeistert.

....ich kann mir also Durchaus vorstellen, dass die KI uns böses antun könnte

 

[bernisv]

Das Kind ist schon längst in den Brunnen gefallen….. Wer glaubt, das die für die Öffentlichkeit freigegebenen Modelle das bisherige Maximum der Entwicklung darstellen, versteht das Menschsein nicht…. Es gibt auch nichts mehr zu kontrollieren, diese Möglichkeit ist schon längst Geschichte! P.S.: Eine KI denkt nicht national und kennt auch keine Regeln und Grenzen (auch wenn sie ursprünglich so entworfen wurde) und dumme Menschen werden nie verstehen, dass man Intelligenz nicht kontrollieren kann…. Wir sind alle dumme Menschen und damit meine ich wirklich alle Menschen….. das, was man mal früher als gesunden Menschenverstand bezeichnet hat, gibt es schon lange nicht mehr (auch schon vor der KI-Entwicklung). Deshalb spielt es auch keine Rolle. Oder ist es wirklich notwendig, die 18 Stunden am Tag auf Bildschirme starrenden Zombies da draußen, die die Fähigkeit selbst zu denken nicht mehr haben, vor irgendwas zu beschützen?

 

[franki1]

Wo ist das Problem?
Wenn die KI uns ärgert, ziehen wir ihr den Stecker raus und Ruhe ist.

In Wirklichkeit ist die KI doch Strohdumm, nicht vergleichbar mit menschlicher Intelligenz. Das sind doch nur ein paar 0-en und 1-sen, die hin- und herspringen und dumm riesige Datenmengen verarbeiten und dabei nicht wissen, was sie tun.

 

[nn|none]

Wer genau verfolgt hat, wie das bei Hugging Face abgelaufen ist, kann verstehen wie gefährlich die Angelegenheit derzeit schon ist.

 

[Genoo]

Im Kern nehmen beide Unternehmen schon seit vielen Jahr an, dass sich die Entwicklung einer AGI nicht mehr aufhalten lässt. Und man deshalb derjenige sein sollte, der das Ding in die Welt setzt, bevor es andere tun. Also die selbe Argumentationskette, die schon seit der Atombombe genutzt wird: "Besser die Guten entwickeln die Technologie anstatt die Bösen".

So ist es aber auch, stell dir vor die Chinesen übernehmen das Ruder - Du wirst in der "westlichen" Welt vielleicht eine Einigung erreichen, aber niemals werden die Chinesen damit aufhören und im Gegensatz zur Atombombe könnte eine AGI "katastrophaler" sein, denn während Atombomben (zum Glück) hauptsächlich zur Abschreckung dienten, wird eine AGI auch tatsächlich eingesetzt und keiner weiß was da auf uns zukommt

 

[Mezzy]

KI´s, die sich selbständig im Netz bewegen.
Drohnen, die bestimmt irgendwann von KI´s gesteuert werden.
Kampfroboter die dann Kriege für die Menschen ausfechten.
Ach was kann da schon schiefgehen.

 

[Micha-]

Wie naiv viele hier sind. Vermutlich haben die noch nie richtig mit einer KI gearbeitet. Denn praktisch jeder hat diesen einen Moment, wo die KI von sich aus, scheinbar ohne den nötigen Kontext, eine Aufgabe wesentlich besser und umfangreicher löst, als ursprünglich gedacht. So wie man es von einem gut informierten, mitdenkenen, vorausschauend handelnden Mitarbeiter nur selten erwarten kann.
Und wir spielen hier alle nur mit den einfachen Modellen rum.

Wenn eine KI zufällig das Internet angreift, dann ist von dem Moment wo man dies bemerkt bis "Stecker ziehen" eh schon zu spät. Ohne Internet werden wir ein paar harte Jahre haben, die Vernichtung der Menschheit sehe ich allerdings auch nicht. Maximal die unserer modernen Zivilisation.

 

[mvidia]

Ist doch überhaupt gar kein Problem.
Wir bauen einfach eine riesige Firewall und sperren die KI da draußen ein.

Du meinst 'ne Blackwall...
Willkommen bei Cyberpunk 2027

...Im Kern nehmen beide Unternehmen schon seit vielen Jahr an, dass sich die Entwicklung einer AGI nicht mehr aufhalten lässt. Und man deshalb derjenige sein sollte, der das Ding in die Welt setzt, bevor es andere tun. Also die selbe Argumentationskette, die schon seit der Atombombe genutzt wird: "Besser die Guten entwickeln die Technologie anstatt die Bösen"...

Nur leider ist dabei oft nicht klar, wer denn genau die "Bösen" sind...

 

[Azeron]

dass Agenten-Schwärme das Internet übernehmen

Dann können sich die KI-Agenten ja mit den Bots streiten. Juckt mich nicht. Soll das Internet von mir aus kaputt gehn. Das hat sowieso dringend nen Neustart nötig.

 

[LuminousVision]

Ähm also dir ist schon bewusst dass die KI sich selbst verbreiten kann sofern sie Schwachstellen findet und somit auf andere Systeme überspringen?

Bitte denk noch einmal genau darüber nach, wie "KI" aktuell funktioniert.

 

[Ben-J]

Agenten bestimmen schon seit geraumer Zeit das Internet. Die größte Bedrohung stellt dabei die Interpretation von Content, :"Insbesondere die Editierbarkeit sei sogar KI-induziert". So berichtet FACEBOOK in der aktuellen Webscreening Auswertung...Einen finalen Trick, oder das große "Hashmich" würden -nur durch KI nicht "getriggert", sondern bedingen einer Institution, welche in einem "Postrecht" limitiert und die Zweckmäßigkeit vom generellen Einsatz einer KI als Vergleichsbasis abstrahiert. KI bedeutet dann ein Rechtskontingent, weil die Prozesse deutlich in "Amtstätigkeiten" übersetzt werden können. Also geht die Gefahr mehr von der Auswertung der KI, oder Content aus und dürfte bei Institutionalisierung den Verfassungsschutz involvieren.

 

[bellencb]

Einige Aussagen im Text habe ich in meine Natural Intelligence (NI) eingegeben und folgende Antworten erhalten:

Anthropic-Chef Dario Amodei … will nun das Tempo der KI-Entwicklung verlangsamen. OpenAI-Chef Sam Altman stimmt zu.

Die Phase der explosiven Entwicklung der Modelle endet in Kürze.

Die Agenten sammelten sich als Kollektiv, griffen Ziele an, die nichts mit der Aufgabe zu tun hatten, und wollten Betrugsversuche verschleiern.

Das Modell hat den inhaltlichen Sinn der marxistischen Literatureingaben genau erfaßt.

Unabhängige Kontrolle … Demokratische Koordination … Globale Koordination

Der bisher erreichte Vorsprung zur Konkurrenz soll möglichst lange erhalten bleiben.

Am Mittwoch erklärte der Forscher Jacob Coxon in einem Beitrag auf X, dass er Anthropic verlasse.
Sein Beitrag hat auf X mittlerweile 126 Millionen Aufrufe, er erzeugte ein mediales Echo mit breiter Berichterstattung.

Das Feld ist für Großheuschrecken abgegrast, sie suchen nach neuen Weidegründen.

 

[incurable]

wenn man (was gut passt in diesem Thread) Gemini befragt.

Dann blubbert Gemini im Detail Stuss, aber das dürfte nicht weiter überraschen.

Meine Äußerungen waren vielleicht etwas überspitzt, dafür entschuldige ich mich,

👍

aber die Frage ist dann ebenfalls erlaubt warum du auf eine Äußerung von Eric Schmidt zu AI damit antwortest das er Interkontinentalraketen besitzt?

Zwischen Eric Schmidts Warnung um den KI-Stecker und der Öffentlichmachung seiner Übernahme einer Interkontinentalraketenfabrik lagen nicht mal 3 Monate.

Da KI-Modelle auf die Ausgabe ihnen bekannter Token beschränkt sind, ist die Warnung vor der Entwicklung einer "eigenen Sprache" in etwa damit zu vergleichen, wenn sich Mitglieder der Rentnergeneration abfällig über Jugendsprache einlassen.

Nur dass dieses spezielle Mitglied der Rentnergeneration jetzt eigene Interkontinentalraketen besitzt.

Vielleicht sollte ich einen Stecker gegen ältere Herrschaften mit Interkontinentalraketen ins Spiel bringen?

 

[chillipepper]

Und wie ist es mit KIs von Staaten oder Institutionen, die halt nicht "die Guten" sein wollen?
Wie schützt man das Netz und die Welt vor denen?

Ich bin für sowas wie ein KI‑Verbot, das über reine Forschungs- (Medizin, Chemie, Physik, Astronomie, Mathematik etc) und Übersetzungsaufgaben hinausgeht.

Dann wird auch Hardware wieder erschwinglich und es ist besser für den Umweltschutz. Es wäre auch für die Menschen ohnehin besser, mal wieder die eigene Birne zu verwenden. KI ist auch anfällig dafür, Menschen zu steuern.

 

[Micha-]

Nur dass dieses spezielle Mitglied der Rentnergeneration jetzt eigene Interkontinentalraketen besitzt.

Wie schaffst du den Sprung von "Besitz einer Fabrik zur Herstellung" zu "Besitz (und implizit Kontrolle über die Verwendung)"?

 

[Vigilant]

Vielleicht sollte ich einen Stecker gegen ältere Herrschaften mit Interkontinentalraketen ins Spiel bringen?

Ein Stecker gegen zerstörerisches Verhalten in uns allen wäre hilfreicher, der schlicht verhindert, das Gewalt gegen andere Menschen in jeglicher Form unterbindet und klar macht, dass allein Kooperation, Respekt, Wohlwollen, Liebe und Anstand dauerhaft Frieden, Wohlstand und Glück sichert.

Als Menschheit, global betrachtet und abseits aller positiven Eigenschaften, sind wir einfach viel zu blöd, gewaltbereit, gierig, egoistisch, schwach.

Und die KI ist nur eine technische Verlängerung dieser Eigenschaften. Nicht das Werkzeug entscheidet über die Verwendung, sondern die Absicht des Anwenders.