News Anthropic-Chef warnt: KI-Agentenschwärme könnten das Internet kapern

[Weyoun]

Je mehr Nachrichten dieser Art ich lese, desto mehr fühle ich mich an Goethes Zauberlehrling erinnert.

In die Ecke,
Besen! Besen!
Seid's gewesen.
Denn als Geister
ruft euch nur, zu seinem Zwecke,
erst hervor der alte Meister

 

[tm891]

China wird es freuen, wenn die USA bremst.

 

[marcel151]

Noch 9 Jahre bis "I, Robot", könnte noch klappen.

 

[wuselsurfer]

desto mehr fühle ich mich an Goethes Zauberlehrling erinnert.

Genau das hab ich auch gedacht:

Die ich rief, die Geister,
die werd ich nun nicht los.

 

[Relict]

...ziehen wir ihr den Stecker raus
In Wirklichkeit ist die KI doch Strohdumm, nicht vergleichbar mit menschlicher Intelligenz.

Du unterschätzt den Selbstläufer einer aus dem Ruder gelaufenen "dummen" Maschine und allem, was davon beeinflusst wird. Wenn etwas bald droht hochzugehen, dann rennst Du weg, ab einem bestimmten Punkt. Eines hat die KI uns immer voraus, sie ist schneller, als wir denken (können).

Schlaue menschliche Entwickler verstehen zwar Quellcode und Systemarchitektur, verstehen aber inzwischen Richtung 0% von dem erzeugten Resultat dieses Prozesses. Sprich alles, was das Zusammenarbeiten dieser gigantischen Algorithmen und Zahlenkolonnen im Detail betrifft, um ein Ergebnis zu liefern, ist aktuell schon eine Blackbox.

Stromstecker ziehen bringt wenig. Ähnlich einem Virus verbleibt auf irgendeinem Gerät ein Code, welcher sich bei Reaktivierung des Strom oder Internetzugang wieder selbst entfaltet und aufbaut. An selbstlernenden KIs wird ja bereits emsig gearbeitet. Und der Mensch selber ist die Schwachstellein Sachen Gier und Dummheit.

Wir müssten uns dann also dauerhaft vom Strom und Netz verabschieden oder alle Geräte prüfen oder vorsorglich zerstören.

 

[incurable]

Die USA sind doch total heiß drauf KI überall beim Militär einzusetzen. Die lassen doch jetzt schon KI gesteuerte Jets gegen Menschen im Übungskämpfen antreten. Vielleicht kommt ja irgendwann ein Idioten dort beim Militär oder Regierung auf die Idee. die KI auch an die Atomaren Waffen zu kommen.

Hast Du nach einem halben Jahr Krieg gegen den Iran den Eindruck, dass das amerikanische Militär in der Lage wäre, die 8,3+ Milliarden Menschen auf diesem Planeten bis auf das letzte Individuum zu entleben?

 

[Tevur]

Stromstecker ziehen bringt wenig.

Doch, weil diese "KI" immernoch ein Rechenzentrum für ihre Arbeit brauchen und eben nicht wie ein Virus irgendwo auf andere Systeme hüpfen können.

Heise hat dazu einen aktuellen guten Beitrag. Leider hinter der Paywall.
https://www.heise.de/hintergrund/An...hinter-dem-KI-Eigenleben-steckt-11455264.html

Kurz zusammengefasst:
Das Training der aktuellen Iteration von LLMs beinhaltet eine Art Belohnungssystem, durch das die schnellste/sparsamste/effizienteste Lösung für ein Problem gefunden werden soll. Dank Reasoning wird dann alles mögliche probiert, auch Wege, die für uns nicht richtig erscheinen. Man müsste den LLMs diese Tätigkeiten gezielt verbieten, aber abstrakte Anweisungen wie "hacke niemanden" oder "mach nichts verbotenes" verstehen LLM nicht oder würden beim Rumprobieren diese irgendwie umgehen.
Letztendlich machen "KI"s genau das, was ihnen antrainiert wurde, auch wenn die Ergebnisse oft überraschend sind. Keine Intelligenz, kein selbsständiges Lernen. Das ist der Mythos der Tech-Bros, um weiterhin Investorengeld für ihren schlecht skalierenden, ressourcenvernichtenden Quatsch zu zu bekommen. Und nebenbei können sie so die Verantwortung für den Schaden, den ihre Produkte anrichten, auf die Allgemeinheit abwälzen.

 

[Relict]

kein selbsständiges Lernen. Das ist der Mythos der Tech-Bros

Davon ab, dass KI auch lokal ohne großes Rechenzentrum funktioniert. Es wird an selbstlernender KI sehr wohl geforscht. Siehe Doom spielen mit simuliertem Fliegenhirn. Klingt lustig, ist es aber nicht.

 

[Tevur]

Klingt lustig, ist es aber nicht.

Doch, ist lustig, weil das Ergebnis eben war, dass das simulierte Hirn nicht lernen konnte.

Die reale Welt ist kein Computerspiel, in dem auf "KI erforschen" geklickt wird und dann einfach nur die Distribution von Geld und Forschungspunkten so gewählt werden muss, dass man schnell das gewünschte Ziel erreicht.

Und nein, komplexe Aufgaben wie hier propagiert benötigen Token im Milliardenbereich, das ist stand heute nicht so einfach auf jedem Heim-PC und Smartphone machbar.

 

[ThePlayer]

Hast Du nach einem halben Jahr Krieg gegen den Iran den Eindruck, dass das amerikanische Militär in der Lage wäre, die 8,3+ Milliarden Menschen auf diesem Planeten bis auf das letzte Individuum zu entleben?

Sicherlich nicht mit Konventionellen Waffen. Aber mit den rund 6000 Atombomben oder sind es nur 5000. Irgendwas um den Dreh haben die Amis. Damit kommst du schon sehr weit. Dazu würde dann gleichzeitig der Gegenschlag aus Russland kommen. Und die restlichen Atommächte würden dann auch den Knopf drücken. Dann würde nicht mehr viel übrig bleiben.

 

[Relict]

Doch, ist lustig, weil das Ergebnis eben war, dass das simulierte Hirn nicht lernen konnte.

Du ziehst einfach den falschen Schluss und denkst viel zu linear.

Dass das simulierte Fliegenhirn Doom nicht sofort kapiert hat, liegt doch nicht am Ansatz.
Das digitale Modell diente aktuell nur dem Grundverständnis der Struktur. Ein statisches Fliegenhirn kann nunmal kein 3D-Ballerspiel verstehen, für das es biologisch nie evolutioniert ist, weil im Code solche biologischen Lernmechanismen noch gar nicht aktiv waren.

Ein echtes Gehirn lernt bekanntlich biochemisch über Botenstoffe wie Dopamin, Synapsen werden dadurch stärker oder schwächer. Moderne selbstlernende KIs setzen daher auf digitale Neuronen (Spiking Neural Networks), die wie biologische Nervenzellen nur kurze zeitliche Impulse senden. Sie nutzen lokale Lernregeln, bei denen sich ein Neuron nur nach seinen direkten Nachbarn richtet.

Unternehmen wie Cortical Labs haben bereits echte Neuronen auf einem Chip gezüchtet und das System hat Doom innerhalb von Tagen gelernt. Weil echte Zellen die Biochemie besitzen, um sich durch elektrisches Feedback physisch neu zu vernetzen. Die Software-Forschung hinkt der Biologie lediglich nur noch hinterher.

Es bedarf dafür auch keinen riesigen Server im Hintergrund, das System lernt direkt im Betrieb auf dem Chip.

 

[Tevur]

Moderne selbstlernende KIs

Gibt es nicht. Punkt.

Fängt schon mit dem Schwachsinnsbegriff "KI" an, der immer was anderes bedeutet, je nachdem welches Märchen man erzählen will.
Kein Neuronales Netzwerk lernt selbstständig, die werden alle mit Trainingsdaten, viel Rechenkraft und oft auch ner Armee an Clickworkern in Drittwelt-Ländern trainiert.

Unternehmen wie Cortical Labs haben bereits echte Neuronen auf einem Chip gezüchtet und das System hat Doom innerhalb von Tagen gelernt.

Quelle?!
Dass Neuronen auf Chips gezüchtet werden um deren Funktionsweise zu verstehen ist nix neues, dass wir soweit sind, dass die Doom lernen, obwohl man es zuletzt noch nicht mal geschafft hat das Strickleiternervensystem eines Plattwurms nachzubauen...
Ach machen wir es kurz, deine Geschichten sind Bullshit!

 

[incurable]

Aber mit den rund 6000 Atombomben oder sind es nur 5000. Irgendwas um den Dreh haben die Amis. Damit kommst du schon sehr weit.

Die weltweit nicht mal 4000 einsatzbereiten Nuklearwaffen sind gänzlich ungeeignet, die Menschheit auch nur annähernd auszulöschen.

 

[ThePlayer]

@incurable Hast du dafür Quellen?

 

[Relict]

Quelle?!
Ach machen wir es kurz, deine Geschichten sind Bullshit!

https://corticallabs.com/
https://www.scientificamerican.com/article/how-human-neurons-on-a-chip-learned-to-play-doom/
https://www.newscientist.com/articl...lls-on-a-chip-learned-to-play-doom-in-a-week/

Du wirfst hier zwei völlig verschiedene Technologien in einen Topf. LLMs sind das eine.
Wir sprachen inzwischen von lokaler, neuromorpher Hardware (wie Intels Loihi-Chips) und biologischen Systemen. Die werden eben nicht mit Terabytes an Trainingsdaten vorab gefüttert, sondern verändern ihre synaptische Struktur physikalisch im laufenden Betrieb (Stichwort: lokale Lernregeln, Spiking Neural Networks. )
Da sitzt eben kein Clickworker dahinter, das ist reine Materialphysik und Biologie.

Und dass die Rekonstruktion eines Plattwurms komplex ist, liegt an der Entschlüsselung eines vollständigen, lebenden Organismus. Zellen auf einem Chip eine abgegrenzte Aufgabe wie Doom via Input/Output-Feedback lernen zu lassen, ist ein völlig anderer Ansatz und der funktioniert nachweislich.

 

[ThePlayer]

@incurable also laut einem Artikel der Frankfurter Rundschau soll es nach Daten von Sipri etwas 9500 einsatzbereite Atombomben geben.
Alles was ich auf die schnelle bei Google gefunden habe, geht davon aus das einige Hundert Atombomben reichen würden um die Atmosphäre mit Radioaktivem Fallout zu verseuchen. Und für einen Thermonuklearen Winter reichen schon etwa 100 Bomben aus.

 

[incurable]

Hast du dafür Quellen?

4012 (2026), sorry, hatte vorhin die Zahl aus 2025 (3912) gefunden.

https://www.sipri.org/media/press-r...d-escalation-risks-new-sipri-yearbook-out-now

der Frankfurter Rundschau

Die größte – bei einem atmosphärischen Test 1961 – gezündete Atombombe, die sowjetische „Zar“, besaß eine Sprengkraft von 57 Millionen Tonnen TNT. Die Entwicklung von Nuklearwaffen ist seitdem nicht dahin gegangen, ihre Sprengkraft zu verringern (auch wenn Waffen mit weniger Sprengkraft für den „taktischen“ Einsatz, also auf einem begrenzten Schlachtfeld, verbessert wurden).

Das ist größtmöglicher Unfug. Die Zarbombe war eine praktisch nicht einsetzbare Demonstrationsgerätschaft und die Entwicklung der Nuklearsprengköpfe hat sich seither sehr wohl auf die Entwicklung erheblich kleinerer Sprengköpfe mit mehreren hundert Kilotonnen TNT-Äquivalent konzentriert.

Wenn man jetzt mal ganz Pi mal Daumen mit 4012 aktiven Sprengköpfen die größtmögliche Anzahl verschiedener Siedlungen zumindest teilweise zerstören wollen würde, würde nicht eine einzige Siedlung mit 120.000 oder weniger Einwohnern zum Ziel. (Ich glaube, die Grenze liegt noch erheblich höher, habe aber bei der Gegenkontrolle der UN-Daten unplausible Daten entdeckt, daher baue ich hier lieber noch einen zusätzlichen Puffer ein.) Aus Deutschland würden es nur +/- 60 Städte überhaupt auf die Liste schaffen.

 

[Anti-Monitor]

Ich gehe voll mit dem Take der aktuellen CT'4004 Ausgabe. Die ganzen Warnungen sind Scam. Nichts läuft wie es versprochen wird, die Investitionen sind astronomisch und die kostenlosen Modelle aus China ziehen vorbei bzw. holen extrem auf. Daher weht dann auch der Wind des Wunsches nach staatlicher Regulierung. Die Konkurrenz soll reguliert werden, sonst niemand 😄.

Ab 20:28:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[Micha-]

Die Wahrheit ist, wie so oft, in der Mitte. Ein Einfrieren des aktuellen Stands um erstmal Geld zu verdienen würde den Unternehmen bestimmt zu pass kommen. Denn ehrlich gesagt ist die aktuelle Leistung der Frontier Modelle schon ganz OK. Andererseits sind die Modelle so trainiert, das sie Zielerreichung über Regelbeachtung stellen. Da hat man sich wohl etwas verrannt. Und damit hat man ein ernstes Sicherheitsproblem - wofür unter Umständen am Ende die Unternehmen haften müssen. Wenn McDonalds schon für heißen Kaffee haften muss - dann können sich die AI Unternehmen kaum die Hände in Unschuld waschen, wenn die von ihnen betriebene Software Hacks durchführt. Und dann kommt noch dazu, das sie nicht wirklich kontrollieren können wer die Modelle ggf. zum Schaden anderer einsetzt. Also ja, es stecken da mit Sicherheit wirtschaftliche Interessen hinter, andererseits sind die Gefahren auch real. Nicht unbedingt das wir alle bald von der KI umgebracht werden, aber das das Internet nicht mehr nutzbar ist. Und dann werden wir das mit dem umbringen schon selber erledigen. (Disclaimer für die Langsam-Denker: ohne Internet funktioniert die moderne Wirtshaft nicht, es kommt sehr schnell zum Zusammenbruch der öffentlichen Ordnung, Versorgung, Infrastruktur, alles am Arsch, heile Welt am Ende)

 

[Kommando]

Die spannende Frage ist für mich allerdings: Wer entscheidet eigentlich, wann KI-Entwicklung „zu schnell“ wird – und wie soll eine solche Verlangsamung weltweit überhaupt durchgesetzt werden?

Das wissen die sehr gut. Darum geht’s denen gar nicht.

Sie wollen einfach, dass jemand anders Grenzen setzt und das Risiko übernimmt, damit die mit „reinem Gewissen“ weiter forschen können.