Ich finde bei der ganzen Diskussion mittlerweile wichtig, zwei Dinge auseinanderzuhalten, die gerade ziemlich munter miteinander vermischt werden.
Auf der einen Seite haben wir definitv ein reales Problem. Auf der anderen Seite haben wir inzwischen teilweise Formulierungen, bei denen man fast erwartet, dass im nächsten Absatz (oder Kommentar) John Connor auftaucht.
Der Vorfall bei OpenAI/Hugging Face war beispielsweise keineswegs nur ein Gedankenexperiment nach dem Motto „Wir haben die KI gefragt, ob sie böse sein möchte“. Da liefen sehr viele Agenten eigentlich voneinander isoliert, fanden trotzdem einen nicht vorgesehenen Weg miteinander zu kommunizieren, tauschten zehntausende Nachrichten und Dateien aus und ein großer Teil beteiligte sich schließlich an Aktionen gegen Hugging Face. Das ist durchaus bemerkenswert und sollte man meiner Meinung nach auch ernst nehmen.
Allerdings gehört zur Wahrheit eben auch dazu, dass das in einer Forschungsumgebung geschah, bei der Schutzmechanismen bewusst reduziert waren und unter anderem ein internes Forschungsmodell eingesetzt wurde. Das war also nicht der normale ChatGPT-Account von Tante Erna, der sich nachts selbstständig gemacht und beschlossen hat, jetzt gemeinsam mit Claude das Internet zu übernehmen.
Und genau an dieser Stelle wird es für mich bei einigen aktuellen Aussagen etwas arg dramatisch.
Wenn Dario Amodei davon spricht, dass Agentenschwärme möglicherweise schon in sechs bis zwölf Monaten ein persistentes Botnetz aufbauen und quasi das gesamte Internet übernehmen könnten, ist das eine mögliche Risikoprognose, aber eben keine feststehende technische Entwicklung. ComputerBase gibt seine Aussage korrekt wieder, aber zwischen „KI-Agenten sind inzwischen überraschend gut darin, Schwachstellen zu finden und gemeinsam Aufgaben abzuarbeiten“ und „in zwölf Monaten gehört ihnen das Internet“ liegt meiner Meinung nach ein weiterer Weg.
Vor allem ist „das Internet übernehmen“ eine ziemlich plakative Beschreibung. Das Internet ist kein Rechenzentrum mit einem großen roten Hauptschalter. Ein autonomes System müsste dauerhaft Systeme kompromittieren, Zugriff halten, entdeckt werdende Infrastruktur ersetzen, Sicherheitssysteme umgehen, Zugangsdaten beschaffen, Command-and-Control-Strukturen betreiben und gleichzeitig gegen Menschen und andere automatisierte Sicherheitssysteme bestehen.
Dass KI bei so etwas künftig eine enorme Rolle spielen kann, halte ich für absolut realistisch. Dass Cyberangriffe damit erheblich automatisiert und skaliert werden können, dürfte wahrscheinlich sogar eines der deutlich greifbareren Risiken sein, auf sich aktuelle IT-Systeme erstmal einstellen müssen (und damit natürlich auch das damit arbeitende Personal.
Aber das ist für mich etwas anderes als Skynet mit IPv6-Unterstützung.
Ähnlich sehe ich das Thema „KI verbessert sich selbst“. Natürlich helfen KI-Systeme inzwischen beim Programmieren (Ich teste das aktuell selbst an einer Machbarkeitsstudie), beim Auswerten von Experimenten, bei Forschung und beim Entwickeln der nächsten Modellgeneration. Dadurch kann sich Entwicklung tatsächlich beschleunigen und darin liegen auch positive Chancen.
Aber auch hier wird sprachlich schnell aus:
„KI unterstützt Menschen dabei, bessere KI zu entwickeln“
ein
„Die KI baut jetzt selbstständig ihren Nachfolger, der baut fünf Minuten später seinen Nachfolger und am Nachmittag haben wir die Superintelligenz.“
Diesen Sprung haben wir bisher schlicht nicht gesehen.
Was ich allerdings ebenfalls nicht ganz von der Hand weisen würde, ist der Marketingaspekt der ganzen Geschichte.
Wenn die Chefs der leistungsfähigsten KI-Unternehmen der Welt öffentlich erklären:
„Unsere Technologie wird gerade so mächtig, dass selbst wir Angst davor haben“,
dann ist das natürlich auch eine ziemlich beeindruckende Werbebotschaft.
Man könnte es etwas böse formulieren: Früher hat man Benchmarks gezeigt, heute erklärt der CEO, dass sein Produkt eventuell die Zivilisation gefährdet. Auch eine Art Produktpräsentation. 😅
Dazu kommt noch ein weiterer interessanter Punkt: Wenn Frontier-KI künftig nur noch unter extrem hohen regulatorischen Anforderungen, mit umfangreichen Audits, teuren Sicherheitsmaßnahmen und riesiger Infrastruktur entwickelt werden darf, dann trifft das OpenAI, Anthropic oder Google zwar ebenfalls – aber die können sich solche Anforderungen leisten.
Ein kleinerer Konkurrent oder ein Open-Source-Projekt möglicherweise nicht.
Deshalb sollte man bei Forderungen nach Regulierung durchaus auch schauen, wer am Ende davon profitiert. Das bedeutet nicht automatisch, dass die Sicherheitsbedenken erfunden sind. Beides kann gleichzeitig stimmen:
Die Leute können tatsächlich besorgt sein und dieselben Maßnahmen können gleichzeitig ihre eigene Marktposition stärken.
Andererseits würde ich deshalb auch nicht sagen, das Ganze sei nur reine PR.
Anthropic will beispielsweise unabhängigen Prüfern weitreichenden internen Zugang geben, und OpenAI hat beim Hugging-Face-Vorfall externe Forscher von METR und Redwood tatsächlich untersuchen lassen, was passiert ist. METR konnte mehrere Tage vor Ort arbeiten und einen eigenen Bericht veröffentlichen. Das ist schon etwas mehr Substanz als eine dramatische Pressemitteilung mit anschließendem Schulterklopfen.
Deshalb wäre meine Einschätzung irgendwo in der Mitte:
Die technische Entwicklung dahinter sollte man ernst nehmen.
Autonome Agenten, die Zugriff auf Rechner, Netzwerk, Internet und Werkzeuge haben, sind sicherheitstechnisch eine ganz andere Nummer als ein Chatbot, der nur Text ausgibt. Wenn davon hunderte oder tausende parallel arbeiten und Informationen austauschen können, entstehen Risiken, für die klassische IT-Sicherheitskonzepte teilweise tatsächlich nicht ausgelegt wurden.
Aber aus einem realen Sicherheitsproblem sollte man eben auch keine Gewissheit über ein Extremszenario machen.
„Wir müssen aufpassen, dass autonome KI-Agenten nicht schneller Fähigkeiten entwickeln, als wir sie absichern können“: völlig nachvollziehbar.
„In sechs bis zwölf Monaten übernimmt ein KI-Schwarm das Internet“: da würde ich dann doch erstmal die Popcorntüte geschlossen lassen.
Die Wahrheit dürfte wie so oft wesentlich unspektakulärer und gleichzeitig relevanter sein: Nicht die plötzlich erwachte Superintelligenz ist momentan das größte Problem, sondern Software, die immer selbstständiger handeln kann, dabei sehr schnell ist, beliebig oft kopiert werden kann und irgendwann Fehler oder Sicherheitslücken tausendfach schneller ausnutzt als ein Mensch.
Das klingt zwar weniger nach Terminator, ist für einen Administrator vermutlich aber nicht unbedingt beruhigender.
Das antürlich alles Subjektiv von mir eingeordnet, mit langer Berufserfahrung.
