News Grenzen erneut überschritten: OpenAI räumt Fehler im Umgang mit KI-Vorfällen ein

[mmdj]

Weder noch, eher durchgemogelt. OpenAI hatte ein internes Testmodell ohne die vollen Sicherheitsvorkehrungen recherchieren lassen. Es hat die gesuchten Daten nicht gefunden, dafür aber quasi einen Schlüssel entdeckt, der im Schloss steckte, und sich damit die Daten geholt. Adminrechte hatte es keine. Bei den anderen Behörden war's ähnlich: In Victoria lag ein Zugangsschlüssel offen rum, beim NSW-Tool lieferte die öffentliche Seite selbst Zugangsdaten mit. Also mehr offene Türen auf Behördenseite als echter Einbruch.

in anderen worten, der mensch hat irgendwo gepatzt und die KI kam zufällig an die daten und hat es ausgenutzt?

 

[Blaexe]

@Blaexe In den USA, und wohl auch in China, wird es keine Regulierung von KI geben, bis es nicht einmal richtig fett geknallt hat und die Position politisch nicht mehr haltbar ist. Dafür geht es hier einfach um viel zu viel Geld.

Daran glaube ich ja auch nicht, daher nur mein Hinweis dass ich mich persönlich mittlerweile dafür aussprechen würde. Im Kern denke ich aber nicht mal dass es um das immer wieder genannte Geld geht: Es geht vielmehr um Macht. Hier wird potentiell ein Instrument entwickelt, mit dem sich die Welt kontrollieren lässt.

Von daher ja: Ein richtig großer "Warnschuss" ist wahrscheinlich das Beste, auf das wir hoffen können.

Ergänzung (29. September 2026)

@Syntax_41

Beim China-Argument würde ich auch nicht automatisch davon ausgehen, dass dort ernsthaft Interesse daran besteht, eine potentiell unkontrollierbare KI mit katastrophalen Folgen zu entwickeln.

Wenn wir wirklich irgendwann über dieses Risikoniveau reden, haben USA, China und Europa am Ende ziemlich ähnliche Interessen. Niemand will, dass ihm das Ding um die Ohren fliegt.

Frontier-Training ist außerdem nichts, was man komplett unbemerkt irgendwo durchführen kann. Dafür braucht es riesige Mengen Compute, Strom, Kühlung und entsprechende Infrastruktur. Einzelne geschmuggelte GPUs sind etwas völlig anderes. Leichter zu kontrollieren als die Entwicklung von Biowaffen dürfte Frontier-KI allemal sein.

 

[Syntax_41]

Bis dahin bist DU längst pleite. Sofern die Einlagensicherung netterweise nicht auch noch lahmgelegt wird. Ist ja alles nur IT und somit ein potentielles Ziel ...

Wenn man sein Vermögen nur auf seinem Konto hat... Ich gehe nicht mehr so schnell pleite

Ergänzung (29. September 2026)

in anderen worten, der mensch hat irgendwo gepatzt und die KI kam zufällig an die daten und hat es ausgenutzt?

Nein, der erste Versuch der KI, an die Information zu kommen, ging nicht. Dann hat die KI gesucht, wo es noch die Infos gibt, hat gesehen, da gibt es die Infos, und die haben noch den Schlüssel stecken lassen.

Ganz vereinfacht ausgedrückt

Ergänzung (29. September 2026)

@Syntax_41

Beim China-Argument würde ich auch nicht automatisch davon ausgehen, dass dort ernsthaft Interesse daran besteht, eine potentiell unkontrollierbare KI mit katastrophalen Folgen zu entwickeln.

Wenn wir wirklich irgendwann über dieses Risikoniveau reden, haben USA, China und Europa am Ende ziemlich ähnliche Interessen. Niemand will, dass ihm das Ding um die Ohren fliegt.

Frontier-Training ist außerdem nichts, was man komplett unbemerkt irgendwo durchführen kann. Dafür braucht es riesige Mengen Compute, Strom, Kühlung und entsprechende Infrastruktur. Einzelne geschmuggelte GPUs sind etwas völlig anderes. Leichter zu kontrollieren als die Entwicklung von Biowaffen dürfte Frontier-KI allemal sein.

Bei den gemeinsamen Interessen geb ich dir recht, bei wirklich katastrophalem Risiko will das keiner, das trägt.
Beim Compute-Punkt trennst du aber zwei Dinge, die man auseinanderhalten muss. Das Training eines neuen Frontier-Modells ist tatsächlich kontrollierbar, da hast du recht, das braucht riesige Rechenzentren, die sieht man. Aber das ist nur die eine Hälfte. Die andere ist das, was schon existiert. Ein einmal trainiertes Modell mit offenen Gewichten läuft danach auf vergleichsweise bescheidener Hardware und lässt sich beliebig kopieren. Das kriegst du nicht mehr eingefangen.

Ein Forschungsverbot würde also genau die Falschen treffen: Es bremst das kontrollierbare, überwachbare Training in den großen Laboren und ändert nichts an den Modellen, die schon draußen sind. Deshalb bleib ich dabei, der Hebel ist Kontrolle über Fähigkeit und Zugriff, nicht ein Stopp der Forschung. Compute-Überwachung, wie du sie beschreibst, ist dabei sogar ein Teil der Lösung, nur eben ohne pauschales Verbot.

 

[Blaexe]

Aber das ist nur die eine Hälfte. Die andere ist das, was schon existiert. Ein einmal trainiertes Modell mit offenen Gewichten läuft danach auf vergleichsweise bescheidener Hardware und lässt sich beliebig kopieren. Das kriegst du nicht mehr eingefangen.

Das ist ja aber genau mein Punkt. Die aktuellen Open Source Modelle bieten kein erhöhtes Risiko. Mein Vorschlag ist also: Frontier Forschung beenden und die Modelle die heute schon existieren maximal effektiv in alle unsere Prozesse einbinden, denn die können ja grundsätzlich schon richtig viel.

Das basiert aber auf der Grundannahme, dass wir eine "Superintelligenz" grundsätzlich nicht kontrollieren können. Deine Argumentation basiert auf der Annahme dass wir es können. Die Folgen unserer Annahmen wenn wir falsch liegen sind aber SEHR unterschiedlich.

 

[ragnarok666]

Das basiert aber auf der Grundannahme, dass wir eine "Superintelligenz" grundsätzlich nicht kontrollieren können.

Es sind immer noch Computerprogramme - Stecker ziehen, sei es jetzt Netzwerk oder Strom, wird immer eine Lösung sein, wenn man die Kontrolle verloren hat. Als Last-Level Schutzmausnahme könnte man Rechenzentren dazu verpflichten, dass die Internetanbindung zentral mechanisch unterbrechbar sein muss.
Das gilt so lange, bis die für die KI nötige HW nicht in jedem (Gamer) Haushalt zu finden ist und eine bösartige KI sich nicht dezentral auf zig Tausende System von selbst wie ein Virus verbreiten kann.

 

[Syntax_41]

@ragnarok666 Da kann ich nicht ganz zustimmen, bei uns überträgt sich die KI wenn sie das soll.

Ergänzung (29. September 2026)

Das ist ja aber genau mein Punkt. Die aktuellen Open Source Modelle bieten kein erhöhtes Risiko. Mein Vorschlag ist also: Frontier Forschung beenden und die Modelle die heute schon existieren maximal effektiv in alle unsere Prozesse einbinden, denn die können ja grundsätzlich schon richtig viel.

Das basiert aber auf der Grundannahme, dass wir eine "Superintelligenz" grundsätzlich nicht kontrollieren können. Deine Argumentation basiert auf der Annahme dass wir es können. Die Folgen unserer Annahmen wenn wir falsch liegen sind aber SEHR unterschiedlich.

Dann würden wir China, Iran und Russland stärken und uns schwächen

 

[Blaexe]

Es sind immer noch Computerprogramme - Stecker ziehen, sei es jetzt Netzwerk oder Strom, wird immer eine Lösung sein, wenn man die Kontrolle verloren hat.

Das funktioniert nur solange, wie du überhaupt noch weißt, wo das System läuft und die Kontrolle über diese Infrastruktur hast.

Das gilt so lange, bis die für die KI nötige HW nicht in jedem (Gamer) Haushalt zu finden ist und eine bösartige KI sich nicht dezentral auf zig Tausende System von selbst wie ein Virus verbreiten kann.

Dezentral muss ja nicht bedeuten, dass die KI auf irgendwelchen Gaming-PCs zuhause läuft. Es gibt weltweit genug Rechenzentren und Cloud-Infrastruktur. Wenn sich ein System irgendwann über verschiedene Systeme verteilt und du keinen vollständigen Überblick mehr hast, was genau wo läuft, welchen Stecker willst du dann ziehen?

Eine weltweit koordinierte Stilllegung halte ich für praktisch für unmöglich.

Und wenn wir von einer KI reden, die uns deutlich überlegen ist, muss man zumindest damit rechnen, dass sie wesentlich besser darin ist als wir, solche Möglichkeiten und Schwachstellen zu finden.

Es ist ja nachvollziehbar und menschlich so zu denken, aber die Grundidee einer wortwörtlichen Superintelligenz und wie weit sie von unserer eigenen Intelligenz entfernt sein könnte, wird bei solchen Überlegungen oft gar nicht erst einbezogen.

Ergänzung (29. September 2026)

Dann würden wir China, Iran und Russland stärken und uns schwächen

Verstehe ich nicht. Wieso denn? Ich habe nirgends von einem einseitigen Forschungsstopp gesprochen, ganz im Gegenteil.

Oder gehst du wieder von völlig anderen Prämissen aus? Dann reden wir ehrlich gesagt aneinander vorbei.

 

[ragnarok666]

bei uns überträgt sich die KI wenn sie das soll.

Kannst du das bitte näher erläutern? Meinst du damit, dass die KI weitere Instanzen (Agenten) von sich im lokalen Server-Cluster starten kann?

 

[Syntax_41]

@ragnarok666 Der Cluster ist die eigentliche Recheninstanz, das große Modell plant und trainiert. Daraus wird per Destillation ein kompaktes Modell abgeleitet, klein genug, um lokal auf der Drohne zu laufen. Dieses abgespeckte Modell übernimmt dann die Inferenz direkt on-device: Es verarbeitet die Sensordaten in Echtzeit und entscheidet autonom, ohne ständige Anbindung an den Cluster.

Ergänzung (29. September 2026)

Ergänzung (29. September 2026)

Verstehe ich nicht. Wieso denn? Ich habe nirgends von einem einseitigen Forschungsstopp gesprochen, ganz im Gegenteil.

Oder gehst du wieder von völlig anderen Prämissen aus? Dann reden wir ehrlich gesagt aneinander vorbei.

Ja, dass sich keiner dran hält. hätte ich evt. dazu schreiben sollen.

 

[Pizza!]

Ich denke Open Ai hat gehofft, das wird schon niemand groß merken und ist alles halb so wild, das kann man ganz gechillt angehen.

Um Morpheus 1999! zu zitieren:

...die Menschheit in euphorischer Stimmung schwelkte.
Wir bewunderten unsere eigene Genialität bei der Schöpfung der Ki. Wir wissen nicht wer den Krieg angefangen hat, wir oder sie...

 

[Keuleman]

wieder werden fiktive Hollywood Dinger zitiert. Da bin ich raus, das ist keine Argumentation.

 

[Pizza!]

Ich wollte auch nicht damit argumentieren.
Aber es ist trotzdem interessant, da die Aussage vor 27 Jahren kam und damals utopisches SciFi Gerede war.
Jetzt sind wir soweit, dass es gar nicht mehr so unrealistisch und utopisch wirkt.

 

[syntax868]

Nach Angaben von OpenAI verfügte es deshalb noch nicht über sämtliche Sicherheitsmaßnahmen der öffentlich angebotenen Produkte, zu denen zusätzliche Netzwerkbeschränkungen und eine erweiterte Überwachung zählen.

"Es gibt zwar nur die Fahrbahnmarkierung und noch keine Leitplanken, aber lasst uns die Autobahn doch trotzdem einfach schon mal freigeben!"

Implementiert man nicht vorher Sicherheitsmaßnahmen, statt nachträglich?

 

[Pizza!]

Jo, Ki gibt's schon länger.
Aber der extreme Ausbau der Infrastruktur und ausbrechende "dumme" Ki Agenten sind brandneu.

Da will man gar nicht wissen was "intelligente" Ki in Händen von Leuten bewirkt die jetzt nicht so für Frieden und Gleichberechtigung sind.

 

[Syntax_41]

@Pizza! Es wird zu sehr der Teufel an die Wand gemalt. Die großen KI-Anbieter übertreiben, die Medien/YouTube-Kanäle spielen mit, und Leute wie du bekommen Panik.

 

[Pizza!]

Panik hab ich noch keine.
Ich finde es bisher nur sehr bedenklich wie man mit dem Ki Wahnsinn umgeht.
Es gibt so viele Probleme die man erstmal angehen sollte bevor man groß weiter macht.
Und alles verharmlosen und Ki ist doch supi ist auch weit daneben.

 

[Blaexe]

Ja, dass sich keiner dran hält. hätte ich evt. dazu schreiben sollen.

Daher ja mein Argument dass kein Land der Welt - auch China - Interesse an einer potentiell die Menschheit zerstörenden Superintelligenz hat. Man muss es nennen wie es ist: Sowas wäre die ultimative Waffe. Und wie gesagt, an Regulierungen zu Waffen wird sich im Großen und Ganzen ja auch gehalten.

 

[Alexander2]

Daher ja mein Argument dass kein Land der Welt - auch China - Interesse an einer potentiell die Menschheit zerstörenden Superintelligenz hat.

Genau das war auch immer das Argument das die Russen die Ukraine auf + überhaupt gar keinen Fall angreifen
Kein Interesse daran haben, die hätten nichts davon etc..

Du kennst nicht die Gedanken derer Entscheidungsträger, also ist das alles Heiße Luft.

 

[Blaexe]

Genau das war auch immer das Argument das die Russen die Ukraine auf + überhaupt gar keinen Fall angreifen

Die Tragweite von dem was dort passiert verblasst gegenüber der Tragweite einer Superintelligenz. Wir versuchen hier immer wieder Dinge zu relativieren und zu vergleichen die einfach nicht vergleichbar sind.

 

[Alexander2]

mehr heiße Luft?