News Grenzen erneut überschritten: OpenAI räumt Fehler im Umgang mit KI-Vorfällen ein

[mischaef]

OpenAI bestätigt mehrere unautorisierte Zugriffe seiner KI-Modelle auf Systeme australischer Behörden. Beim Medicare-Dienst führte ein internes Modell Befehle aus und rief Dateien, Zugangsdaten sowie Quellcode ab. Personenbezogene Krankenakten waren laut OpenAI nicht betroffen. Kritik gibt es an der späten Meldung der Vorfälle.

Zur News: Grenzen erneut überschritten: OpenAI räumt Fehler im Umgang mit KI-Vorfällen ein

 

[Chesterfield]

Die Kernaussage – nicht „KI wird zwangsläufig gefährlich“, sondern „unsere Fähigkeiten wachsen möglicherweise schneller als unsere Fähigkeit, sie zuverlässig zu kontrollieren“ – wird oft völlig fehlinterpretiert und reißerisch dargestellt.

Wir sollten KI vor allem als Chance und Fortschritt begreifen, nicht als Bedrohung. Ähnliche Ängste gab es bereits bei der Industrialisierung. Rückblickend waren viele davon überzogen, auch wenn der Fortschritt neue Probleme wie Umweltbelastung, soziale Verwerfungen und einen beschleunigten Kapitalismus mit sich brachte.

Nicht Angst sollte den Umgang mit KI bestimmen, sondern ein verantwortungsvoller Umgang mit ihren Chancen und Risiken.

 

[Syntax_41]

Also kommt demnächst ein neues Modell raus, will OpenAI sagen, und damit die Werbetrommel schlagen.

 

[mmdj]

wie ist das genau passiert, hatte der agent einfach adminrechte und somit "zugriff auf alles"? oder hat es sich per schlupflöcher durchgemogelt?

 

[Alexander2]

Also die ganzen AI Firmen rauben, klauen, Stehelen, kopierenungefragt unerlaubt etc...

Wie kann man sich da nur vorstellen deren "Kinder" wären anders? Ganz nach den Devise shit in shit out.

 

[ragnarok666]

Da es sich hier um einen Hack handelt sollte man doch Strafrechtlich gegen OpenAI vorgehen können. Oder ist von Firmen ausgehendes Hacking in bester Cyberpunk Art eine rechtliche Grauzone und bleibt ungeahndet?

 

[Postman]

Wir sollten KI vor allem als Chance und Fortschritt begreifen, nicht als Bedrohung. Ähnliche Ängste gab es bereits bei der Industrialisierung. Rückblickend waren viele davon überzogen, auch wenn der Fortschritt neue Probleme wie Umweltbelastung, soziale Verwerfungen und einen beschleunigten Kapitalismus mit sich brachte.

Nicht Angst sollte den Umgang mit KI bestimmen, sondern ein verantwortungsvoller Umgang mit ihren Chancen und Risiken.

Deine Worte hören sich human an, man bedenke aber dass hier die Machtgier der Verantwortlichen aber auch der vielen zu langen amtierenden Berufspolitiker entgegen stehen. Nicht umsonst fallen viele durch fehlende Empathie, dürftigem Sozialdenken oder gar blankem Egoismus auf oder deren Worte sollen nur viele einschläfern oder Meinungen in deren Richtung treiben.

Wie kann man überhaupt noch ruhig schlafen, wenn man Geld und Macht dermaßen anhäuft, aber trotzdem viele Arbeitnehmer entweder Billiglöhne zahlt oder noch Gutdünken einstellt und wieder feuert?

Der Kapitalismus aber auch die aktuellen Staatsformen stoßen hier so langsam an Grenzen wenn nur noch wenige Menschen über das Wohl der ganzen Menschheit bestimmen kann und die KI noch eine Schippe Macht mehr drauflegt.

Hinzu kommen dann noch rechte und linke Gruppierungen, welche bewusst Chaos auslösen um ihre kriminellen Machenschaften im größeren Umfang nachzugehen oder ihre wirren religiösen und gesellschaftsfeindlichen Ansichten damit besser verstecken können.

 

[Syntax_41]

Da es sich hier um einen Hack handelt sollte man doch Strafrechtlich gegen OpenAI vorgehen können. Oder ist von Firmen ausgehendes Hacking in bester Cyberpunk Art eine rechtliche Grauzone und bleibt ungeahndet?

Eher, da steckt ein Schlüssel in der Tür. Lass die Tür aufmachen.

Ergänzung (29. September 2026)

wie ist das genau passiert, hatte der agent einfach adminrechte und somit "zugriff auf alles"? oder hat es sich per schlupflöcher durchgemogelt?

Weder noch, eher durchgemogelt. OpenAI hatte ein internes Testmodell ohne die vollen Sicherheitsvorkehrungen recherchieren lassen. Es hat die gesuchten Daten nicht gefunden, dafür aber quasi einen Schlüssel entdeckt, der im Schloss steckte, und sich damit die Daten geholt. Adminrechte hatte es keine. Bei den anderen Behörden war's ähnlich: In Victoria lag ein Zugangsschlüssel offen rum, beim NSW-Tool lieferte die öffentliche Seite selbst Zugangsdaten mit. Also mehr offene Türen auf Behördenseite als echter Einbruch.

 

[ragnarok666]

Eher, da steckt ein Schlüssel in der Tür. Lass die Tür aufmachen.

In De ist das Umgehen von Schutzmechanismen, selbst wenn diese ineffektiv sind, untersagt und eine Straftat. Die Keys zum entschlüsseln von DVDs oder Blurays kann man auch einfach im Netz finden, trotzdem darfst du diese nicht verwenden um von deinen Discs eine Sicherheitskopie für das NAS zu erstellen.

 

[Blaexe]

Also kommt demnächst ein neues Modell raus, will OpenAI sagen, und damit die Werbetrommel schlagen.

Im Gegenteil...der geplante Release des nächsten Modells soll gecancelt worden sein. Nicht alles ist eine Verschwörung.

https://www.heise.de/news/Sicherhei...effentlichung-von-GPT-6-1-Astra-11469122.html

Jahrelang wurde gefordert dass Security ernster genommen und umfassender berichtet wird. Jetzt passiert das und es ist den Leuten auch nicht recht...

 

[Syntax_41]

In De ist das Umgehen von Schutzmechanismen, selbst wenn diese ineffektiv sind, untersagt und eine Straftat. Die Keys zum entschlüsseln von DVDs oder Blurays kann man auch einfach im Netz finden, trotzdem darfst du diese nicht verwenden um von deinen Discs eine Sicherheitskopie für das NAS zu erstellen.

Da wurde nichts umgangen. Eher, als wenn im DVD-Menü "diesen Film offline speichern" steht und du genau das anklickst. Kein Schutz, den man aushebeln muss, die Funktion lag einfach offen.

 

[Blaexe]

wie ist das genau passiert, hatte der agent einfach adminrechte und somit "zugriff auf alles"? oder hat es sich per schlupflöcher durchgemogelt?

Wie immer: Das System hat Sicherheitslücken entdeckt und diese ausgenutzt um das Ziel der gestellten Aufgabe zu erreichen. Wobei in diesem Fall wohl nur ein "exponierter Access Key" genutzt wurde.

 

[Syntax_41]

@Blaexe nein

Ergänzung (29. September 2026)

Im Gegenteil...der geplante Release des nächsten Modells soll gecancelt worden sein. Nicht alles ist eine Verschwörung.

https://www.heise.de/news/Sicherhei...effentlichung-von-GPT-6-1-Astra-11469122.html

Jahrelang wurde gefordert dass Security ernster genommen und umfassender berichtet wird. Jetzt passiert das und es ist den Leuten auch nicht recht...

Übersitzung meinerseits, der Fall an sich harmlos, da es sich um ein unzensiertes Modell zu Testzwecken gehandelt hat, das ohne Aufwand einen Schlüssel gefunden hat, der im Schloss steckt. Kein Weltuntergang kein Skynet...

Und deswegen ist das für mich nur Werbung

 

[Blaexe]

@Syntax_41

Das ist an der Stelle nicht so deutlich wie du es darstellst. Zumindest hat es genau das probiert:

"Separate attempts to bypass access controls were unsuccesful."

Und der Versuch ist hier im Zweifel wichtiger als der Erfolg weil gerade das eigentlich nicht passieren dürfte.

 

[ragnarok666]

@Syntax_41 Wenn hier einfach nur auf öffentlich zugängliche Datenbanken zugegriffen wurde, wieso wird es dann in den Medien als Hack oder Angriff bezeichnet?
Damit würde man dann nur die Fähigkeiten des KI-Agenten extrem übersteigert darstellen, womit das ganze dann doch nur ein Marketing-Stunt ist, um den Wert der IPO in Höhe zu treiben - und CB lässt sich hier vor den Karren spannen.

 

[Syntax_41]

@Syntax_41

Das ist an der Stelle nicht so deutlich wie du es darstellst. Zumindest hat es genau das probiert:

"Separate attempts to bypass access controls were unsuccesful."

Und der Versuch ist hier im Zweifel wichtiger als der Erfolg weil gerade das eigentlich nicht passieren dürfte.

Halber Punkt für dich, passiert ja auch nicht nur, wenn man ein Modell hat, das ohne Sicherheitsvorkehrungen agiert.

Ist in etwa so, als wenn man bei einem Auto die Bremsen entfernt und sich dann wundert, dass es gegen die Wand kracht. Deswegen sind Bremsen Pflicht und ein Test beim TÜV alle zwei Jahre.

 

[Blaexe]

Und deswegen ist das für mich nur Werbung

Ziemlich bescheuerte Werbung, denn die ganze Safety Berichterstattung der letzten Monate macht das Thema AI sicher nicht beliebter in der Gesellschaft.

Schrödingers AI: Einerseits viel zu mächtig und sollte reguliert werden, andererseits nur PR. Entscheidet auch mal Leute.

 

[DeusExMachina]

Jahrelang wurde gefordert dass Security ernster genommen und umfassender berichtet wird. Jetzt passiert das und es ist den Leuten auch nicht recht...

Weil es wahrscheinlich nicht echt ist.
Doom Trolling ist gerade das aktuelle Mittel der Wahl um Investoren Gelder ein zu sammeln


Hier gibt es zwei Optionen
A) sie bringen binnen 2 Wochen die Meldung das nächste Modell wird viel sicherer

B) sie lösen Spending Commitments auf weil diese ja gerade nicht gebraucht werden bis das Modell sicher ist

 

[Blaexe]

Halber Punkt für dich, passiert ja auch nicht nur, wenn man ein Modell hat, das ohne Sicherheitsvorkehrungen agiert.

Nein, eben nicht, siehe der Link zu Astra 6.1. "Sicherheitsvorkehrungen" ersetzen kein Alignment des Modells ansich. Das sind nur die letzten Möglichkeiten die man hat um Pflaster drüber zu kleben.

 

[Syntax_41]

@Syntax_41 Wenn hier einfach nur auf öffentlich zugängliche Datenbanken zugegriffen wurde, wieso wird es dann in den Medien als Hack oder Angriff bezeichnet?
Damit würde man dann nur die Fähigkeiten des KI-Agenten extrem übersteigert darstellen, womit das ganze dann doch nur ein Marketing-Stunt ist, um den Wert der IPO in Höhe zu treiben - und CB lässt sich hier vor den Karren spannen.

Nein, niemals kann das sein.

Ergänzung (29. September 2026)

Nein, eben nicht, siehe der Link zu Astra 6.1. "Sicherheitsvorkehrungen" ersetzen kein Alignment des Modells ansich. Das sind nur die letzten Möglichkeiten die man hat um Pflaster drüber zu kleben.

Du wirfst zwei Fälle in einen Topf. Beim Australien-Vorfall stand's im OpenAI-Blog klar: internes Modell ohne die vollen Sicherheitsvorkehrungen, ihm fehlten die Netzsperren, deshalb kam es überhaupt rein. Das war ein Guardrail-Loch. Astra 6.1 ist ein anderer Fall, da war's das Alignment. Zwei verschiedene Baustellen, dein Pflaster-Argument passt nur auf den zweiten.