News KI-Agenten von OpenAI: In 53 Fällen landeten Bilder von ChatGPT-Nutzern im Netz

Clanker schrieb:
@Legalev
Fairerweise muss man allerdings auch sagen, dass einige "Sicherheitsbarrieren" keine sind.

In vielen Fällen wurde zunächst von einem Hackerangriff gesprochen, bis sich herausstellte, dass ein Standard-Passwort genutzt wurde, das in jeder Bedienungsanleitung zu finden ist.
Oder dass ein Mitarbeiter einen Link angeklickt hat.
Oder dass ein Mitarbeiter das Passwort verraten hat, weil sich jemand in einer E-Mail als Vorgesetzter ausgegeben hat.
Das kann auch daran liegen, dass das System lange keine Updates erhalten hat und seit Monaten oder Jahren bekannte Lücken ausgenutzt wurden.

Ohne Informationen darüber, wie diese "Sicherheitsbarriere" durchbrochen wurde, kann es genauso gut an der Inkompetenz des Opfers liegen.

Die harte Wahrheit ist, dass viele Systeme so gut wie gar nicht gesichert sind.
https://www.tagesschau.de/ausland/ozeanien/openai-australien-regierungsportal-100.html
 
Legalev schrieb:
Betroffen war nur das Medicare-Statistikportal mit aggregierten Zahlen, nicht die Patientendaten. Der Agent sollte eigentlich nur Arzneimittelausgaben recherchieren, umging aber die Sperren des Portals, las dabei auch nicht öffentliche Daten und schrieb Dateien auf einen internen Server.
https://thehackernews.com/2026/09/openai-agent-bypassed-australian.html
https://thenextweb.com/news/openai-agent-medicare-statistics-portal-australia
https://pasqualepillitteri.it/en/news/18115/openai-agent-medicare-portal-albanese
 
Zuletzt bearbeitet von einem Moderator:
Clanker schrieb:
@Bright0001
Das ist tatsächlich ein Problem, das im Falle einer "echten, sich selbst bewussten KI" auftreten wird.

Es spielt keine Rolle, ob eine KI ein Bewusstsein entwickelt und "leben" möchte, solange die Person mit dem Killswitch ihr nicht glaubt.
Absolut, und das ist sogar noch relativ weit "oben" in der Problemliste; Fängt ja schon damit an "Bewusstsein" sauber zu definieren, ohne eine versteckte Zirkeldefinition verbaut zu haben.

Mir gehts da eher um die pragmatische Seite: Es wird jedes Mal auch das letzte Haar gespalten, dass die AIs nichts fühlen, nichts denken, und auch keine "echten" Meinungen haben können (was auch immer das bedeutet), und zwar so, als wäre es von Relevanz; Aber es ist halt einfach egal.

Denn wenn ein LLM schädliches Verhalten zeigt, ist es wumpe ob nun bspw. der Selbsterhaltungstrieb "echt" war oder nur geschauspielert, denn das Ergebnis ist ja das gleiche.

FabianX2 schrieb:
Ei ei ei da ist es schwer sich zu entscheiden ob das Niveau der Berichterstattung oder der Kommenatre unterirdischer ist :D
Und du dachtest dir "Bei den 'Kommenatren' geht noch was, ich bring ne Schaufel mit", oder wie darf man das verstehen? :P
 
  • Gefällt mir
Reaktionen: textract, Clanker und wGuardian
Solche Nachrichten kommen ja mittlerweile quasi täglich.
Ich frage mich, wieso man sich nicht eingesteht, dass man bereits die Kontrolle verloren hat und das leider bevor die AI ein allgemeines Weltverständnis entwickelt hat?
 
Legalev schrieb:
Was willst du damit zeigen?
Das ist völlig aufgeblasener Artikel, in dem nichts steht.

Man hätte auch schreiben können:

Eine KI griff zunächst wie jeder andere Nutzer auf ein australisches Regierungsportal zu und anschließend auf anderem Weg.
Es wurden keine persönlichen Informationen abgerufen.
Albanese fand den Vorgang dennoch "inakzeptabel".

Die für mich entscheidende Frage bleibt:
Was haben die Verantwortlichen hinter dem Portal falsch gemacht?

Vigilant schrieb:
@KeinNutzerName
Und wie ist es, wenn eine KI in dein geschlossenes und gesichertes Firmennetz per Hack eindringt, an den Daten herumkratzt und diese extrahiert? Irgendjemand sollte dafür haften und sich nicht einfach auf "nicht vorhersehbare Emergenz der KI" berufen können.
Bei diesem "Irgendjemand" denke ich in erster Linie an die Verantwortlichen hinter diesem Firmennetz.
War der Admin in Zweitfunktion inkompetent?
Oder war sein Vorgesetzter inkompetent und hat jede Warnung heruntergespielt?
Hat ein Mitarbeiter auf einen Link für einen 23 € Gutschein für Amazon geklickt?

Am liebsten wird an der IT, insbesondere der Sicherheit gespart, weil "Wir haben doch x Jahren keine Probleme gehabt" und Boomer Weisheiten wie "Never touch a running system".
Und sobald jemand im löchrigen System herumstochert, wird sofort "Hacker" geschrien, um von der eigenen Inkompetenz oder Sparmaßnahme abzulenken.
 
Zuletzt bearbeitet:
Vigilant schrieb:
@KeinNutzerName
Und wie ist es, wenn eine KI in dein geschlossenes und gesichertes Firmennetz per Hack eindringt, an den Daten herumkratzt und diese extrahiert? Irgendjemand sollte dafür haften und sich nicht einfach auf "nicht vorhersehbare Emergenz der KI" berufen können.

Dann war das system nicht so geschlossen und gesichert wie der Admin das gern hätte
 
  • Gefällt mir
Reaktionen: Clanker und Zhenwu
textract schrieb:
Solche Nachrichten kommen ja mittlerweile quasi täglich.
Ich frage mich, wieso man sich nicht eingesteht, dass man bereits die Kontrolle verloren hat und das leider bevor die AI ein allgemeines Weltverständnis entwickelt hat?

Marketing
 
  • Gefällt mir
Reaktionen: the_IT_Guy
supertramp schrieb:
Kaum ein Tag vergeht, ohne neue Hiobsbotschaften aus den USA zum Thema KI.
Du sagst es, du dachtest...Man nennt sowas freie Presse und die agieren wie Zecken und bohren sich überall rein. Aus China wirst du keine gravierenden schlechten Nachrichten hören, außer über unsere Presse, die ja nur "Fake News" verbreitet, gelle.

Um also wieder ruhig schlafen zu können müssen wir nur auf den russisch- chinesischen Weg umschlagen. Nur Nachrichten die genehm sind und die Bürger nicht verschrecken. Oder nach dem guten alten Motto "was ich nicht weiß, macht mich nicht heiß".
Ergänzung ()

Clanker schrieb:
Selbst wenn man eine "echte KI" in einen möglichst menschenähnlichen Körper einsperrt, werden die Menschen sie höchstwahrscheinlich immer abwerten.

Tears in Rain - Bladerunner
Der "Der 200 Jahre Mann" mit Robin Williams von 1999 wäre die bessere Referenz zu deiner Erklärung gewesen. Übrigens ein sehr geiler Film, der in der Zukunft nicht aktueller sin könnte.

Das Verhalten unserer Spezies ist bis jetzt das Rezept unseres evolutionären Erfolges. Überleben, um jeden Preis!
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Clanker
Vigilant schrieb:
Wird mal Zeit die juristische Haftungsfrage in den Mittelpunkt zu stellen. Autofahrer haften ja auch für den Einsatz des Fahrzeugs, oder bspw. Hundehalter sind für das Verhalten und Handeln ihrer Hunde verantwortlich.

Davon abgesehen fehlt es genau für diese Aspekte im Kontext KI-Agenten u.ä. aber an klaren juristischen Regeln.
Die Frage ist längst geklärt: die Betreiber sind für die Hacks verantwortlich, alles andere würde dazu führen dass die Verwendung von KI für Hacks straffrei wäre, was absurd ist . Es ist hier lediglich so dass die Strafverfolgungsbehörden nicht aktiv werden, vermutlich weil wir mittlerweile in einem zwei Klassen System Leben wo Regeln nur für uns und nicht für Bonzen / KI Entwickler gelten
 
@Grundkurs Es liegt keine Straftat vor, das waren Tests, um genau die Schwachstellen zu finden und die KIs abzusichern.
Ergänzung ()

Alexander2 schrieb:
Wer hier gehört eigentlich schon der Kirche der AI an? Interessiert mich nur mal.
Ich habe ein Unternehmen, wir arbeiten an Drohnen-KI.
 
So, der gute alte Bill Gates hat sich nun auch unmissverständlich öffentlich geäussert, dass KI strenge Regulierung insbesondere durch den Staat benötigt.

Ich sehe das ganz genauso. Der Kurs von Trump zum Thema ist nur eins...unglaublich dumm.

Normalerweise, mit etwas Weitsicht müssten nun die USA und China in der Angelegenheit eng zusammenarbeiten.

Wird aber wohl nur ein Wunschtraum bleiben. Die Sache fliegt uns so recht wahrscheinlich schon bald um die Ohren.
 
Zuletzt bearbeitet:
Alexander2 schrieb:
Wer hier gehört eigentlich schon der Kirche der AI an? Interessiert mich nur mal.
Die Sekte der Anti KI Fanatiker ist auch nicht gerade klein 😉
Blackhorse79 schrieb:
Ich sehe das ganz genauso. Der Kurs von Trump zum Thema ist nur eins...unglaublich dumm.
Welchen Kurs meinst du?
Die Entwicklung der KI nicht zu verlangsamen?
 
DeusExMachina schrieb:
Dann war das system nicht so geschlossen und gesichert wie der Admin das gern hätte
Das würde bedeuten, wenn jemand deine Haustür aufbricht oder eintritt, dass diese ja unzureichend gesichert wäre und ein Einbrecher dem folgend schuldfrei bleiben würde? Habe ich dich da richtig verstanden?

Syntax_41 schrieb:
Tests ohne Einwilligung der Betreiber der Testobjekte? Mag ja sein, dass es Tests waren, aber die gehören entweder in eine gesicherte Umgebung oder finden in Abstimmung mit den Betreibern der Ziele, bspw. im Rahmen von Cybersecurity-/Breach-Tests statt. Oder übersehe ich etwas in deinem Hinweis?
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: BeowulfAgate
Vigilant schrieb:
Das würde bedeuten, wenn jemand deine Haustür aufbricht oder eintritt, dass diese ja unzureichend gesichert wäre und ein Einbrecher dem folgend schuldfrei bleiben würde? Habe ich dich da richtig verstanden?
Nein das heißt es nicht.

Er hat sie eben nicht aufgebrochen oder eingetreten, sie war auf. Ich darf dem Einbrecher lediglich keine Fähigkeiten zusprechen, die er gar nicht besitzt.

Im Fall von KI kann Sie aber keine Verantwortung übernehmen. Der Mensch hat sie doch los geschickt eine Aufgabe zu übernehmen. Wenn diese unpräzise gestellt wird und der Server offen wie ein Scheunentor ist, gibt es hier genau 2 Probleme.
 
Verstehe, aber selbst wenn ich die Haustür nicht (richtig) abschließe, ist das keine Einwilligung, das Haus zu betreten oder es auszuräumen. Im Kontext der KI-Agenten hieße das, dass der Urheber haftet. Die KI selbst ist ja nur das Werkzeug.
 
Vigilant schrieb:
Tests ohne Einwilligung der Betreiber der Testobjekte? Mag ja sein, dass es Tests waren, aber die gehören entweder in eine gesicherte Umgebung oder finden in Abstimmung mit den Betreibern der Ziele, bspw. im Rahmen von Cybersecurity-/Breach-Tests statt. Oder übersehe ich etwas in deinem Hinweis?

Boah, da wurde nichts ohne Einwilligung gemacht. Das war ein Feldtest.

Bei mir wird auch erst in gesicherter Umgebung getestet und später dann ein Feldtest, um zu sehen, was passiert unter realen Bedingungen.
Ergänzung ()

Vigilant schrieb:
Verstehe, aber selbst wenn ich die Haustür nicht (richtig) abschließe, ist das keine Einwilligung, das Haus zu betreten oder es auszuräumen. Im Kontext der KI-Agenten hieße das, dass der Urheber haftet. Die KI selbst ist ja nur das Werkzeug.


Zb. ein Redakteur veröffentlicht einen Artikel, lässt ihn über eine KI schreiben und die behauptet dann, dass der Chef einer großen Firma Untreue begangen hat, was er aber nachweislich nicht hat.

Dann ist der Redakteur dafür verantwortlich, weil er es nicht überprüft hat.

Wenn aber die KI jetzt von alleine anfangen würde, sowas zu posten, ist der Hersteller schuld.
 
Syntax_41 schrieb:
da wurde nichts ohne Einwilligung gemacht
Dann muss ich wohl die Berichterstattung falsch interpretiert haben, bzw. scheinen dort entsprechende Hinweise der Angriffsziele zu fehlen.
 
Blackhorse79 schrieb:
So, der gute alte Bill Gates hat sich nun auch unmissverständlich öffentlich geäussert, dass KI strenge Regulierung insbesondere durch den Staat benötigt.

Ich sehe das ganz genauso. Der Kurs von Trump zum Thema ist nur eins...unglaublich dumm.

Normalerweise, mit etwas Weitsicht müssten nun die USA und China in der Angelegenheit eng zusammenarbeiten.

Wird aber wohl nur ein Wunschtraum bleiben. Die Sache fliegt uns so recht wahrscheinlich schon bald um die Ohren.

Und dann sind bald die weiter, die das heimlich machen. Unter Aufsicht stellen, okay, aber Regulierung ist der falsche Weg.

Ist wie mit Biowaffen: Man muss daran forschen, um Lösungen zu finden, z. B. Gegenmittel.
 
Zurück
Oben