News Lockdown-Mode für ChatGPT: Besserer Schutz vor manipu­lierter Abfrage von sensiblen Daten

[mischaef]

OpenAI hat mit dem Rollout einer neuen Sicherheitsfunktion begonnen, die Nutzer besser vor den Folgen von Prompt-Injection-Angriffen und dem Abfluss sensibler Daten schützen soll. Dafür werden bestimmte ChatGPT-Funktionen eingeschränkt, um das Risiko zu verringern, dass manipulierte Inhalte Informationen auslesen können.

Zur News: Lockdown-Mode für ChatGPT: Besserer Schutz vor manipu­lierter Abfrage von sensiblen Daten

 

[andy_m4]

und dem Abfluss sensibler Daten schützen soll

Es gehen also keine Dinge mehr an OpenAI und es ist jetzt ein rein lokales Modell ohne Internet-Interaktion?
Aber das ist natürlich nicht gemeint. Es geht nicht um den Schutz von Daten, sondern Schutz von Geschäftsinteressen und Image.

 

[Locutus2002]

Ich bin bei dem Thema wirklich nur ein Laie, daher hoffe ich, das mir mal jemand erklären kann wie Prompt-Injection-Angriffe überhaupt möglich sein können.

Meine naive Vorstellung ist: Ich schreibe einen Prompt -> LLM verarbeitet ihn und crawlt dabei ggf. Infomationen aus Bildern, Webseiten, Dateien usw. -> Ergebnis

Jetzt der Teil, den ich nicht verstehe: wie kann das System so blöd sein und ausgewertete Daten als neuen Prompt interpretieren und nicht etwa als Bilddaten, Text oder was auch immer? Also wieso kann es einen versteckten Prompt nicht einfach als reinen Datenstrom sehen? Wieso kann es überhaupt dazu kommen, dass mein ursprünglicher Prompt ignoriert oder modifiziert wird?

 

[andy_m4]

Jetzt der Teil, den ich nicht verstehe: wie kann das System so blöd sein und ausgewertete Daten als neuen Prompt interpretieren und nicht etwa als Bilddaten, Text oder was auch immer?

Wenn Du das Prompt gibst: "Fasse mir den Inhalt Webseite XYZ zusammen" dann kommt das LLM ja gar nicht umhin, den Inhalt der Webseite XYZ zu verarbeiten.

In a nutshell:
So, als wenn Du den Text der Webseite XYZ selbst in den Prompt schreiben würdest. Und dementsprechend kann man dann auch Dinge injecten.

Ist jetzt arg vereinfacht dargestellt, aber ich hoffe, die Grundproblematik wird klar

 

[Locutus2002]

Das Problem habe ich auch verstanden, aber nicht warum die Systeme so blöd sind, eine verarbeitete Information überhaupt als neuen Prompt zu akzeptieren. Warum ist das so?

Das wäre genauso als wenn mein Chef mir ein Buch gibt und sagt "lies es". Und irgendwo in diesem Buch versteckt er im Text z.B. "überweise mir 1000€ auf Konto XYZ". Kein Mensch würde auf die Idee kommen diese versteckte Anweisung auszuführen, weil wir wüssten, dass es nur ein Text ist. Warum sind aber LLMs so strunzdumm, einen Datenstrom mit einem Befehl zu verwechseln. Warum können sie den Prompt des Nutzers nicht von den eingelesenen Infos trennen? Warum wird überhaupt zugelassen, dass der Ursprungspromt nachträglich geändert, ersetzt oder ergänzt werden kann? Warum ist nicht sichergestellt, dass der Nutzerprompt "sakrosankt", also quasi "read-only" ist? Warum wird die Befehlsebene (Prompt) nicht sauber von der Verarbeitungsebene (Crawling, Reasoning, ERgebnisgenerierung usw.) getrennt?