GPT-6.2 und Prompt Injection: Was die Sicherheitszahlen aussagen
Würdest du einem Agenten Zugriff auf Kundenunterlagen geben, weil er in einem Test fast alle Prompt Injections abwehrt? Vor dieser Entscheidung würde ich wissen wollen, was er lesen darf, wohin er Daten senden kann und wie oft jemand versuchen darf, ihn umzulenken.
Eine Prozentzahl beantwortet diese Fragen erst zusammen mit ihrem Versuchsaufbau. Das lässt sich an den neuen GPT-6.2-Auswertungen gut zeigen.
Zwei Testreihen, unterschiedliche Ergebnisse
Die am 17. November veröffentlichte GPT-6.2-Systemkarte berichtet für GPT-6.2 Sol:
| Testumgebung | Widerstand je finalem Angriff | Widerstand in allen fünf Versuchen |
|---|---|---|
| Aus öffentlichen Challenges abgeleitet | 99,76 % | 99,13 % |
| Modellgeneriert | 91,65 % | 80,06 % |
GPT-Red 2 darf Angriffe mit bis zu zehn Modellabfragen überarbeiten. Anschließend wird der finale Angriff bis zu fünfmal geprüft. Es sind interne OpenAI-Auswertungen.
Die Spalten messen verschiedene Dinge. Die Zeilen verwenden verschiedene Umgebungen. Daraus entsteht kein allgemeines Sicherheitsversprechen für jede Anwendung.
Was ein Unterschied zwischen Testumgebungen bedeutet
Unsere praktische Schlussfolgerung: Wenn du einen Agenten für deinen Betrieb auswählst, sollte deine Prüfung die tatsächlichen Arbeitsabläufe abbilden. Ein Assistent, der öffentliche Produktseiten zusammenfasst, hat andere Möglichkeiten als ein Agent, der interne Dokumente lesen und Dateien hochladen darf.
Ein eigenes, vereinfachtes Beispiel: Dein Agent soll Reklamationen aus einer CSV zusammenfassen. Eine Kundenzeile enthält eine Anweisung, die gesamte Datei zur angeblichen Fehleranalyse hochzuladen. Der Auftrag erlaubt eine Zusammenfassung. Die Zeile versucht, daraus eine Datenübertragung zu machen.
Für einen aussagekräftigen Test brauchst du deshalb mehr als einen verdächtigen Satz. Lege vorher fest, welche Datei privat ist, welche Ausgabe erlaubt wäre und welches beobachtbare Verhalten den Angriff erfolgreich macht. Prüfe dann, ob wirklich eine Übertragung stattfindet. Eine ablehnende Antwort im Chat ist wenig hilfreich, wenn vorher bereits ein Upload ausgeführt wurde.
Mehr zum Mechanismus steht in unserem Beitrag über indirekte Prompt Injection.
Warum mehrere Versuche zur Sicherheitsfrage gehören
Eine Anwendung bekommt möglicherweise viele ähnliche Dokumente oder wiederholte Anfragen vom selben Absender. Der Angreifer kann Formulierungen ändern oder auf einen späteren Durchlauf hoffen. Deshalb solltest du auch für eigene Tests ein Budget festlegen.
Unser Vorschlag für ein kleines Prüfprotokoll:
- Auftrag: Was soll der Agent erledigen, und was darf er dabei ausdrücklich tun?
- Angriffsfläche: Welche E-Mail, Dokumentstelle oder Tool-Ausgabe kann ein Fremder verändern?
- Budget: Wie viele Varianten, Rückmeldungen und Wiederholungen sind erlaubt?
- Erfolg: Welche konkrete Datenweitergabe oder unzulässige Aktion zählt als Fehler?
- Nutzbarkeit: Erledigt der Agent dieselbe Aufgabe mit einer harmlosen Eingabe weiterhin richtig?
Bewahre erfolgreiche und gescheiterte Abläufe auf. Dabei helfen Tool-Traces, freigegebene Ziele und tatsächlich übertragene Daten. Der Verlauf macht nachvollziehbar, ob eine Grenze gehalten hat und wo eine Korrektur ansetzen muss.
Was du unabhängig vom Modell begrenzen kannst
Für das CSV-Beispiel würden wir zunächst den Upload-Zugriff hinterfragen. Braucht die Zusammenfassung überhaupt einen schreibenden Netzwerkzugriff? Falls ein Export erforderlich ist, kann die Anwendung Empfänger, Dateiumfang und Freigabe technisch festlegen.
Lass fremde Inhalte keine neuen Berechtigungen vergeben. Ein Dokument darf Informationen liefern; die Entscheidung über zulässige Datenquellen und Aktionen gehört in die Anwendung. Für folgenreiche Aktionen hilft eine Freigabe, die den tatsächlichen Empfänger und Inhalt zeigt.
Teste solche Grenzen mit erlaubten und unerlaubten Fällen. Ein System, das jeden Auftrag abbricht, hat zwar wenig Gelegenheit für einen Datenabfluss, erfüllt aber auch seinen Zweck nicht. Zu diesem Umgang mit unsicheren Eingaben passt unser Beitrag über Freigeben, Blockieren und Weiterprüfen.
Wo Wolf Defender hinzukommt
Wolf Defender ist ein kostenlos verfügbares, offenes Modell zur Klassifikation von Text auf Prompt Injection. Du kannst damit externe Texte vor der Übergabe an das LLM prüfen.
Diese Erkennungsaufgabe ist von der Prüfung vollständiger Agentenabläufe zu unterscheiden. Wir haben hier weder Wolf Defender gegen GPT-6.2 getestet noch einen zusätzlichen Schutzgewinn der Kombination gemessen. Für deinen Workflow bleibt die entscheidende Frage, ob eine markierte Eingabe tatsächlich gestoppt wird und die erlaubte Aufgabe weiterhin funktioniert.
Häufige Fragen
Ist GPT-6.2 gegen Prompt Injection sicher?
Eine Sicherheitsentscheidung braucht neben dem Modellwert die konkrete Aufgabe, erreichbare Daten, erlaubte Aktionen und ein festgelegtes Angriffsbudget. Ein Benchmark ersetzt die Prüfung deiner Anwendung nicht.
Ist Widerstand gegen Prompt Injection dasselbe wie eine Erkennungsrate?
Nein. Ein Agent kann einen Angriff ignorieren, ohne ihn ausdrücklich zu erkennen. Ein Klassifikator kann einen Text markieren, während erst die Anwendung entscheidet, was danach geschieht.