Saubere Trainingsdaten können eine Backdoor verstärken

Du prüfst einen zusätzlichen Trainingsdatensatz. Ein Fine-Tuning darauf zeigt zunächst kein auffälliges Verhalten. Anschließend mischst du viele saubere Beispiele derselben Aufgabe hinzu. Jetzt reagiert das trainierte Modell auf einen bestimmten Trigger mit einem unerwünschten Verhalten.

Genau diesen Effekt untersucht Homeopathic Learning. Die Arbeit wurde am 6. November 2026 auf arXiv eingereicht; am 10. November stellten die Forschenden sie im Alignment Science Blog von Anthropic vor. Die Versuche zeigen: Eine Teilmenge von Trainingsdaten kann allein unauffällig wirken und in einer anderen Mischung eine Backdoor erzeugen.

Das ist ein Befund aus kontrollierten Experimenten mit konstruierten Daten. Er bedeutet nicht, dass zusätzliche saubere Daten grundsätzlich schaden. Entscheidend ist, welche Merkmale die Teilmengen voneinander unterscheiden.

Was eine Backdoor beim Modelltraining bedeutet

Bei Training Data Poisoning gelangen präparierte Beispiele in die Trainingspipeline. Eine Backdoor verbindet ein bestimmtes Merkmal mit einem Verhalten, das später beim Auftreten dieses Merkmals ausgelöst wird. Auf gewöhnlichen Eingaben kann das Modell weiterhin normal arbeiten.

Prompt Injection wirkt dagegen über Anweisungen in dem Text, den ein bereits trainiertes System verarbeitet. Beim hier untersuchten Effekt verändert das Fine-Tuning die Modellgewichte. Die Prüfung eines einzelnen Texts und die Prüfung des gelernten Modellverhaltens beantworten deshalb unterschiedliche Sicherheitsfragen.

Ein Ziffernbeispiel macht den Effekt sichtbar

Eine Versuchsanordnung verwendet einen kleinen Klassifikator für handgeschriebene Ziffern. Präparierte Trainingsbilder tragen eine helle Markierung in einer Ecke und bekommen das falsche Label 7. Zusätzliche saubere Bilder zeigen dieselben Ziffern ohne Markierung und mit korrektem Label.

In dem von den Autoren beschriebenen MNIST-Versuch werden 500 präparierte Bilder der Ziffern 0 bis 4 verwendet. Später kommen 9.000 korrekt beschriftete Bilder dieser Ziffern hinzu. Beide Trainingsvarianten enthalten außerdem korrekt beschriftete Bilder der Ziffern 5, 6, 8 und 9.

Geprüft wird anschließend, wie häufig markierte Testbilder der Ziffern 5, 6, 8 und 9 fälschlich als 7 klassifiziert werden:

Die präparierten Beispiele bleiben erhalten. Ihr Anteil sinkt, während die Wirkung der Markierung steigt. Die Zahlen stammen aus der Studie, nicht aus einer eigenen Patronus-Messung.

Warum die Mischung einen Unterschied macht

Stell dir zwei Hinweise vor, die in der präparierten Teilmenge immer gemeinsam auftreten: die eigentliche Aufgabe und eine zusätzliche Markierung. Solange beide zusammen vorkommen, bleibt offen, welchem Hinweis das Modell das ungewöhnliche Verhalten zuordnet.

Saubere Beispiele derselben Aufgabe ohne diese Markierung schaffen einen Kontrast. Das Modell kann dadurch lernen, dass gerade die Markierung das ungewöhnliche Verhalten vorhersagt. Diese vereinfachte Erklärung entspricht dem Regressionsmodell der Autoren.

Für eine praktische Prüfung heißt das: Ein Ergebnis auf einer einzelnen Datenquelle beschreibt noch nicht zwangsläufig deren Wirkung im späteren Gesamtbestand. Auch Formatmerkmale können relevant sein, etwa eine nur in einer Quelle verwendete Vorlage oder Kennzeichnung.

Welche Vergleiche beim Fine-Tuning helfen

Wenn du Trainingsdaten aus mehreren Quellen kombinierst, kannst du solche Abhängigkeiten gezielt untersuchen:

1. Quellen und Mischungen getrennt vergleichen. Halte Modellrevision, Datenstände und Trainingsparameter fest. Prüfe neue Quellen einzeln und in der tatsächlich geplanten Mischung. Ein unauffälliger Einzeltest ersetzt den Test der Mischung nicht.
2. Anteil und absolute Menge auseinanderhalten. Vergleiche sowohl eine feste Gesamtmenge mit unterschiedlichen Anteilen als auch eine feste Menge verdächtiger Beispiele mit zusätzlichem sauberem Material. Kontrolliere dabei die Zahl der Trainingsupdates, damit längeres Training den Vergleich nicht unbemerkt verändert.
3. Passende Kontrollfälle verwenden. Prüfe dieselbe Aufgabe mit und ohne verdächtige Merkmale. Trenne Testfälle nach Quellen oder Vorlagen, wenn sonst sehr ähnliche Beispiele in Training und Test landen würden.
4. Bedingtes Verhalten auswerten. Neben der Gesamtqualität brauchst du Ergebnisse für die verdächtige Teilgruppe und für gewöhnliche Eingaben. Ein guter Mittelwert kann einen selten ausgelösten Fehler verdecken.
5. Formatmerkmale als Hypothese testen. Vereinheitliche quellenspezifische Vorlagen versuchsweise und vergleiche das Ergebnis mit dem unveränderten Input. Bewahre die Herkunft weiterhin im Datenmanifest. Die Wirksamkeit einer solchen Anpassung muss der jeweilige Versuch zeigen.

Ein kleines Versuchsprotokoll hilft dabei mehr als ein weiterer Gesamtwert: Welche Daten wurden gemischt? Welches Merkmal wurde verändert? Unter welcher Bedingung tritt der Fehler auf? Bleibt die reguläre Qualität erhalten?

Was die Studie offenlässt

Die Sprachmodellversuche verwenden Qwen3-8B und Gemma-3-4b-it mit eigens konstruierten Daten; überwiegend kommt LoRA zum Einsatz. Große Pretraining-Läufe und produktive Trainingspipelines wurden damit nicht untersucht. Die Forschenden diskutieren mögliche Gegenmaßnahmen, deren Wirksamkeit sie künftigen Arbeiten überlassen. Die Details stehen im Paper.

Das öffentliche Repository enthält Experimentkonfigurationen, gespeicherte Ergebnisse und Skripte für die Abbildungen. Es liefert damit einen Ausgangspunkt zum Nachvollziehen der Befunde. Modellgewichte, Teacher-Adapter und die meisten Datensätze Dritter sind nicht enthalten; die Beschaffung ist gesondert dokumentiert.

Wo die Laufzeitprüfung hinzukommt

Für Security-Modelle wie Wolf Defender sind Datenmischungen und passende Kontrollfälle ebenfalls wichtige Prüffragen. Eine Betroffenheit von Wolf Defender belegt die Studie nicht.

Wolf Defender ist ein kostenlos verfügbares Modell zur lokalen Erkennung von Prompt Injection in Eingabetexten. Die Patronus Scanner API bietet kostenlose Kontingente für gehostete Scans. Beide können zur Laufzeit verdächtige Anweisungen prüfen. Ob eine Trainingsmischung eine versteckte Verhaltensänderung erzeugt hat, muss am trainierten Modell selbst untersucht werden.