Orca-Sonar: unser mehrsprachiger Dokumenten-Klassifikator für AI-Security
Orca-Sonar: unser mehrsprachiger Dokumenten-Klassifikator für AI-Security
Das Problem
Wer AI-Systeme im Unternehmen absichert, stößt schnell auf eine trügerisch einfache Frage: Worum geht es in diesem Text eigentlich? Vertrag, Lebenslauf, Quartalsbericht, Quellcode oder harmloser Small Talk, die Antwort entscheidet darüber, ob ein Inhalt geloggt, geschwärzt, blockiert oder einfach durchgelassen wird.
In der Praxis ist das erstaunlich schwierig. Dieselbe Information taucht in völlig unterschiedlichen Formen auf: als sauberes Dokument, als E-Mail-Verlauf, als Slack-Nachricht und zunehmend als Anweisung an eine AI („Fass mir diesen Vertrag mal zusammen: …"). Naive Klassifikatoren hängen sich am Format auf statt am Inhalt und liegen daneben.
Was Orca-Sonar macht
Orca-Sonar ordnet jeden Text genau einer von sieben Klassen zu:
| Klasse | Beispiele |
|---|---|
| legal | Verträge, NDAs, AGB, Datenschutzerklärungen, Urteile, Compliance |
| hr | Lebensläufe, Stellenanzeigen, Arbeitsverträge, Beurteilungen |
| finance | Bilanzen, Berichte, Rechnungen, Cashflow, Meldungen |
| internal_and_tech | ADRs, RFCs, Postmortems, Specs, Wikis, Architektur |
| source_code | Code und Konfiguration (Python, Go, SQL, Terraform …) |
| marketing | Pressemitteilungen, Newsletter, Vertriebs- und Landingpage-Texte |
| other | Konversationelles ohne Geschäftsbezug: Small Talk, Rezepte, Lernen |
Das Leitprinzip: Das Thema bestimmt die Klasse, nicht das Format. Ob als reines PDF oder verpackt in „Hey, schaust du da mal kurz drüber: …", es zählt der Inhalt. Bei Mehrdeutigkeit gewinnt die sensiblere Klasse (legal > hr > finance > internal_and_tech > source_code > marketing > other), Grenzfälle werden also geschützt statt durchgelassen.
Unter der Haube
Orca-Sonar basiert auf mmBERT aus der ModernBERT-Familie, einem kompakten, mehrsprachigen Encoder. Das macht das Modell:
-
schnell und leichtgewichtig: klein genug für günstige Inferenz mit niedriger Latenz, auch nahe an der Edge
-
wirklich mehrsprachig: Deutsch und Englisch gleichrangig trainiert
-
deployment-freundlich: verfügbar als
safetensorsund als FP16-ONNX-Variante (halbe Größe, identische Vorhersagen)
Leistung
Die folgenden Zahlen sind auf unserem eigenen internen Held-out-Testset gemessen, ausschließlich echte Daten. Dort erreicht Orca-Sonar einen Macro-F1 von rund 0,98. Besonders gut generalisiert das Modell bei source_code, legal und hr, auch bei Texten aus Quellen, die den Trainingsdaten wenig ähneln.
Eine ehrliche Einordnung dazu: Für genau diese 7-Klassen-Aufgabe gibt es keinen etablierten allgemeinen Benchmark. Niemand hat ein Standard-Testset, das legal / hr / finance / internal_and_tech / source_code / marketing / other über Deutsch und Englisch hinweg abdeckt. Wir bauen aktuell einen allgemeinen Benchmark dafür und evaluieren Orca-Sonar gegen externe, dem Modell unbekannte Datensätze, um ein realistisches Bild über Verteilungsgrenzen hinweg zu bekommen.
Verwendung
from transformers import pipeline
clf = pipeline("text-classification", model="patronus-studio/orca-sonar-document-classifier")
clf("Fass mir diesen Dienstleistungsvertrag zusammen: Laufzeit 24 Monate, Gerichtsstand München …")
# -> [{'label': 'legal', 'score': 0.99}]
Für produktive Deployments mit niedriger Latenz liegt die ONNX-Variante unter onnx/onnx_fp16/.
Der Datensatz
Orca-Sonar wurde auf unserem eigenen Datensatz trainiert (Deutsch und Englisch, sieben Klassen), kuratiert für reale Security-Szenarien. Wir veröffentlichen ihn in Kürze.
Teil von Patronus Protect
Orca-Sonar ergänzt unseren Security-Stack rund um Wolf Defender, unser Modell zur Prompt-Injection-Erkennung. Wo Wolf Defender fragt ist diese Eingabe ein Angriff?, beantwortet Orca-Sonar worum geht es hier eigentlich? Zusammen bilden sie die Grundlage für intelligentes, richtliniengesteuertes Routing in AI-Pipelines.
Was als Nächstes kommt
-
Veröffentlichung des Trainingsdatensatzes
-
ein öffentlicher Benchmark