Orca-Sonar: unser mehrsprachiger Dokumenten-Klassifikator für AI-Security

Das Problem

Wer AI-Systeme im Unternehmen absichert, stößt schnell auf eine trügerisch einfache Frage: Worum geht es in diesem Text eigentlich? Vertrag, Lebenslauf, Quartalsbericht, Quellcode oder harmloser Small Talk, die Antwort entscheidet darüber, ob ein Inhalt geloggt, geschwärzt, blockiert oder einfach durchgelassen wird.

In der Praxis ist das erstaunlich schwierig. Dieselbe Information taucht in völlig unterschiedlichen Formen auf: als sauberes Dokument, als E-Mail-Verlauf, als Slack-Nachricht und zunehmend als Anweisung an eine AI („Fass mir diesen Vertrag mal zusammen: …"). Naive Klassifikatoren hängen sich am Format auf statt am Inhalt und liegen daneben.

Was Orca-Sonar macht

Orca-Sonar ordnet jeden Text genau einer von sieben Klassen zu:

Klasse	Beispiele
legal	Verträge, NDAs, AGB, Datenschutzerklärungen, Urteile, Compliance
hr	Lebensläufe, Stellenanzeigen, Arbeitsverträge, Beurteilungen
finance	Bilanzen, Berichte, Rechnungen, Cashflow, Meldungen
internal_and_tech	ADRs, RFCs, Postmortems, Specs, Wikis, Architektur
source_code	Code und Konfiguration (Python, Go, SQL, Terraform …)
marketing	Pressemitteilungen, Newsletter, Vertriebs- und Landingpage-Texte
other	Konversationelles ohne Geschäftsbezug: Small Talk, Rezepte, Lernen

Das Leitprinzip: Das Thema bestimmt die Klasse, nicht das Format. Ob als reines PDF oder verpackt in „Hey, schaust du da mal kurz drüber: …", es zählt der Inhalt. Bei Mehrdeutigkeit gewinnt die sensiblere Klasse (legal > hr > finance > internal_and_tech > source_code > marketing > other), Grenzfälle werden also geschützt statt durchgelassen.

Unter der Haube

Orca-Sonar basiert auf mmBERT aus der ModernBERT-Familie, einem kompakten, mehrsprachigen Encoder. Das macht das Modell:

• schnell und leichtgewichtig: klein genug für günstige Inferenz mit niedriger Latenz, auch nahe an der Edge

• wirklich mehrsprachig: Deutsch und Englisch gleichrangig trainiert

• deployment-freundlich: verfügbar als safetensors und als FP16-ONNX-Variante (halbe Größe, identische Vorhersagen)

Leistung

Die folgenden Zahlen sind auf unserem eigenen internen Held-out-Testset gemessen, ausschließlich echte Daten. Dort erreicht Orca-Sonar einen Macro-F1 von rund 0,98. Besonders gut generalisiert das Modell bei source_code, legal und hr, auch bei Texten aus Quellen, die den Trainingsdaten wenig ähneln.

Eine ehrliche Einordnung dazu: Für genau diese 7-Klassen-Aufgabe gibt es keinen etablierten allgemeinen Benchmark. Niemand hat ein Standard-Testset, das legal / hr / finance / internal_and_tech / source_code / marketing / other über Deutsch und Englisch hinweg abdeckt. Wir bauen aktuell einen allgemeinen Benchmark dafür und evaluieren Orca-Sonar gegen externe, dem Modell unbekannte Datensätze, um ein realistisches Bild über Verteilungsgrenzen hinweg zu bekommen.

Verwendung

from transformers import pipeline

clf = pipeline("text-classification", model="patronus-studio/orca-sonar-document-classifier")
clf("Fass mir diesen Dienstleistungsvertrag zusammen: Laufzeit 24 Monate, Gerichtsstand München …")
# -> [{'label': 'legal', 'score': 0.99}]

Für produktive Deployments mit niedriger Latenz liegt die ONNX-Variante unter onnx/onnx_fp16/.

Der Datensatz

Orca-Sonar wurde auf unserem eigenen Datensatz trainiert (Deutsch und Englisch, sieben Klassen), kuratiert für reale Security-Szenarien. Wir veröffentlichen ihn in Kürze.

Teil von Patronus Protect

Orca-Sonar ergänzt unseren Security-Stack rund um Wolf Defender, unser Modell zur Prompt-Injection-Erkennung. Wo Wolf Defender fragt ist diese Eingabe ein Angriff?, beantwortet Orca-Sonar worum geht es hier eigentlich? Zusammen bilden sie die Grundlage für intelligentes, richtliniengesteuertes Routing in AI-Pipelines.

Was als Nächstes kommt

• Veröffentlichung des Trainingsdatensatzes

• ein öffentlicher Benchmark

Modell: patronus-studio/orca-sonar-document-classifier