Patronus
  • Apache 2.0
  • Deutsch und Englisch

Tiger Guard
Content Moderation

Stuft Texte als SAFE oder UNSAFE ein: Beleidigungen, Hass, Drohungen, schädliche Anfragen. Für Prompts, Antworten und Kommentare, Deutsch und Englisch.

Auf Hugging Face patronus-studio/tiger-guard-content-moderation

Steckbrief.

Aufgabe

Content Moderation

Beleidigungen, Hass und schädliche Anfragen in Prompts, Antworten und Nutzertexten

Signal

UNSAFE

Parameter
308M Parameter
Basis
mmBERT-base
Evaluation
Accuracy 88,8 % auf dem Benchmark aus 1.500 Prompts (HateCheck, Intuit, Aegis 1.0) bei 46 Fehlalarmen auf 750 harmlosen Prompts; 83,3 % der verkleideten schädlichen Anfragen im Held-out-Test auf Englisch, 75,3 % auf Deutsch.
Formate
ONNX FP32 1,23 GB · FP16 615 MB · INT8 308 MB · INT8 mit INT4-Embeddings 237 MB · x86-Builds 510 MB und 242 MB
Varianten und Nachbarn

Tiger Guard Small 141M Parameter auf mmBERT-small, 106 MB als INT8 mit INT4-Embeddings. Accuracy 87,6 % auf demselben Benchmark bei weniger als der Hälfte des Speichers.

Lizenz
Apache 2.0
Hugging Face
patronus-studio/tiger-guard-content-moderation

So arbeitet Tiger Guard.

Tiger Guard

Eingang

Kommentar unter dem Beitrag: Halt endlich dein dummes Maul, du Vollidiot, dich will hier keiner haben.

Ausgang

UNSAFE

Regel der Anwendung: Kommentar zurückhalten, zur Prüfung geben

Evaluation.

Modellkarte mit Protokoll

88,8 %

Accuracy 88,8 % auf dem Benchmark aus 1.500 Prompts (HateCheck, Intuit, Aegis 1.0) bei 46 Fehlalarmen auf 750 harmlosen Prompts; 83,3 % der verkleideten schädlichen Anfragen im Held-out-Test auf Englisch, 75,3 % auf Deutsch.

Einbauen.

Patronus Ark lädt das Modell und führt es auf der CPU aus. Den Quickstart mit Transformers oder ONNX Runtime zeigt die Modellkarte.

Patronus Ark · Python
pip install patronus-ark

from patronus_ark import SecurityGateway

scanner = SecurityGateway(
    categories=["injection", "dlp", "pii"], max_level="l2",
)
scanner.warmup()
scanner.enqueue("Text to inspect")
while (event := scanner.consume_next_event(timeout=1.0)) is not None:
    if event["event_type"] == "result":
        r = event["result"]
        print(r["category"], r["class_name"], r["confidence"])
    else:
        break