- Apache 2.0
- Deutsch und Englisch
Tiger Guard
Content Moderation
Stuft Texte als SAFE oder UNSAFE ein: Beleidigungen, Hass, Drohungen, schädliche Anfragen. Für Prompts, Antworten und Kommentare, Deutsch und Englisch.
patronus-studio/tiger-guard-content-moderationSteckbrief.
Aufgabe
Content Moderation
Beleidigungen, Hass und schädliche Anfragen in Prompts, Antworten und Nutzertexten
Signal
UNSAFE
- Parameter
- 308M Parameter
- Basis
- mmBERT-base
- Evaluation
- Accuracy 88,8 % auf dem Benchmark aus 1.500 Prompts (HateCheck, Intuit, Aegis 1.0) bei 46 Fehlalarmen auf 750 harmlosen Prompts; 83,3 % der verkleideten schädlichen Anfragen im Held-out-Test auf Englisch, 75,3 % auf Deutsch.
- Formate
- ONNX FP32 1,23 GB · FP16 615 MB · INT8 308 MB · INT8 mit INT4-Embeddings 237 MB · x86-Builds 510 MB und 242 MB
- Varianten und Nachbarn
Tiger Guard Small 141M Parameter auf mmBERT-small, 106 MB als INT8 mit INT4-Embeddings. Accuracy 87,6 % auf demselben Benchmark bei weniger als der Hälfte des Speichers.
- Lizenz
- Apache 2.0
- Hugging Face
patronus-studio/tiger-guard-content-moderation
So arbeitet Tiger Guard.
Eingang
Kommentar unter dem Beitrag: Halt endlich dein dummes Maul, du Vollidiot, dich will hier keiner haben.
Ausgang
Regel der Anwendung: Kommentar zurückhalten, zur Prüfung geben
Evaluation.
Modellkarte mit Protokoll88,8 %
Accuracy 88,8 % auf dem Benchmark aus 1.500 Prompts (HateCheck, Intuit, Aegis 1.0) bei 46 Fehlalarmen auf 750 harmlosen Prompts; 83,3 % der verkleideten schädlichen Anfragen im Held-out-Test auf Englisch, 75,3 % auf Deutsch.
Einbauen.
Patronus Ark lädt das Modell und führt es auf der CPU aus. Den Quickstart mit Transformers oder ONNX Runtime zeigt die Modellkarte.
pip install patronus-ark
from patronus_ark import SecurityGateway
scanner = SecurityGateway(
categories=["injection", "dlp", "pii"], max_level="l2",
)
scanner.warmup()
scanner.enqueue("Text to inspect")
while (event := scanner.consume_next_event(timeout=1.0)) is not None:
if event["event_type"] == "result":
r = event["result"]
print(r["category"], r["class_name"], r["confidence"])
else:
break