AI-Security-Inferenz unter einem Cent: Warum nur 25 % den tiefen Modellpfad brauchen

Mit Agenten, Tool-Calls und langen Kontexten wächst nicht nur die Zahl der Security-Entscheidungen. Auch die Datenmenge, die geprüft werden muss, steigt. Damit wird AI Security zunehmend zu einem Inferenzproblem: Nicht nur die Geschwindigkeit eines Modells zählt, sondern auch, wie oft der teuerste Modellpfad überhaupt nötig ist.

Patronus Ark beantwortet diese Frage mit einer Kaskade. Günstige strukturelle und semantische Stufen treffen frühe Entscheidungen. Nur wenn Unsicherheit, Risiko oder Widerspruch verbleiben, erreicht ein Chunk die tiefe L3-Inferenz.

Rund 25 % Deep Inference statt 100 %

Am validierten Operating Point werden rund 25 % der Chunks an L3 weitergereicht. Die Kaskade wurde auf mehr als 150.000 Trainingsbeispielen, rund 50.000 Validierungsbeispielen sowie unabhängigen Holdouts und OOD-Benchmarks gegen den vollständigen L3-Pfad evaluiert. F1 und False-Positive-Verhalten bleiben dabei ungefähr auf Full-L3-Niveau.

Die Einsparung entsteht also nicht dadurch, weniger Traffic zu prüfen. Deep Inference läuft gezielt dort, wo sie die Entscheidung voraussichtlich verändert.

CPU-Routing, GPU-Beschleunigung

Im aktuellen Benchmark routet der optimierte L2-Pfad auf dem CPU-Setup in der Spitze rund 963.000 Input-Tokens pro Sekunde. Bei einer Promotion-Rate von rund 25 % entstehen daraus etwa 241.000 L3-Tokens pro Sekunde.

Eine volle NVIDIA L4 verarbeitet Wolf Defender Small mit TensorRT bei Batch 16 mit rund 387.000 L3-Tokens pro Sekunde. Damit kann eine L4 den promoted Workload des gemessenen CPU-Peaks mit Spielraum aufnehmen.

Der entscheidende Architektureffekt: Die GPU skaliert mit dem schwierigen Anteil des Traffics, nicht mit dem gesamten geschützten Volumen. CPU- und GPU-Kapazität lassen sich dort erweitern, wo tatsächlich ein Bottleneck entsteht.

Was das wirtschaftlich bedeutet

Patronus Pro ist mit 69 € pro Monat und rund 4.000 Tokens pro Sekunde kontinuierlichem Durchsatz geplant. Bei 24/7-Nutzung entspricht das rund 10,368 Milliarden geschützten Tokens in 30 Tagen oder ungefähr 0,0067 € pro Million Tokens.

Das ist eine Kundenpreisrechnung, keine Behauptung über Infrastrukturkosten. Benchmark-Setup, Preisannahmen und Vergleichswerte sind deshalb im Report transparent ausgewiesen.

Patronus Insights, Ausgabe 3 herunterladen

Die Ausgabe enthält die vollständigen CPU-, L4- und TensorRT-Messwerte, die Skalierungslogik sowie alle methodischen Caveats und Quellen.