
Patronus Insights · Episode 3
Der Weg zu AI-Security-Inferenz für weniger als einen Cent
Sep 2026 · 12 Seiten · PDF · Deutsch · 1,0 MB
Mit Agenten, Tool-Calls und langen Kontexten wird AI Security zum Inferenzproblem. Diese Ausgabe zeigt, wie Patronus Ark High-Volume-Routing auf der CPU von selektiver Deep Inference trennt: Am validierten Operating Point erreichen rund 25 % der Chunks L3, während F1 und False-Positive-Verhalten ungefähr auf dem Niveau vollständiger L3-Inferenz bleiben. Der Report verbindet diese Architektur mit gemessenem CPU- und NVIDIA-L4-Durchsatz, TensorRT-Latenzen und dem geplanten Patronus-Pro-Preis von rund 0,0067 € pro Million geschützter Tokens bei kontinuierlich 4.000 Tokens pro Sekunde.
Das steckt drin
- Selective Inference: warum rund 25 % L3-Promotion am validierten Operating Point ungefähr die Qualität vollständiger L3-Inferenz erhalten
- Gemessener Stack: rund 963k CPU-L2-Input-Tokens/s und rund 387k L3-Tokens/s auf einer vollen NVIDIA L4
- Economics und Skalierung: getrennte CPU- und GPU-Bottlenecks sowie die Annahmen hinter rund 0,0067 € pro Million geschützter Tokens
Passend dazu auf dieser Seite: Blog: AI-Security-Inferenz unter einem Cent · Deep Dive: Patronus Ark auf CPU · AI-Modelle

