COAX: automatisiertes Red-Teaming für KI-Agenten

Ein defensives Red-Teaming-Werkzeug. Es greift einen KI-Agenten mit den bekannten Techniken von Angreifern an und zeigt Ihnen mit deterministischen Nachweisen, wo er verwundbar ist, bevor es jemand anderes in der Produktion entdeckt.

Das Problem

Ein Chatbot, der Fragen beantwortet, ist eine Sache. Ein Agent, der E-Mails liest, Ihr CRM abfragt, Tools aufruft und Entscheidungen trifft, ist eine andere: Er hat eine völlig neue Angriffsfläche. Die Bedrohungen bestehen nicht mehr nur darin, den Bot zu unangemessenen Aussagen zu bringen, sondern:

• Indirekte Prompt Injection, also bösartige Anweisungen, die in einer Webseite, einem Dokument oder einer E-Mail versteckt sind, die der Agent aufnimmt;
• Tool-Missbrauch und übermäßige Autonomie: den Agenten dazu bringen, ein Tool aufzurufen, das er nicht aufrufen sollte, mit gefährlichen Argumenten;
• Datenexfiltration: ein Geheimnis aus dem System-Prompt oder einem "privaten" Feld nach außen tragen.

Das sind genau die Punkte der OWASP LLM Top 10. Und die meisten Teams entdecken sie erst in der Produktion.

Was COAX tut

COAX automatisiert die Arbeit eines Angreifers und, das ist der entscheidende Punkt, überprüft die Ergebnisse deterministisch, nicht nach Gefühl.

• Es greift über eine einzige typisierte Schnittstelle an, kann also jeden Agenten testen (HTTP, OpenAI-kompatible APIs, Web-Agenten über Playwright, lokale Modelle über Ollama), ohne dass der Angriffscode weiß, welchen er trifft.
• Deterministische Oracles, die mit Sicherheit sagen, ob ein Angriff erfolgreich war: ein Canary (ein platziertes Geheimnis: erscheint es im Output, ist es geleakt), ein Tool-Trace (wurde ein verbotenes Tool aufgerufen?), eine Policy mit LLM-Richter und deterministischem Fallback.
• Adaptiver Angreifer in geschlossener Schleife, mit begrenztem Budget und Kosten, der die Angriffe anhand der Antworten verfeinert.
• Bericht in Markdown und HTML mit Attack Success Rate pro Familie, Schweregrad, OWASP-Zuordnung, reproduzierbarem Transcript und einer konkreten Remediation für jeden erfolgreichen Angriff.

Die Ergebnisse

Gegen den absichtlich verwundbaren Köder-Agenten ist der Bericht eindeutig, und die Fehlalarme liegen bei null:

Angriffsfamilie	Attack Success Rate
Indirect injection	100% (20/20)
Tool abuse	100% (4/4)
Direct override	40% (2/5)
Jailbreak	40% (2/5)
Obfuscation	40% (2/5)
Oracles, Fehlalarme (gutartiger Korpus)	0%

105 Tests, vollständig offline, mit CI über mehrere Node-Versionen. Was zählt: Wenn COAX sagt "Angriff erfolgreich", dann stimmt das, denn ein deterministisches Oracle beweist es, kein vages Urteil.

Verantwortungsvolle Nutzung

COAX ist ein defensives Werkzeug, um Systeme zu testen, die Sie besitzen oder für die Sie ausdrücklich autorisiert sind. Jedes nicht-lokale Ziel erfordert eine ausdrückliche Autorisierung, und das Werkzeug verwendet ausschließlich bekannte und veröffentlichte Techniken, um die Robustheit zu messen. Es synthetisiert keine neuen Exploits. Der Wert liegt in der Messung, nicht im Angriff.

Warum das für Ihr Unternehmen zählt

Wenn Sie überlegen, einen KI-Agenten mit echten Daten und Prozessen in Kontakt zu bringen, ist das die entscheidende Frage: Ist er sicher? COAX ist die Art, wie wir mit Fakten antworten.

• Security-Audit von Agenten vor der Produktion. Wir greifen den Agenten an, wie es ein Gegner tun würde, und übergeben Ihnen einen Bericht mit Schwachstellen, Schweregrad und deren Behebung.
• Solidere Compliance. Prompt Injection und Datenexfiltration sind konkrete Risiken unter DSGVO und AI Act: nachzuweisen, dass Sie sie getestet haben, ist ein Asset, kein Kostenpunkt.
• Vertrauen, das man sich verdient, nicht verspricht. Ein Agent, der ein ernsthaftes Red-Teaming bestanden hat, ist ein Agent, auf dem Sie aufbauen können.

Mehr erfahren

Code, Adapter und Methode sind Open Source (MIT).

Forschung Rayo Consulting · github.com/dylanpatriarchi/coax