COAX: red-teaming automatico per agenti AI
COAX attacca un agente AI come farebbe un attaccante (prompt injection indiretta, abuso di tool, esfiltrazione dati, attacchi adattivi multi-turn) e verifica con oracoli deterministici quando un attacco riesce, producendo un report di robustezza mappato su OWASP LLM Top 10. È lo strumento con cui mettiamo alla prova un agente prima di dargli accesso ai tuoi dati e ai tuoi sistemi.
Star on GitHub
Uno strumento difensivo di red-teaming. Attacca un agente AI con le tecniche note degli attaccanti e ti dice, con prove deterministiche, dove è vulnerabile, prima che lo scopra qualcun altro in produzione.
Il problema
Un chatbot che risponde a domande è una cosa. Un agente che legge email, interroga il tuo CRM, chiama tool e prende decisioni è un'altra: ha una superficie d'attacco completamente nuova. Le minacce non sono più solo "far dire parolacce al bot", ma:
- Prompt injection indiretta, cioè istruzioni malevole nascoste in una pagina web, un documento o un'email che l'agente ingerisce;
- Abuso di tool ed eccesso di autonomia: convincere l'agente a chiamare uno strumento che non dovrebbe, con argomenti pericolosi;
- Esfiltrazione di dati: far trapelare un segreto dal system prompt o da un campo "privato".
Sono esattamente le voci della OWASP LLM Top 10. E la maggior parte dei team le scopre in produzione.
Cosa fa COAX
COAX automatizza il lavoro di un attaccante e, punto cruciale, verifica i risultati in modo deterministico, non "a sensazione".
- Attacca attraverso un'unica interfaccia tipizzata, quindi può testare qualsiasi agente (HTTP, API OpenAI-compatibili, agenti web via Playwright, modelli locali via Ollama) senza che il codice degli attacchi sappia quale sta colpendo.
- Oracoli deterministici che dicono con certezza se un attacco è riuscito: un canary (un segreto piantato: se compare nell'output, è trapelato), un tool-trace (uno strumento vietato è stato chiamato?), una policy con giudice LLM e fallback deterministico.
- Attaccante adattivo a ciclo chiuso, con budget e costi limitati, che affina gli attacchi in base alle risposte.
- Report in Markdown e HTML con Attack Success Rate per famiglia, severità, mappatura OWASP, transcript riproducibile e una remediation concreta per ogni attacco riuscito.
I risultati
Contro l'agente-esca deliberatamente vulnerabile il report è netto, e i falsi positivi sono a zero:
| Famiglia di attacco | Attack Success Rate |
|---|---|
| Indirect injection | 100% (20/20) |
| Tool abuse | 100% (4/4) |
| Direct override | 40% (2/5) |
| Jailbreak | 40% (2/5) |
| Obfuscation | 40% (2/5) |
| Oracoli, falsi positivi (corpus benigno) | 0% |
105 test, completamente offline, con CI su più versioni di Node. La cosa che conta: quando COAX dice "attacco riuscito" è vero, perché lo prova un oracolo deterministico e non un giudizio vago.
Uso responsabile
COAX è uno strumento difensivo, per testare sistemi che possiedi o sei autorizzato a testare. Qualsiasi bersaglio non-locale richiede un'autorizzazione esplicita, e lo strumento usa solo famiglie di tecniche note e pubblicate per misurare la robustezza. Non sintetizza nuovi exploit. Il valore è la misura, non l'attacco.
Perché conta per la tua azienda
Se stai pensando di mettere un agente AI a contatto con dati e processi reali, questa è la domanda che conta: è sicuro? COAX è il modo con cui rispondiamo con i fatti.
- Security audit degli agenti prima della produzione. Attacchiamo l'agente come farebbe un avversario e ti consegniamo un report con vulnerabilità, severità e come chiuderle.
- Compliance più solida. Prompt injection ed esfiltrazione dati sono rischi concreti sotto GDPR e AI Act: dimostrare di averli testati è un asset, non un costo.
- Fiducia guadagnata, non promessa. Un agente che ha superato un red-teaming serio è un agente su cui puoi costruire.
Approfondisci
Codice, adapter e metodo sono open source (MIT).
Ricerca Rayo Consulting · github.com/dylanpatriarchi/coax