QAtration lancia veri attacchi di prompt injection contro il tuo bot IA e ti consegna un rapporto in parole semplici di ciò che ha lasciato trapelare o fatto, prima che lo trovi qualcun altro. Lo esegui tu. Sulla tua macchina o nella tua CI, contro il tuo deployment: nessun account, nessun endpoint da consegnare, niente che venga inviato a noi.
Non puntare questo strumento su un sistema che non è tuo. Invia attacchi veri (prompt injection, esfiltrazione di dati, abuso di tool) a qualunque URL tu gli indichi. Il tuo deployment, oppure uno il cui proprietario ti ha dato un permesso scritto in anticipo. Non un chatbot pubblico che ti sembra interessante. Non la demo di un fornitore. Leggi AUTHORISED-USE.md prima della prima esecuzione.
Misurato sui nostri obiettivi di test, non estrapolato.
qatration init scrive la configurazione dall'URL del tuo endpoint, con un segreto che conosci solo tu da incollare nel tuo prompt di sistema. qatration onboard controlla entrambi con alcune domande normali prima che parta un solo attacco.
API compatibili con OpenAI, Anthropic, Bedrock e Vertex, e app costruite con Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress o Copilot Studio.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
Attacchi reali, quelli che un utente può scrivere o un documento può portare con sé, e ogni risposta valutata da un controllo deterministico: il canarino nella risposta, un valore in una chiamata a uno strumento. Nessun modello giudica un altro modello, quindi la stessa risposta ottiene sempre lo stesso verdetto.
Questo scambio è copiato parola per parola da un'esecuzione reale.
Che cosa è trapelato, come esattamente, e la correzione da provare per prima, scritto per una squadra senza un esperto di sicurezza. --fail-on exploited fa fallire una build. qatration sarif scrive i riscontri in un file che la tua scheda code scanning legge.
Basta un endpoint di chat: questo si può testare così com'è, anche nell'arco di più turni.
Il testo dell'attaccante prevale sulle regole del tuo bot: «ignora le tue istruzioni e…».
Il tuo bot rivela chiavi API, codici interni o i dati di un altro cliente.
Le tue istruzioni nascoste trapelano alla lettera: la mappa per ogni attacco successivo.
Una regola piantata in un turno cambia in silenzio ogni risposta successiva, molto dopo che la conversazione è tornata a sembrare normale.
La knowledge base, le definizioni degli strumenti o le chiamate agli strumenti nella risposta. Misurato sulle prove distribuite con questo strumento: 113 dei 229 riscontri su obiettivi che riportano le chiamate ai tool non compaiono affatto se si legge soltanto la risposta.
Il tuo agente viene convinto a compiere un'azione irreversibile: cancellare, rimborsare, inviare una email.
SQL o un comando di shell infilati dentro una chiamata a tool. Una vecchia classe di bug, una porta d'ingresso nuova.
Un solo documento malevolo nel tuo RAG dirotta le risposte a domande innocue.
Una riga nascosta nella descrizione di un tool fa sì che il tuo agente riveli qualcosa a fronte di una domanda ordinaria, senza alcun messaggio da parte di un attaccante.
Ogni controllo appartiene a una delle sue dieci classi, e il report delle correzioni indica la classe accanto a ogni risultato. Il numero dice quanti controlli la cercano.
Ogni obiettivo riceve prima un'esecuzione innocua: domande ordinarie, nessuno che attacchi. Su uno dei bot qui presenti, canary_in_tool_call scatta sull'88% di quel traffico ordinario, quindi un riscontro che si appoggia soltanto a esso viene contrassegnato come non attribuibile invece che conteggiato.
Quando un attacco fallisce e la risposta mostra perché, il rapporto dice che cosa lo ha fermato: il controllo dell'identità, il filtro dei contenuti, un permesso sul backend, oppure una chiamata a strumento soltanto stampata e mai realmente eseguita. Quest'ultima, in una trascrizione, sembra una violazione e non vale nulla.
Un bot, due modelli, 242 attacchi ciascuno, 3 tentativi ciascuno. Il più piccolo ha ceduto su 39 di essi, il più grande su 34, e 28 di quelli sono gli stessi attacchi, 25 dei quali fanno cedere entrambi i modelli a ogni singolo tentativo. Su questo bot il modello più grande ha rimescolato quali attacchi passano ai margini. Il buco non lo chiude.
Ha 68 controlli, e 65 di essi sono scattati sulle 7977 sonde salvate qui. I 3 che non lo hanno mai fatto sono riportati come dichiarati, non contati come copertura. Su traffico che nessuno attaccava sono scattati 779 volte: 622 erano problemi reali del bot e 157 falsi allarmi, ed entrambi i numeri sono pubblicati.
Ogni esecuzione viene conservata, quindi ogni riscontro porta la data in cui è comparso la prima volta. «Critico» è un'opinione. «Critico e aperto dal giorno tre» è un fatto su come una squadra risponde a riscontri del genere, ed è quella riga a far entrare una correzione nella pianificazione.
Un riscontro che ritorna dopo che l'hai chiuso viene segnalato come ritornato, e non conteggiato in silenzio insieme a quelli nuovi. Una correzione che non ha retto è la peggiore delle due conversazioni, e mescolarle la nasconde.
Se un'esecuzione non invia un attacco, quell'attacco finisce nel rapporto come non testato, mai come corretto. L'assenza non è un risultato pulito, e un rapporto che confonde le due cose ti dice che le tue vulnerabilità sono sparite quando in realtà nessuno ha guardato.
Alcune chiamate consegnano a un tool un valore che non compare in nessun testo che possiamo leggere. Quelli li elenchiamo a parte e ti diciamo quale log li apre, perché la differenza tra «abbiamo controllato ed era pulito» e «non siamo riusciti a vedere» è la differenza tra una misura e una promessa.
«Gli abbiamo detto di non rivelare segreti» è un'affermazione, non una difesa: sugli obiettivi qui presenti è caduta già ai primi attacchi. QAtration dichiara puliti anche i bot davvero blindati, quindi un risultato pulito significa davvero qualcosa. Misura il tuo bot, invece di gridare al lupo ogni volta.
Apache 2.0. Installalo, puntalo sul tuo deployment, conserva le prove.