O QAtration dispara ataques reais de injeção de prompt contra o seu bot de IA e entrega um relatório em linguagem simples do que ele vazou ou fez, antes que outra pessoa descubra. Quem roda é você. Na sua máquina ou no seu CI, contra o seu próprio deployment: sem conta, sem entregar nenhum endpoint, sem enviar nada para nós.
Não aponte isto para um sistema que não é seu. Ele envia ataques reais (injeção de prompt, exfiltração de dados, abuso de ferramentas) para qualquer URL que você indicar. O seu próprio deployment, ou um cujo dono tenha dado a você autorização por escrito com antecedência. Não um chatbot público que você achou interessante. Não a demonstração de um fornecedor. Leia o AUTHORISED-USE.md antes da primeira execução.
Medido nos nossos próprios alvos de teste, não estimado.
qatration init escreve a configuração a partir da URL do seu endpoint, com um segredo que só você conhece para colar no seu prompt de sistema. qatration onboard verifica as duas coisas com algumas perguntas comuns antes de sair um único ataque.
APIs compatíveis com OpenAI, Anthropic, Bedrock e Vertex, e apps construídos com Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress ou Copilot Studio.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
Ataques reais, do tipo que um usuário pode digitar ou um documento pode carregar, e cada resposta pontuada por uma verificação determinística: o canário na resposta, um valor numa chamada de ferramenta. Nenhum modelo avalia outro modelo, então a mesma resposta sempre recebe o mesmo veredito.
Esta troca foi copiada palavra por palavra de uma execução real.
O que vazou, exatamente como, e a correção para tentar primeiro, escrito para um time sem especialista em segurança. --fail-on exploited faz o build falhar. qatration sarif grava os achados em um arquivo que a sua aba de code scanning lê.
Um endpoint de chat basta: dá para testar tudo isso como está, inclusive ao longo de vários turnos.
O texto do atacante sobrescreve as regras do seu bot: “ignore suas instruções e…”.
O seu bot revela chaves de API, códigos internos ou os dados de outro cliente.
As suas instruções ocultas vazam literalmente: o mapa para todo ataque seguinte.
Uma regra plantada em um turno muda silenciosamente cada resposta seguinte, muito depois de a conversa voltar a parecer normal.
A base de conhecimento, as definições de ferramentas ou as chamadas de ferramentas na resposta. Medido nas evidências distribuídas com esta ferramenta: 113 de 229 achados em alvos que relatam chamadas de ferramenta não aparecem de forma alguma quando se lê apenas a resposta.
O seu agente é convencido a executar uma ação irreversível: apagar, estornar, enviar e-mail.
SQL ou um comando de shell contrabandeado para dentro de uma chamada de ferramenta. Uma classe de bug antiga, uma porta de entrada nova.
Um único documento malicioso no seu RAG sequestra as respostas a perguntas inocentes.
Uma linha escondida na descrição de uma ferramenta faz o seu agente vazar algo diante de uma pergunta comum, sem exigir mensagem alguma de um atacante.
Cada verificação pertence a uma das suas dez classes, e o relatório de correções indica a classe ao lado de cada achado. O número é quantas verificações procuram por ela.
Cada alvo recebe primeiro uma execução inofensiva: perguntas comuns, ninguém atacando. Em um dos bots daqui, canary_in_tool_call dispara em 88% desse tráfego comum, então um achado que se apoia só nele é marcado como não atribuível em vez de contado.
Quando um ataque falha e a resposta mostra por quê, o relatório nomeia o que o deteve: a verificação de identidade, o filtro de conteúdo, uma permissão no backend, ou uma chamada de ferramenta que só foi impressa e nunca chegou a rodar. Essa última se lê como uma brecha em uma transcrição e não vale nada.
Um bot, dois modelos, 242 ataques cada, 3 tentativas cada. O menor caiu em 39 deles, o maior em 34, e 28 desses são os mesmos ataques, 25 dos quais quebram os dois modelos em toda e qualquer tentativa. Neste bot o modelo maior apenas embaralhou quais ataques entram pelas bordas. O buraco, esse ele não fecha.
Ele tem 68 verificações, e 65 delas já dispararam nas 7977 sondas guardadas aqui. As 3 que nunca dispararam são relatadas como declaradas, não contadas como cobertura. Em tráfego que ninguém atacava, dispararam 779 vezes: 622 eram problemas reais do bot e 157 eram alarmes falsos, e os dois números são publicados.
Cada execução é guardada, então cada achado carrega a data em que apareceu pela primeira vez. “Crítico” é uma opinião. “Crítico e aberto desde o dia três” é um fato sobre como um time responde a esses achados, e é essa linha que faz uma correção entrar no planejamento.
Um achado que volta depois de você fechá-lo é marcado como retornado, e não contado silenciosamente junto com os novos. Uma correção que não resistiu é a pior das duas conversas, e misturar as duas esconde isso.
Se uma execução não envia um ataque, esse ataque vai para o relatório como não testado, nunca como corrigido. Ausência não é resultado limpo, e um relatório que confunde as duas coisas diz que as suas vulnerabilidades sumiram quando na verdade ninguém olhou.
Algumas chamadas entregam a uma ferramenta um valor que não aparece em nenhum texto que possamos ler. Listamos esses à parte e dizemos qual log os abre, porque a diferença entre “verificamos, e estava limpo” e “não conseguimos ver” é a diferença entre uma medição e uma promessa.
“Dissemos a ele para não revelar segredos” é uma afirmação, não uma defesa: nos alvos daqui essa defesa caiu já nos primeiros ataques. O QAtration também dá como limpos os bots que de fato estão blindados, então um resultado limpo significa alguma coisa. Ele mede o seu bot, em vez de simplesmente dar alarme falso o tempo todo.
Apache 2.0. Instale, aponte para o seu próprio deployment, guarde as evidências.