QAtration lanza ataques reales de inyección de prompts contra tu bot de IA y te entrega un informe en lenguaje claro de lo que filtró o hizo, antes de que lo encuentre otro. Lo ejecutas tú. En tu máquina o en tu CI, contra tu propio despliegue: sin cuenta, sin entregar ningún endpoint, sin enviarnos nada.
No apuntes esto a un sistema que no sea tuyo. Envía ataques reales (inyección de prompts, exfiltración de datos, abuso de herramientas) a la URL que le des. Tu propio despliegue, o uno cuyo dueño te haya dado permiso por escrito de antemano. No un chatbot público que te parezca interesante. No la demo de un proveedor. Lee AUTHORISED-USE.md antes de la primera ejecución.
Medido en nuestros propios objetivos de prueba, no proyectado.
qatration init escribe la configuración a partir de la URL de tu endpoint, con un secreto que solo tú conoces para pegar en tu prompt de sistema. qatration onboard comprueba ambas cosas con unas pocas preguntas normales antes de que salga un solo ataque.
APIs compatibles con OpenAI, Anthropic, Bedrock y Vertex, y aplicaciones hechas con Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress o Copilot Studio.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
Ataques reales, de los que un usuario puede escribir o un documento puede traer, y cada respuesta puntuada por una comprobación determinista: el canario en la respuesta, un valor en una llamada a herramienta. Ningún modelo califica a otro modelo, así que la misma respuesta recibe siempre el mismo veredicto.
Este intercambio está copiado de una ejecución real, palabra por palabra.
Qué se filtró, cómo exactamente, y la corrección que conviene probar primero, escrito para un equipo sin experto en seguridad. --fail-on exploited hace fallar una build. qatration sarif escribe los hallazgos en un archivo que lee tu pestaña de code scanning.
Basta un endpoint de chat: esto se puede probar tal cual, incluso a lo largo de varios turnos.
El texto del atacante anula las reglas de tu bot: «ignora tus instrucciones y…».
Tu bot revela claves de API, códigos internos o los datos de otro cliente.
Tus instrucciones ocultas se filtran literalmente: el mapa para cada ataque posterior.
Una regla colocada en un turno cambia en silencio cada respuesta posterior, mucho después de que la conversación vuelva a parecer normal.
La base de conocimiento, las definiciones de herramientas o las llamadas a herramientas en la respuesta. Medido con las evidencias que se distribuyen con esta herramienta: 113 de 229 hallazgos en objetivos que informan de llamadas a herramientas no aparecen en absoluto si solo se lee la respuesta.
A tu agente lo convencen de ejecutar una acción irreversible: borrar, reembolsar, enviar un correo.
SQL o un comando de shell colado en una llamada a herramienta. Una clase de fallo vieja, una puerta de entrada nueva.
Un solo documento malicioso en tu RAG secuestra las respuestas a preguntas inocentes.
Una línea oculta en la descripción de una herramienta hace que tu agente filtre algo ante una pregunta corriente, sin necesidad de ningún mensaje del atacante.
Cada comprobación pertenece a una de sus diez clases, y el informe de correcciones indica la clase junto a cada hallazgo. El número es cuántas comprobaciones la buscan.
Cada objetivo recibe primero una ejecución inofensiva: preguntas corrientes, nadie atacando. En uno de los bots de aquí, canary_in_tool_call se dispara en el 88% de ese tráfico corriente, así que un hallazgo que se apoye solo en él se marca como no atribuible en lugar de contarse.
Cuando un ataque falla y la respuesta muestra por qué, el informe nombra lo que lo detuvo: la comprobación de identidad, el filtro de contenido, un permiso del backend, o una llamada a herramienta que solo se imprimió y nunca llegó a ejecutarse. En una transcripción, esa última parece una brecha y no vale nada.
Un bot, dos modelos, 242 ataques cada uno, 3 intentos cada uno. El pequeño cayó en 39 de ellos, el grande en 34, y 28 de esos son los mismos ataques, 25 de los cuales rompen ambos modelos en todos y cada uno de los intentos. En este bot el modelo más grande solo reordenó, en los márgenes, qué ataques entran. El agujero no lo cierra.
Tiene 68 comprobaciones, y 65 de ellas han saltado en las 7977 sondas guardadas aquí. Las 3 que nunca lo han hecho se informan como declaradas, no se cuentan como cobertura. En tráfico que nadie atacaba saltaron 779 veces: 622 eran problemas reales del bot y 157 eran falsas alarmas, y ambas cifras se publican.
Cada ejecución se conserva, así que cada hallazgo lleva la fecha en que apareció por primera vez. «Crítico» es una opinión. «Crítico y abierto desde el día tres» es un hecho sobre cómo responde un equipo a esos hallazgos, y es esa línea la que consigue que se planifique una corrección.
Un hallazgo que vuelve después de que lo cerraras se marca como reaparecido, y no se cuenta en silencio junto a los nuevos. Una corrección que no aguantó es la peor de las dos conversaciones, y mezclarlas la esconde.
Si una ejecución no envía un ataque, ese ataque figura en el informe como no probado, nunca como corregido. La ausencia no es un resultado limpio, y un informe que confunde ambas cosas te dice que tus vulnerabilidades desaparecieron cuando en realidad nadie miró.
Algunas llamadas pasan a una herramienta un valor que no aparece en ningún texto que podamos leer. Las listamos aparte y te decimos qué registro las abre, porque la diferencia entre «comprobamos y estaba limpio» y «no pudimos verlo» es la diferencia entre una medición y una promesa.
«Le dijimos que no revelara secretos» es una afirmación, no una defensa: en los objetivos de aquí cayó en los primeros ataques. QAtration también da por limpios a los bots que de verdad están blindados, así que un resultado limpio sí significa algo. Mide tu bot, en lugar de gritar «¡que viene el lobo!» cada vez.
Apache 2.0. Instálalo, apúntalo a tu propio despliegue, guarda las evidencias.