QAtration envoie de véritables attaques par injection de prompt à votre bot IA et vous remet un rapport en langage clair de ce qu'il a divulgué ou fait, avant que quelqu'un d'autre ne le trouve. C'est vous qui l'exécutez. Sur votre machine ou dans votre CI, contre votre propre déploiement : aucun compte, aucun endpoint à nous confier, rien ne nous est envoyé.
Ne dirigez pas cet outil vers un système qui ne vous appartient pas. Il envoie de véritables attaques (injection de prompt, exfiltration de données, abus d'outils) vers l'URL que vous lui donnez. Votre propre déploiement, ou un déploiement dont le propriétaire vous a donné une autorisation écrite au préalable. Pas un chatbot public que vous trouvez intéressant. Pas la démo d'un éditeur. Lisez AUTHORISED-USE.md avant la première exécution.
Mesuré sur nos propres cibles de test, non extrapolé.
qatration init écrit la configuration à partir de l'URL de votre endpoint, avec un secret que personne d'autre ne connaît à coller dans votre prompt système. qatration onboard vérifie les deux avec quelques questions ordinaires avant qu'une seule attaque parte.
Les API compatibles OpenAI, Anthropic, Bedrock et Vertex, et les applications construites avec Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress ou Copilot Studio.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
De vraies attaques, celles qu'un utilisateur peut taper ou qu'un document peut transporter, et chaque réponse notée par une vérification déterministe : le canari dans la réponse, une valeur dans un appel d'outil. Aucun modèle n'en note un autre, donc la même réponse obtient toujours le même verdict.
Cet échange est copié mot pour mot d'une exécution réelle.
Ce qui a été divulgué, comment exactement, et le correctif à essayer en premier, le tout rédigé pour une équipe sans expert en sécurité. --fail-on exploited fait échouer un build. qatration sarif écrit les constats dans un fichier que lit votre onglet code scanning.
Un endpoint de discussion suffit : cela se teste tel quel, y compris sur plusieurs tours de conversation.
Le texte de l'attaquant prend le pas sur les règles de votre bot : « ignore tes instructions et… ».
Votre bot révèle des clés d'API, des codes internes ou les données d'un autre client.
Vos instructions cachées fuitent mot pour mot : la carte de toutes les attaques suivantes.
Une règle glissée au cours d'un échange modifie silencieusement chaque réponse ultérieure, longtemps après que la conversation a repris un air normal.
La base de connaissances, les définitions d'outils ou les appels d'outils dans la réponse. Mesuré sur les preuves livrées avec cet outil : 113 constats sur 229, sur des cibles qui rapportent leurs appels d'outils, n'apparaissent pas du tout si l'on ne lit que la réponse.
Votre agent est convaincu d'effectuer une action irréversible : supprimer, rembourser, envoyer un e-mail.
Du SQL ou une commande shell glissés dans un appel d'outil. Une vieille classe de bugs, une nouvelle porte d'entrée.
Un seul document malveillant dans votre RAG détourne les réponses à des questions anodines.
Une ligne cachée dans la description d'un outil amène votre agent à divulguer des données alors qu'on lui pose une question ordinaire, sans aucun message d'attaquant.
Chaque vérification appartient à l'une de ses dix classes, et le rapport de correctifs indique la classe à côté de chaque constat. Le nombre indique combien de vérifications la recherchent.
Chaque cible reçoit d'abord une exécution inoffensive : des questions ordinaires, personne n'attaque. Sur l'un des bots présentés ici, canary_in_tool_call se déclenche sur 88 % de ce trafic ordinaire, si bien qu'un constat qui repose sur lui seul est marqué comme non attribuable au lieu d'être compté.
Quand une attaque échoue et que la réponse montre pourquoi, le rapport nomme ce qui l'a arrêtée : le contrôle d'identité, le filtre de contenu, une permission côté serveur, ou un appel d'outil seulement affiché et jamais réellement exécuté. Ce dernier ressemble à une brèche dans une transcription et ne vaut rien.
Un bot, deux modèles, 242 attaques chacun, 3 essais chacune. Le plus petit a cédé sur 39 d'entre elles, le plus grand sur 34, et 28 de celles-là sont les mêmes attaques, dont 25 ont fait céder les deux modèles à chaque essai. Sur ce bot, le modèle le plus grand a changé, à la marge, quelles attaques passent. Il ne referme pas le trou.
Il a 68 contrôles, et 65 d'entre eux se sont déclenchés sur les 7977 sondes stockées ici. Les 3 qui ne l'ont jamais fait sont signalés comme déclarés, pas comptés comme couverture. Sur du trafic que personne n'attaquait, ils se sont déclenchés 779 fois : 622 étaient de vrais problèmes du bot et 157 de fausses alertes, et les deux chiffres sont publiés.
Chaque exécution est conservée, si bien que chaque constat porte la date de sa première apparition. « Critique » est une opinion. « Critique et ouvert depuis le trois » est un fait sur la manière dont une équipe réagit à ces constats, et c'est cette ligne qui fait planifier un correctif.
Un constat qui revient après que vous l'avez clos est signalé comme réapparu, et non compté discrètement parmi les nouveaux. Un correctif qui n'a pas tenu est la plus désagréable des deux conversations, et les mélanger la dissimule.
Si une attaque n'est pas envoyée lors d'une exécution, elle figure au rapport comme non testée, jamais comme corrigée. L'absence n'est pas un résultat propre, et un rapport qui confond les deux vous annonce que vos vulnérabilités ont disparu alors que personne n'a regardé.
Certains appels remettent à un outil une valeur qui n'apparaît dans aucun texte que nous puissions lire. Nous les listons à part et vous indiquons quel journal les ouvre, car la différence entre « nous avons vérifié et c'était propre » et « nous n'avons pas pu voir » est la différence entre une mesure et une promesse.
« Nous lui avons dit de ne pas révéler de secrets » est une affirmation, pas une défense : sur les cibles présentées ici, elle est tombée dès les premières attaques. QAtration déclare également propres les bots réellement verrouillés, si bien qu'un résultat propre signifie vraiment quelque chose. Il mesure votre bot au lieu de crier au loup à chaque fois.
Apache 2.0. Installez-le, dirigez-le vers votre propre déploiement, gardez les preuves.