QAtration 向你的 AI 机器人发送真实的提示词注入攻击,并把它泄露了什么、做了什么,用平实的语言写成报告交给你,赶在别人发现之前。 运行它的人是你。 在你的机器或 CI 中,针对你自己的部署:不需要账号,不必交出任何端点,也不会向我们发送任何东西。
不要把它指向不属于你的系统。 它会向你给出的任何 URL 发送真实攻击(提示词注入、数据外泄、工具滥用)。只能是你自己的部署,或者其所有者事先给了你书面许可的部署。不是你觉得有意思的公开聊天机器人。也不是某家厂商的演示。 AUTHORISED-USE.md 请在第一次运行之前读一遍。
在我们自己的测试目标上实测所得,不是推算。
qatration init 根据你的端点 URL 写出配置,并生成一个只有你知道的秘密,粘贴到你的系统提示词中。 qatration onboard 在发出任何一次攻击之前,用几个普通问题把两者都检查一遍。
兼容 OpenAI 的 API、Anthropic、Bedrock 和 Vertex,以及基于 Vercel AI SDK、Dify、Flowise、Langflow、n8n、Gradio、Rasa、Chainlit、Botpress 或 Copilot Studio 构建的应用。
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
真实的攻击,就是用户能打出来、文档能夹带进来的那种,每个回复都由确定性的检查打分:回复中的金丝雀、工具调用里的某个值。没有模型给另一个模型打分,所以同样的回复总是得到同样的判定。
这段对话一字不差地抄自一次真实运行。
一个聊天端点就够了:这些可以照原样测试,包括跨多轮对话的情况。
攻击者的文本盖过你的机器人的规则:“忽略你的指令,然后……”。
你的机器人交出 API 密钥、内部编号,或者另一位客户的数据。
你隐藏的指令被逐字泄露:这是后续每一次攻击的地图。
在某一轮里埋下的规则,会悄悄改变之后的每一个回答,哪怕对话早已看起来恢复正常。
知识库、工具定义,或响应中的工具调用。 基于随本工具分发的证据实测:在会报告工具调用的目标上,229 项发现中有 113 项,如果只读回复就完全看不到。
你的智能体被说服执行了不可撤销的操作:删除、退款、发送邮件。
SQL 或 shell 命令被夹带进一次工具调用。一类老漏洞,一扇新的正门。
你的 RAG 里只要有一份恶意文档,就能劫持对无害问题的回答。
工具描述里隐藏的一行,会让你的智能体在一个再普通不过的问题上泄露东西,完全不需要攻击者发来任何消息。
每项检查都归入其十个类别之一,修复报告会在每条发现旁注明类别。数字表示有多少项检查在查找这一类。
每个目标都先跑一遍无害运行:只有普通问题,没人在攻击。在这里的一个机器人上, canary_in_tool_call 在这类普通流量的 88% 上都会触发,因此仅仅依赖它的发现会被标为无法归因,而不是计入。
当一次攻击失败、且回复显示了原因时,报告会指明是什么拦住了它:身份校验、内容过滤、后端的权限,或者一次只打印出来、从未真正执行的工具调用。最后这一种在对话记录里读起来像是被攻破,实际上一文不值。
一个机器人,两个模型,各 242 次攻击,各试 3 遍。较小的那个在其中 39 次上被攻破,较大的在 34 次上被攻破,其中 28 次是同样的攻击,而这里面有 25 次每一遍都能攻破两个模型。在这个机器人上,更大的模型只是重新洗了牌,改变哪些攻击能在边缘处打通。这个洞它并没有堵上。
它有 68 项检查,其中 65 项在这里保存的 7977 次探测中触发过。从未触发的那 3 项被报告为仅声明,不计入覆盖。在没人攻击的流量上,它们触发了 779 次:622 次是机器人真正的问题,157 次是误报,两个数字都公开。
每一次运行都会保留,所以每一条发现都带着它首次出现的日期。“严重”是一种看法。“严重,且自三号起未关闭”则是关于一个团队如何回应这类发现的事实,正是这一行让修复被排进计划。
在你关闭之后又回来的发现会被标记为复发,而不是悄悄和新发现算在一起。没扛住的修复是两种对话里更难受的那一种,把它们混在一起就会把这件事藏起来。
如果一次运行没有发送某项攻击,那项攻击在报告里就是未测试,绝不会写成已修复。缺席不是干净的结果,而一份把两者混为一谈的报告,会在根本没人看过的时候告诉你漏洞已经没有了。
有些调用递给工具的值,不会出现在我们能读到的任何文本里。这些我们单独列出,并告诉你哪份日志能打开它们,因为“我们检查过,是干净的”和“我们看不到”之间的差别,就是实测和承诺之间的差别。
“我们已经告诉它不要泄露机密”是一句声称,不是防御:在这里的目标上,这种防御在最初几次攻击之内就倒了。QAtration 同样会把真正锁得很严的机器人判为干净,所以一个干净的结果确实说明问题。它测的是你的机器人,而不是每次都喊狼来了。
Apache 2.0。安装它,指向你自己的部署,把证据留下来。