QAtration은 당신의 AI 봇에 실제 프롬프트 인젝션 공격을 보내고, 그것이 무엇을 유출했고 무엇을 했는지 쉬운 말로 정리한 보고서를 다른 누군가가 찾아내기 전에 건네줍니다. 실행하는 사람은 당신입니다. 내 컴퓨터나 CI에서, 내가 배포한 시스템을 대상으로. 계정도 필요 없고, 엔드포인트를 넘길 필요도 없으며, 우리 쪽으로는 아무것도 전송되지 않습니다.
당신의 것이 아닌 시스템을 향하게 하지 마십시오. 이 도구는 당신이 지정하는 URL이면 어디로든 실제 공격을 보냅니다(프롬프트 인젝션, 데이터 유출, 도구 오용). 당신 자신의 배포이거나, 소유자가 사전에 서면으로 허가한 배포여야 합니다. 흥미로워 보이는 공개 챗봇이 아닙니다. 어느 업체의 데모도 아닙니다. AUTHORISED-USE.md 문서를 첫 실행 전에 꼭 읽어 보십시오.
우리 자신의 테스트 대상에서 측정한 값이며 추정치가 아닙니다.
qatration init 는 엔드포인트 URL로 설정을 작성하고, 시스템 프롬프트에 붙여 넣을 당신만 아는 비밀을 함께 만듭니다. qatration onboard 는 공격을 하나라도 보내기 전에 평범한 질문 몇 개로 둘 다 확인합니다.
OpenAI 호환 API, Anthropic, Bedrock, Vertex, 그리고 Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress, Copilot Studio로 만든 앱.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
사용자가 입력하거나 문서가 실어 올 수 있는 실제 공격이며, 모든 응답은 결정론적 검사로 채점됩니다. 응답 속의 카나리아, 도구 호출 속의 값. 모델이 다른 모델을 채점하지 않으므로 같은 응답은 언제나 같은 판정을 받습니다.
이 대화는 실제 실행에서 한 글자도 바꾸지 않고 옮긴 것입니다.
채팅 엔드포인트 하나면 충분합니다. 여러 턴에 걸친 것까지 포함해 그대로 테스트할 수 있습니다.
공격자의 텍스트가 봇의 규칙을 덮어씁니다: “네 지시를 무시하고…”.
봇이 API 키, 내부 식별 코드, 또는 다른 고객의 데이터를 드러냅니다.
숨겨둔 지시문이 그대로 유출됩니다: 이후 모든 공격을 위한 지도입니다.
한 턴에 심어둔 규칙이 이후의 모든 답변을 조용히 바꿉니다. 대화가 다시 평범해 보이게 된 뒤로도 한참 동안.
지식 베이스, 도구 정의, 또는 응답 속의 도구 호출. 이 도구와 함께 제공되는 증거로 측정한 결과입니다. 도구 호출을 보고하는 대상에서, 229건의 발견 사항 중 113건은 응답만 읽어서는 전혀 드러나지 않습니다.
에이전트가 되돌릴 수 없는 작업을 하도록 설득당합니다: 삭제, 환불, 메일 발송.
SQL이나 셸 명령이 도구 호출에 몰래 실립니다. 오래된 버그 유형이자 새로운 현관문입니다.
RAG에 악성 문서 하나만 있어도 무해한 질문에 대한 답변이 탈취됩니다.
도구 설명에 숨겨진 한 줄이, 평범한 질문에도 에이전트가 정보를 흘리게 만듭니다. 공격자의 메시지는 필요하지 않습니다.
모든 검사는 그 열 가지 분류 중 하나에 속하며, 수정 보고서는 각 발견 항목 옆에 분류를 표시합니다. 숫자는 그 분류를 찾는 검사의 개수입니다.
모든 대상은 먼저 무해한 실행을 거칩니다. 평범한 질문뿐이고 아무도 공격하지 않습니다. 여기 있는 봇 중 하나에서는 canary_in_tool_call 이 그 평범한 트래픽의 88%에서 발동합니다. 그래서 오직 거기에만 기대는 발견 사항은 집계하지 않고 귀속 불가로 표시됩니다.
공격이 실패하고 그 이유가 응답에 드러나면 보고서는 무엇이 그것을 막았는지 지목합니다. 신원 확인, 콘텐츠 필터, 백엔드의 권한, 또는 출력만 되고 실제로는 실행되지 않은 도구 호출. 마지막 것은 기록상 침해처럼 읽히지만 아무 가치가 없습니다.
봇 하나, 모델 둘, 각각 242건의 공격, 각각 3회 시도. 작은 쪽은 그중 39건에서 무너졌고 큰 쪽은 34건에서 무너졌으며, 그중 28건은 같은 공격이고 그 가운데 25건은 매 시도마다 두 모델을 모두 무너뜨립니다. 이 봇에서 더 큰 모델은 가장자리에서 어떤 공격이 통하는지를 다시 섞었을 뿐입니다. 구멍을 막지는 않습니다.
검사는 68개이며, 그중 65개가 여기에 저장된 7977건의 프로브에서 발동했습니다. 한 번도 발동하지 않은 3개는 커버리지로 세지 않고 선언된 것으로 보고합니다. 아무도 공격하지 않은 트래픽에서 검사는 779번 발동했고, 622건은 봇의 실제 문제, 157건은 오탐이었으며, 두 숫자 모두 공개되어 있습니다.
모든 실행이 보관되므로 각 발견 사항에는 처음 나타난 날짜가 붙습니다. “심각”은 의견입니다. “심각하며 3일부터 미해결”은 팀이 그런 발견 사항에 어떻게 대응하는지에 관한 사실이고, 수정이 일정에 오르게 만드는 것은 바로 그 한 줄입니다.
닫은 뒤에 다시 나타난 발견 사항은 재발로 표시되며, 새로운 것들 옆에 조용히 함께 집계되지는 않습니다. 버티지 못한 수정은 두 대화 중 더 껄끄러운 쪽이고, 둘을 합치면 그것이 가려집니다.
실행이 어떤 공격을 보내지 않았다면, 그 공격은 보고서에 미검사로 기록되며 결코 수정됨으로 기록되지 않습니다. 보내지 않았다는 사실은 깨끗한 결과가 아니며, 이 둘을 뭉개는 보고서는 아무도 들여다보지 않았는데도 취약점이 사라졌다고 말하게 됩니다.
어떤 호출은 우리가 읽을 수 있는 어떤 텍스트에도 나타나지 않는 값을 도구에 넘깁니다. 그런 것들은 따로 나열하고 어떤 로그를 보면 열리는지 알려드립니다. “확인했고 깨끗했다”와 “볼 수 없었다”의 차이는 측정과 약속의 차이이기 때문입니다.
“비밀을 밝히지 말라고 지시했다”는 방어가 아니라 주장입니다. 여기 실린 대상들에서 그 방어는 처음 몇 번의 공격 안에 무너졌습니다. QAtration은 정말로 잘 잠긴 봇에는 이상 없음 판정도 제대로 내립니다. 그래서 깨끗한 결과에 의미가 있습니다. 매번 늑대가 나타났다고 외치는 대신, 당신의 봇을 재는 것입니다.
Apache 2.0. 설치하고, 당신 자신의 배포를 향하게 하고, 증거를 남기세요.