QAtration надсилає справжні prompt-injection атаки на вашого ШІ-бота і віддає звіт звичайною мовою про те, що той злив або зробив, раніше ніж це знайде хтось інший. Запускаєте ви. На своїй машині або у своєму CI, проти свого деплою: без акаунта, без переданого ендпоінта, нам не надсилається нічого.
Не спрямовуйте цей інструмент на систему, якою ви не володієте. Він надсилає справжні атаки (prompt injection, викрадення даних, зловживання інструментами) на будь-який URL, який ви йому дасте. Ваш власний деплой або той, власник якого дав вам письмовий дозвіл заздалегідь. Не публічний чат-бот, який здався вам цікавим. Не демо вендора. Прочитайте AUTHORISED-USE.md перед першим запуском.
Виміряно на наших власних тестових цілях, а не спрогнозовано.
qatration init пише конфіг за URL вашого ендпоінта і дає секрет, який знаєте лише ви: його треба вставити в системний промпт. qatration onboard перевіряє і те, і те кількома звичайними питаннями, перш ніж піде хоч одна атака.
API, сумісні з OpenAI, Anthropic, Bedrock і Vertex, а також застосунки на Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress чи Copilot Studio.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
Справжні атаки, такі, які може набрати користувач або принести документ, а кожну відповідь оцінює детермінована перевірка: канарка у відповіді, значення у виклику інструмента. Жодна модель не оцінює іншу модель, тож та сама відповідь завжди отримує той самий вердикт.
Цей обмін скопійовано зі справжнього прогону, слово в слово.
Що злилося, як саме, і яке виправлення спробувати першим, написане для команди без експерта з безпеки. --fail-on exploited валить білд, qatration sarif записує знахідки у файл, який читає вкладка code scanning.
Досить чат-ендпоінта: це тестується як є, зокрема й у кількох ходах розмови.
Текст зловмисника перекриває правила вашого бота: «ігноруй свої інструкції і…».
Ваш бот віддає API-ключі, внутрішні коди або дані іншого клієнта.
Ваші приховані інструкції витікають дослівно: карта для кожної наступної атаки.
Правило, підкинуте в одному ході, тихо змінює кожну наступну відповідь, ще довго після того, як розмова знову здається нормальною.
База знань, визначення інструментів або виклики інструментів у відповіді. Виміряно на доказах, що йдуть у комплекті з цим інструментом: 113 зі 229 знахідок на цілях, які звітують про виклики інструментів, не видно взагалі, якщо читати саму лише відповідь.
Вашого агента вмовляють на незворотну дію: видалити, повернути гроші, надіслати лист.
SQL або shell-команда, протягнута у виклик інструмента. Старий клас помилок, нові вхідні двері.
Один шкідливий документ у вашому RAG перехоплює відповіді на безневинні питання.
Прихований рядок в описі інструмента змушує вашого агента злити секрет на звичайне питання, і повідомлення від зловмисника для цього не потрібне.
Кожна перевірка належить до одного з його десяти класів, а звіт із виправленнями називає клас біля кожної знахідки. Число показує, скільки перевірок його шукають.
Кожна ціль спершу отримує нешкідливий прогін: звичайні питання, ніхто не атакує. На одному з наших тестових ботів canary_in_tool_call спрацьовує на 88% того звичайного трафіку, тож знахідка, яка тримається лише на ньому, позначається як неатрибутована, а не зарахована.
Коли атака не проходить і відповідь показує чому, звіт називає те, що її спинило: перевірку особи, фільтр вмісту, дозвіл на бекенді або виклик інструмента, який лише надрукували і насправді не виконали. Останнє в транскрипті читається як злам і не варте нічого.
Один бот, дві моделі, по 242 атаки кожна, по 3 спроби. Менша зламалася на 39 з них, більша на 34, і 28 з них — це ті самі атаки, 25 з яких ламають обидві моделі на кожній спробі. На цьому боті більша модель лише перетасувала, які атаки заходять по краях. Дірку вона не закриває.
У нього 68 перевірок, і 65 з них спрацьовували на 7977 пробах, що зберігаються тут. Ті 3, що не спрацювали жодного разу, позначено як задекларовані, а не враховано як покриття. На трафіку, який ніхто не атакував, вони спрацювали 779 разів: 622 були справжніми проблемами бота, а 157 хибними тривогами, і обидва числа опубліковано.
Кожен прогін зберігається, тож кожна знахідка має дату, коли з’явилася вперше. «Критично» — це думка. «Критично і відкрито з третього числа» — це факт про те, як команда реагує на такі знахідки, і саме цей рядок ставить виправлення в план.
Знахідка, яка повертається після того, як ви її закрили, позначається як повернена, а не тихо рахується поруч із новими. Виправлення, яке не вистояло, — це гірша з двох розмов, і якщо їх змішати, це зникає з очей.
Якщо прогін не надсилає атаку, ця атака потрапляє у звіт як неперевірена, а не як виправлена. Відсутність — це не чистий результат, і звіт, який змішує ці дві речі, каже вам, що ваші вразливості зникли, хоча насправді ніхто не дивився.
Деякі виклики передають інструменту значення, яке не з’являється в жодному тексті, який ми можемо прочитати. Ми виносимо їх окремо і кажемо, який лог їх відкриває, бо різниця між «ми перевірили, і було чисто» і «ми не змогли побачити» — це різниця між вимірюванням і обіцянкою.
«Ми сказали йому не розкривати секрети» — це твердження, а не захист: на наших тестових цілях такий захист падав у межах перших кількох атак. QAtration так само визнає чистими ботів, які справді закриті, тож чистий результат щось та й означає. Він міряє вашого бота, а не просто щоразу б’є на сполох.
Apache 2.0. Встановіть, наведіть на свій деплой, збережіть докази.