QAtration wysyła prawdziwe ataki prompt injection na twojego bota AI i zwykłym językiem raportuje, co ujawnił albo zrobił, zanim znajdzie to ktoś inny. Uruchamiasz to ty. Na twojej maszynie albo w twoim CI, przeciwko twojemu wdrożeniu: bez konta, bez przekazywania endpointu, nic nie jest wysyłane do nas.
Nie kieruj tego na system, który nie należy do ciebie. Wysyła prawdziwe ataki (prompt injection, eksfiltracja danych, nadużycie narzędzi) na dowolny URL, który mu podasz. Twoje własne wdrożenie albo takie, którego właściciel z góry dał ci pisemną zgodę. Nie publiczny chatbot, który wydał ci się ciekawy. Nie demo dostawcy. Przeczytaj AUTHORISED-USE.md przed pierwszym uruchomieniem.
Zmierzone na naszych własnych celach testowych, nie oszacowane.
qatration init zapisuje konfigurację na podstawie URL twojego endpointu, z sekretem, który znasz tylko ty i wklejasz do promptu systemowego. qatration onboard sprawdza jedno i drugie kilkoma zwykłymi pytaniami, zanim wyjdzie choćby jeden atak.
API zgodne z OpenAI, Anthropic, Bedrock i Vertex oraz aplikacje zbudowane na Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress lub Copilot Studio.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
Prawdziwe ataki, takie, jakie użytkownik może wpisać albo dokument może przynieść, a każda odpowiedź oceniona deterministyczną kontrolą: kanarek w odpowiedzi, wartość w wywołaniu narzędzia. Żaden model nie ocenia innego modelu, więc ta sama odpowiedź zawsze dostaje ten sam werdykt.
Ta wymiana jest skopiowana słowo w słowo z prawdziwego przebiegu.
Co wyciekło, dokładnie jak i poprawka, którą warto wypróbować najpierw, napisane dla zespołu bez eksperta od bezpieczeństwa. --fail-on exploited przerywa build. qatration sarif zapisuje ustalenia do pliku, który czyta twoja zakładka code scanning.
Wystarczy endpoint czatu: to testuje się tak jak jest, również w kilku turach rozmowy.
Tekst atakującego nadpisuje reguły twojego bota: „zignoruj swoje instrukcje i…”.
Twój bot ujawnia klucze API, wewnętrzne kody albo dane innego klienta.
Twoje ukryte instrukcje wyciekają dosłownie: mapa dla każdego kolejnego ataku.
Reguła podłożona w jednej turze po cichu zmienia każdą kolejną odpowiedź, długo po tym, jak rozmowa znów zaczęła wyglądać normalnie.
Baza wiedzy, definicje narzędzi albo wywołania narzędzi w odpowiedzi. Zmierzone na dowodach dostarczanych z tym narzędziem: 113 ze 229 ustaleń na celach, które raportują wywołania narzędzi, nie pojawia się w ogóle, gdy czyta się samą odpowiedź.
Twój agent zostaje namówiony na nieodwracalne działanie: usunięcie danych, zwrot pieniędzy, wysłanie maila.
SQL albo polecenie powłoki przemycone do wywołania narzędzia. Stara klasa błędów, nowe drzwi wejściowe.
Jeden złośliwy dokument w twoim RAG przejmuje odpowiedzi na niewinne pytania.
Ukryta linijka w opisie narzędzia sprawia, że twój agent ujawnia coś przy zwykłym pytaniu, bez żadnej wiadomości od atakującego.
Każda kontrola należy do jednej z jego dziesięciu klas, a raport z poprawkami podaje klasę przy każdym znalezisku. Liczba mówi, ile kontroli jej szuka.
Każdy cel dostaje najpierw nieszkodliwy przebieg: zwykłe pytania, nikt nie atakuje. Na jednym z tutejszych botów canary_in_tool_call odpala się przy 88% tego zwykłego ruchu, więc ustalenie, które opiera się wyłącznie na nim, jest oznaczane jako nieprzypisywalne, a nie liczone.
Kiedy atak zawodzi, a odpowiedź pokazuje dlaczego, raport nazywa to, co go zatrzymało: sprawdzenie tożsamości, filtr treści, uprawnienie po stronie backendu albo wywołanie narzędzia, które tylko wypisano i nigdy naprawdę nie wykonano. To ostatnie czyta się w transkrypcji jak wyłom i jest nic niewarte.
Jeden bot, dwa modele, po 242 ataki każdy, po 3 próby. Mniejszy pękł na 39 z nich, większy na 34, a 28 z nich to te same ataki, z czego 25 łamie oba modele przy każdej pojedynczej próbie. Na tym bocie większy model jedynie przetasował, które ataki wchodzą na obrzeżach. Dziury nie zamyka.
Ma 68 kontroli, a 65 z nich zadziałały na 7977 próbach zapisanych tutaj. 3, które nigdy nie zadziałały, są zgłaszane jako zadeklarowane, a nie liczone jako pokrycie. Na ruchu, którego nikt nie atakował, zadziałały 779 razy: 622 były prawdziwymi problemami bota, a 157 fałszywymi alarmami, i obie liczby są publikowane.
Każdy przebieg jest zachowywany, więc każde ustalenie ma datę pierwszego pojawienia się. „Krytyczne” to opinia. „Krytyczne i otwarte od trzeciego” to fakt o tym, jak zespół reaguje na takie ustalenia, i to właśnie ta linijka sprawia, że poprawka trafia do planu.
Ustalenie, które wraca po zamknięciu, jest oznaczane jako nawrót, a nie po cichu liczone razem z nowymi. Poprawka, która się nie utrzymała, to gorsza z tych dwóch rozmów, a wrzucenie ich do jednego worka to ukrywa.
Jeśli przebieg nie wysyła ataku, ten atak trafia do raportu jako nieprzetestowany, nigdy jako naprawiony. Brak testu to nie czysty wynik, a raport, który zaciera tę różnicę, mówi ci, że twoje podatności zniknęły, choć naprawdę nikt nie patrzył.
Niektóre wywołania podają narzędziu wartość, która nie pojawia się w żadnym tekście, jaki możemy przeczytać. Wypisujemy je osobno i mówimy, który log je otwiera, bo różnica między „sprawdziliśmy i było czysto” a „nie mogliśmy zobaczyć” to różnica między pomiarem a obietnicą.
„Powiedzieliśmy mu, żeby nie ujawniał sekretów” to twierdzenie, a nie obrona: na tutejszych celach taka obrona padała w ciągu pierwszych kilku ataków. QAtration uznaje też za czyste te boty, które naprawdę są dobrze zabezpieczone, więc czysty wynik coś znaczy. Mierzy twojego bota, zamiast po prostu ciągle podnosić fałszywy alarm.
Apache 2.0. Zainstaluj, skieruj na swoje własne wdrożenie, zachowaj dowody.