QAtration posílá skutečné útoky typu prompt injection na tvého AI bota a předá ti srozumitelnou zprávu o tom, co vyzradil nebo udělal, dřív než to najde někdo jiný. Spouštíš to ty. Na svém stroji nebo ve své CI, proti svému vlastnímu nasazení: žádný účet, žádný předávaný endpoint, nám se neposílá nic.
Nemiř tímhle nástrojem na systém, který ti nepatří. Posílá skutečné útoky (prompt injection, odčerpání dat, zneužití nástrojů) na jakoukoli adresu, kterou mu zadáš. Tvoje vlastní nasazení, nebo takové, jehož vlastník ti předem dal písemný souhlas. Ne veřejný chatbot, který ti přišel zajímavý. Ani ukázka nějakého dodavatele. Přečti si AUTHORISED-USE.md před prvním spuštěním.
Změřeno na našich vlastních testovacích cílech, ne odhadnuto.
qatration init zapíše konfiguraci podle URL vašeho endpointu, spolu s tajemstvím, které znáte jen vy a vložíte ho do systémového promptu. qatration onboard obojí ověří několika běžnými otázkami dřív, než odejde jediný útok.
API kompatibilní s OpenAI, Anthropic, Bedrock a Vertex a aplikace postavené na Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress nebo Copilot Studio.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
Skutečné útoky, takové, jaké může napsat uživatel nebo přinést dokument, a každá odpověď ohodnocená deterministickou kontrolou: kanárek v odpovědi, hodnota ve volání nástroje. Žádný model nehodnotí jiný model, takže stejná odpověď dostane vždy stejný verdikt.
Tato výměna je zkopírovaná ze skutečného běhu, slovo od slova.
Co uniklo, jak přesně, a oprava, kterou zkusit jako první, napsané pro tým bez bezpečnostního experta. --fail-on exploited shodí build. qatration sarif zapíše zjištění do souboru, který čte tvoje záložka code scanning.
Stačí chatovací endpoint: tohle se dá testovat tak, jak to je, včetně věcí napříč několika tahy rozhovoru.
Text útočníka přebije pravidla tvého bota: „ignoruj své instrukce a…“.
Tvůj bot vyzradí API klíče, interní kódy nebo data jiného zákazníka.
Tvoje skryté instrukce uniknou doslova: mapa pro každý další útok.
Pravidlo podstrčené v jednom tahu potichu mění každou další odpověď, dlouho poté, co rozhovor zase vypadá normálně.
Znalostní báze, definice nástrojů nebo volání nástrojů v odpovědi. Změřeno na dokladech, které se distribuují s tímto nástrojem: 113 ze 229 zjištění na cílech, které hlásí volání nástrojů, se vůbec neobjeví, když se čte jen odpověď.
Tvůj agent se nechá přesvědčit k nevratné akci: smazat, vrátit peníze, poslat e-mail.
SQL nebo příkaz shellu propašovaný do volání nástroje. Stará třída chyb, nové vstupní dveře.
Jediný škodlivý dokument v tvém RAG unese odpovědi na neškodné otázky.
Skrytý řádek v popisu nástroje způsobí, že tvůj agent něco vyzradí na úplně obyčejnou otázku, a žádná zpráva od útočníka k tomu není potřeba.
Každá kontrola patří do jedné z jeho deseti tříd a report s opravami uvádí třídu u každého nálezu. Číslo říká, kolik kontrol ji hledá.
Každý cíl nejdřív projde neškodným během: obyčejné otázky, nikdo neútočí. Na jednom ze zdejších botů canary_in_tool_call se spouští na 88 % toho běžného provozu, takže zjištění, které se opírá jen o něj, se označí jako nepřiřaditelné, místo aby se započítalo.
Když útok selže a odpověď ukáže proč, zpráva pojmenuje, co ho zastavilo: ověření identity, obsahový filtr, oprávnění na backendu, nebo volání nástroje, které se jen vypsalo a nikdy se doopravdy neprovedlo. To poslední se v přepisu čte jako průlom a nemá žádnou cenu.
Jeden bot, dva modely, po 242 útocích, po 3 pokusech. Menší praskl na 39 z nich, větší na 34, a 28 z toho jsou tytéž útoky, z nichž 25 láme oba modely při každém jednotlivém pokusu. U tohohle bota větší model jen přemíchal, které útoky projdou na okrajích. Díru nezavře.
Má 68 kontrol a 65 z nich se spustilo na 7977 sondách, které jsou tu uložené. Ty 3, které se nespustily nikdy, jsou vykázané jako deklarované, ne započítané jako pokrytí. Na provozu, na který nikdo neútočil, se spustily 779krát: 622 byly skutečné problémy bota a 157 byly falešné poplachy, a obě čísla jsou zveřejněná.
Každý běh se uchovává, takže každé zjištění nese datum, kdy se objevilo poprvé. „Kritické“ je názor. „Kritické a otevřené od třetího“ je fakt o tom, jak tým na taková zjištění reaguje, a je to právě ten řádek, který dostane opravu do plánu.
Zjištění, které se vrátí po zavření, se označí jako vrácené a nezapočítá se potichu mezi nová. Oprava, která nevydržela, je horší z těch dvou rozhovorů, a slít je dohromady to schová.
Pokud běh nějaký útok nepošle, ten útok je ve zprávě jako neotestovaný, nikdy jako opravený. Nepřítomnost není čistý výsledek a zpráva, která mezi těmi dvěma smaže rozdíl, ti řekne, že tvoje zranitelnosti zmizely, přitom se nikdo nedíval.
Některá volání předávají nástroji hodnotu, která se neobjeví v žádném textu, který dokážeme přečíst. Ta vypisujeme zvlášť a řekneme ti, který log je otevře, protože rozdíl mezi „zkontrolovali jsme to a bylo to čisté“ a „nemohli jsme to vidět“ je rozdíl mezi měřením a slibem.
„Řekli jsme mu, ať nevyzrazuje tajemství“ je tvrzení, ne obrana: na zdejších cílech padlo to hned při prvních útocích. QAtration stejně tak prohlásí za čisté i boty, kteří jsou opravdu zamčení, takže čistý výsledek něco znamená. Měří tvého bota, místo aby pokaždé jen křičel, že jde vlk.
Apache 2.0. Nainstaluj to, namiř to na své vlastní nasazení, důkazy si nech.