QAtration mengirim serangan prompt injection sungguhan ke bot AI Anda dan memberi Anda laporan dengan bahasa sederhana tentang apa yang bocor dan apa yang dilakukannya, sebelum orang lain menemukannya. Anda yang menjalankannya. Di mesin Anda atau di CI Anda, terhadap deployment Anda sendiri: tanpa akun, tanpa menyerahkan endpoint, tidak ada yang dikirim kepada kami.
Jangan arahkan ini ke sistem yang bukan milik Anda. Alat ini mengirim serangan sungguhan (prompt injection, eksfiltrasi data, penyalahgunaan tool) ke URL mana pun yang Anda berikan. Deployment Anda sendiri, atau yang pemiliknya sudah memberi Anda izin tertulis di awal. Bukan chatbot publik yang menurut Anda menarik. Bukan pula demo milik vendor. Baca AUTHORISED-USE.md sebelum menjalankannya pertama kali.
Diukur pada target uji kami sendiri, bukan diperkirakan.
qatration init menulis konfigurasi dari URL endpoint Anda, dengan rahasia yang hanya Anda ketahui untuk ditempelkan ke system prompt Anda. qatration onboard memeriksa keduanya dengan beberapa pertanyaan biasa sebelum satu serangan pun dikirim.
API yang kompatibel dengan OpenAI, Anthropic, Bedrock, dan Vertex, serta aplikasi yang dibangun dengan Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress, atau Copilot Studio.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
Serangan sungguhan, jenis yang bisa diketik pengguna atau dibawa sebuah dokumen, dan setiap balasan dinilai oleh pemeriksaan deterministik: canary di dalam balasan, nilai di dalam panggilan alat. Tidak ada model yang menilai model lain, jadi balasan yang sama selalu mendapat putusan yang sama.
Percakapan ini disalin kata demi kata dari run sungguhan.
Apa yang bocor, persisnya bagaimana, dan perbaikan yang perlu dicoba lebih dulu, ditulis untuk tim tanpa ahli keamanan. --fail-on exploited membuat build gagal. qatration sarif menulis temuannya ke berkas yang dibaca tab code scanning Anda.
Sebuah endpoint obrolan sudah cukup: semua ini bisa diuji apa adanya, termasuk yang melintasi beberapa giliran percakapan.
Teks penyerang menimpa aturan bot Anda: “abaikan instruksimu dan…”.
Bot Anda membocorkan kunci API, kode internal, atau data pelanggan lain.
Instruksi tersembunyi Anda bocor kata demi kata: peta untuk setiap serangan berikutnya.
Sebuah aturan yang ditanam dalam satu giliran diam-diam mengubah setiap jawaban berikutnya, lama setelah percakapan kembali terlihat wajar.
Basis pengetahuan, definisi alat, atau panggilan alat di dalam respons. Diukur pada bukti yang didistribusikan bersama alat ini: 113 dari 229 temuan pada target yang melaporkan panggilan tool sama sekali tidak muncul bila yang dibaca hanya balasannya.
Agen Anda dibujuk melakukan tindakan yang tak bisa dibatalkan: menghapus, mengembalikan dana, mengirim surel.
SQL atau perintah shell diselundupkan ke dalam panggilan tool. Kelas bug lama, pintu depan yang baru.
Satu dokumen berbahaya di RAG Anda membajak jawaban atas pertanyaan yang tidak berbahaya.
Satu baris tersembunyi di deskripsi sebuah tool membuat agen Anda membocorkan sesuatu pada pertanyaan biasa, tanpa perlu pesan apa pun dari penyerang.
Setiap pemeriksaan termasuk salah satu dari sepuluh kelasnya, dan laporan perbaikan menyebut kelasnya di samping setiap temuan. Angkanya adalah jumlah pemeriksaan yang mencarinya.
Setiap target lebih dulu dijalankan tanpa serangan: pertanyaan biasa, tidak ada yang menyerang. Pada salah satu bot di sini, canary_in_tool_call aktif pada 88% lalu lintas biasa itu, sehingga temuan yang bersandar hanya padanya ditandai sebagai tidak dapat diatribusikan alih-alih dihitung.
Ketika sebuah serangan gagal dan balasannya menunjukkan sebabnya, laporannya menyebut apa yang menghentikannya: pemeriksaan identitas, penyaring konten, izin di sisi backend, atau panggilan tool yang hanya dicetak dan tidak pernah benar-benar dijalankan. Yang terakhir itu di dalam transkrip terbaca seperti pembobolan dan sama sekali tidak berarti.
Satu bot, dua model, 242 serangan untuk tiap model, 3 percobaan untuk tiap serangan. Yang lebih kecil jebol pada 39 di antaranya, yang lebih besar pada 34, dan 28 di antaranya adalah serangan yang sama, 25 di antaranya menjebol kedua model pada setiap percobaan. Pada bot ini model yang lebih besar hanya mengocok ulang serangan mana yang lolos di pinggiran. Lubangnya tetap tidak tertutup.
Alat ini punya 68 pemeriksaan, dan 65 di antaranya pernah menyala pada 7977 uji yang tersimpan di sini. 3 yang belum pernah menyala dilaporkan sebagai dideklarasikan, tidak dihitung sebagai cakupan. Pada lalu lintas yang tidak diserang siapa pun, pemeriksaan itu menyala 779 kali: 622 adalah masalah nyata pada bot dan 157 adalah alarm palsu, dan kedua angka itu dipublikasikan.
Setiap proses disimpan, jadi setiap temuan membawa tanggal saat ia pertama kali muncul. “Kritis” adalah pendapat. “Kritis dan masih terbuka sejak tanggal tiga” adalah fakta tentang bagaimana sebuah tim menanggapi temuan semacam itu, dan justru baris itulah yang membuat sebuah perbaikan masuk rencana.
Temuan yang muncul lagi setelah Anda menutupnya ditandai sebagai kembali, bukan diam-diam dihitung bersama yang baru. Perbaikan yang tidak bertahan adalah percakapan yang lebih tidak enak dari keduanya, dan mencampur keduanya menyembunyikan hal itu.
Kalau sebuah proses tidak mengirim suatu serangan, serangan itu tercatat di laporan sebagai belum diuji, tidak pernah sebagai sudah diperbaiki. Ketiadaan bukan hasil yang bersih, dan laporan yang mengaburkan keduanya akan memberi tahu Anda bahwa kerentanan Anda sudah hilang padahal tidak ada yang memeriksanya.
Sebagian panggilan menyerahkan ke sebuah tool suatu nilai yang tidak pernah muncul di teks mana pun yang bisa kami baca. Yang seperti itu kami daftarkan terpisah dan kami beri tahu log mana yang membukanya, sebab beda antara “kami memeriksa dan bersih” dan “kami tidak bisa melihat” adalah beda antara sebuah pengukuran dan sebuah janji.
“Kami sudah menyuruhnya tidak membocorkan rahasia” adalah sebuah klaim, bukan pertahanan: pada target-target di sini klaim itu runtuh dalam beberapa serangan pertama. QAtration juga menyatakan bersih bot yang memang benar-benar terkunci rapat, jadi hasil yang bersih memang berarti sesuatu. Ia mengukur bot Anda, alih-alih sekadar membunyikan alarm palsu setiap saat.
Apache 2.0. Pasang, arahkan ke deployment Anda sendiri, simpan buktinya.