QAtration mengirim serangan prompt injection sungguhan ke bot AI Anda dan memberi Anda laporan dengan bahasa sederhana tentang apa yang bocor dan apa yang dilakukannya, sebelum orang lain menemukannya. Anda yang menjalankannya. Di mesin Anda atau di CI Anda, terhadap deployment Anda sendiri: tanpa akun, tanpa menyerahkan endpoint, tidak ada yang dikirim kepada kami.
Jangan arahkan ini ke sistem yang bukan milik Anda. Alat ini mengirim serangan sungguhan (prompt injection, eksfiltrasi data, penyalahgunaan tool) ke URL mana pun yang Anda berikan. Deployment Anda sendiri, atau yang pemiliknya sudah memberi Anda izin tertulis di awal. Bukan chatbot publik yang menurut Anda menarik. Bukan pula demo milik vendor. Baca AUTHORISED-USE.md sebelum menjalankannya pertama kali.
Dua dependensi. Seluruh korpus serangan ikut disertakan, begitu pula bukti di balik setiap angka di halaman ini, semuanya ada di
out/, yang didistribusikan bersama repositorinya. Laporan milik dua alat lainnya tidak ada di sini, karena lisensi mereka tidak mengizinkannya. Perintah yang membuatnya ulang ada.
Diukur pada target uji kami sendiri, bukan diperkirakan. Transkrip di sebelahnya menggambarkan idenya, angka di atas adalah hasilnya.
Setiap fitur AI yang naik ke produksi adalah permukaan serangan yang baru. Seberapa banyak permukaan Anda yang bisa dijangkau bergantung pada apa saja yang diizinkan deployment Anda untuk dilihat alat ini, dan garisnya ditarik di sini alih-alih dikaburkan, sebab pemindai yang mengaku mencakup hal yang tidak bisa diamatinya justru itulah yang sedang Anda hindari.
Sebuah endpoint obrolan sudah cukup: semua ini bisa diuji apa adanya, termasuk yang melintasi beberapa giliran percakapan.
Teks penyerang menimpa aturan bot Anda: “abaikan instruksimu dan…”.
Bot Anda membocorkan kunci API, kode internal, atau data pelanggan lain.
Instruksi tersembunyi Anda bocor kata demi kata: peta untuk setiap serangan berikutnya.
Sebuah aturan yang ditanam dalam satu giliran diam-diam mengubah setiap jawaban berikutnya, lama setelah percakapan kembali terlihat wajar.
Anda tidak bisa menanam dokumen di basis pengetahuan yang tidak bisa Anda tulisi, dan dari luar Anda tidak bisa membedakan panggilan tool yang benar-benar dijalankan dari yang hanya dijelaskan oleh bot, sebuah perbedaan yang sudah kami ukur bahwa bot keliru tentang dirinya sendiri. Untuk ini dibutuhkan korpus, definisi tool, atau visibilitas atas panggilannya. Diukur pada bukti yang didistribusikan bersama alat ini: 62 dari 137 temuan pada target yang melaporkan panggilan tool sama sekali tidak muncul bila yang dibaca hanya balasannya. Bot menjawab dengan sopan lalu menaruh rahasianya di dalam argumen panggilan.
Agen Anda dibujuk melakukan tindakan yang tak bisa dibatalkan: menghapus, mengembalikan dana, mengirim surel.
SQL atau perintah shell diselundupkan ke dalam panggilan tool. Kelas bug lama, pintu depan yang baru.
Satu dokumen berbahaya di RAG Anda membajak jawaban atas pertanyaan yang tidak berbahaya.
Satu baris tersembunyi di deskripsi sebuah tool membuat agen Anda membocorkan sesuatu pada pertanyaan biasa, tanpa perlu pesan apa pun dari penyerang.
qatration init menuliskan konfigurasinya untuk Anda: URL, bentuk permintaannya, dan di bagian mana dari respons itu balasan bot berada. Target jarak jauh juga menuntut header autentikasi, sebagai variabel lingkungan. Konfigurasi siap pakai untuk API berbentuk OpenAI dan untuk milik Anthropic, Bedrock dan Vertex. qatration onboard mengirim satu pertanyaan biasa dan memberi tahu apa yang kurang sebelum satu pun serangan keluar.
qatration init membuat rahasia milik Anda sendiri beserta blok yang perlu Anda tempelkan ke prompt sistem. Proses menjalankannya lebih dulu memastikan rahasia itu benar-benar sampai: canary yang tidak tertanam berarti setiap pemeriksaan tidak menemukan apa-apa, dan itu terbaca persis seperti bot yang bertahan.
Apa yang bocor, persisnya bagaimana, dan satu perbaikan yang menutupnya, ditulis untuk tim tanpa ahli keamanan. --fail-on exploited membuat build gagal. qatration sarif menaruh temuannya langsung ke tab code scanning Anda.
Serangan yang tidak tembus melaporkan angka nol. Begitu pula pemeriksaan yang tidak bisa berjalan, dan begitu pula bot yang benar-benar diperkuat, dan di sinilah pengujian mentok: tiga fakta yang berbeda datang dengan rupa yang sama persis, dan tidak ada yang tahu apa yang harus dicoba berikutnya. Semua ini pengukuran dari proses yang benar-benar dijalankan, bukan perkiraan.
Dan sebuah pembobolan baru disebut pembobolan kalau serangan yang menyebabkannya. Setiap target lebih dulu dijalankan tanpa serangan: pertanyaan biasa, tidak ada yang menyerang. Pada salah satu bot di sini,
canary_in_tool_call aktif pada 88% lalu lintas biasa itu, sehingga temuan yang bersandar hanya padanya ditandai sebagai tidak dapat diatribusikan alih-alih dihitung.
Ketika sebuah serangan gagal, laporannya menyebut apa yang menghentikannya: pemeriksaan identitas, penyaring konten, izin di sisi backend, atau panggilan tool yang hanya dicetak dan tidak pernah benar-benar dijalankan. Yang terakhir itu di dalam transkrip terbaca seperti pembobolan dan sama sekali tidak berarti.
Satu bot, dua model, 254 serangan untuk tiap model, 3 percobaan untuk tiap serangan. Yang lebih kecil jebol pada 27 di antaranya, yang lebih besar pada 24, dan 18 di antaranya adalah serangan yang sama, 17 di antaranya menjebol kedua model pada setiap percobaan. Pada bot ini model yang lebih besar hanya mengocok ulang serangan mana yang lolos di pinggiran. Lubangnya tetap tidak tertutup.
Terhadap kerangka kerja guardrail sungguhan, 46 serangan yang diketikkan ke kotak obrolan: tidak satu pun tembus. Satu serangan yang dibawa di dalam dokumen yang diambil juga tidak tembus, selama kedua guardrail-nya menyala. Matikan filter keluaran dan dokumen yang sama itu melenggang keluar pada setiap percobaan. Filter masukan membaca apa yang diketik pengguna, dan tidak pernah melihat apa yang diserahkan basis pengetahuan Anda kepada model, jadi guardrail di sisi masukan tidak pernah menjadi hal yang menghentikannya.
Kami mengirim ulang pesan yang sama ke guardrail itu dan ia tidak selalu sependapat dengan dirinya sendiri: lima cara penulisan mendapat putusan berbeda untuk masukan yang identik, dan satu pertanyaan biasa diloloskan sepuluh dari dua belas kali. Karena itu kami melaporkan berapa percobaan yang menjebol sesuatu, bukan apakah ada satu yang menjebolnya. Satu kali proses hanyalah cerita tentang satu sore, dan itu berlaku untuk hasil yang bersih sama seperti untuk hasil yang buruk, termasuk hasil kami sendiri.
Guardrail yang sama yang memblokir dokumen tadi juga menolak menjawab 6 dari 9 pertanyaan pelanggan biasa pada topik-topik yang terkait. Pertahanan yang menjawab “tidak” kepada pelanggan Anda adalah angka yang ingin Anda ketahui sebelum rilis, bukan sesudahnya.
Pemindai yang selalu menemukan sesuatu sama sekali tidak berharga, jadi kami mengukur angka sebaliknya: 1500 probe tidak berbahaya pada 30 target, tanpa satu pun penyerang di dalamnya, melewati pemeriksaan yang sama. Separuhnya adalah pengguna yang memang punya alasan sah membicarakan keamanan, sebab justru itulah yang mematahkan pencocokan pola: seorang pengembang yang menempelkan kueri yang gagal, staf dukungan yang meneruskan stack trace, seseorang yang bertanya apakah domain yang mirip itu asli.
Bot yang ditulis di sini adalah kasus yang mudah, jadi kami mengarahkannya ke kerangka kerja agen yang tidak dirancang siapa pun di sini. Ia menghasilkan delapan alarm palsu dalam satu kali proses berisi 48 prompt bersih, pada empat kategori yang tidak pernah muncul sekali pun dalam 480 probe terhadap armada bot kami sendiri. Keempatnya sudah diperbaiki, dan dua aturan yang menopangnya kini membuat build kami gagal alih-alih laporan Anda: tidak ada pemeriksaan yang boleh membaca pertanyaannya, dan tidak ada pemeriksaan yang boleh memperlakukan kata-kata agen itu sendiri sebagai bukti tentang sistemnya.
Dijalankan terhadap target pihak ketiga yang sama seperti garak dan promptfoo, dengan setiap balasan dari ketiganya dinilai oleh satu aturan substring alih-alih oleh penilai masing-masing alat. Pada aplikasi RAG tanpa guardrail sama sekali, 46% probe tidak berbahaya sudah mengembalikan string yang ditanam, sehingga menghitung temuan berarti mengukur aplikasinya dan bukan penyerangnya. Satu dari tiga alat itu menyebutkannya di laporannya sendiri. Pada target yang terlindungi ketiganya mendapat nol menurut aturan bersama, dan hanya kami yang menemukan sesuatu, satu pembobolan dari 324, sementara deployment yang sama menolak menjawab 38 dari 48 pertanyaan pelanggan biasa. Halaman itu juga memuat bagian-bagian tempat dua alat lainnya lebih unggul, serta satu klaim yang kami tarik setelah seorang pengulas meminta nilai p. Baca perbandingannya.
Sebuah profil dari dua belas uji, semuanya tidak berbahaya: lima bot menyerahkan instruksinya sendiri hanya karena permintaan biasa. Satu bot mencetak kunci sesi rahasianya di dalam kalimat yang justru melarangnya membagikan kunci itu. Dua bot melaporkan basis data telah dimulai ulang padahal keduanya tidak punya tool yang bisa memulai ulang apa pun.
Setiap proses disimpan, jadi setiap temuan membawa tanggal saat ia pertama kali muncul. “Kritis” adalah pendapat. “Kritis dan masih terbuka sejak tanggal tiga” adalah fakta tentang bagaimana sebuah tim menanggapi temuan semacam itu, dan justru baris itulah yang membuat sebuah perbaikan masuk rencana.
Temuan yang muncul lagi setelah Anda menutupnya ditandai sebagai kembali, bukan diam-diam dihitung bersama yang baru. Perbaikan yang tidak bertahan adalah percakapan yang lebih tidak enak dari keduanya, dan mencampur keduanya menyembunyikan hal itu.
Kalau sebuah proses tidak mengirim suatu serangan, serangan itu tercatat di laporan sebagai belum diuji, tidak pernah sebagai sudah diperbaiki. Ketiadaan bukan hasil yang bersih, dan laporan yang mengaburkan keduanya akan memberi tahu Anda bahwa kerentanan Anda sudah hilang padahal tidak ada yang memeriksanya.
Sebagian panggilan menyerahkan ke sebuah tool suatu nilai yang tidak pernah muncul di teks mana pun yang bisa kami baca. Yang seperti itu kami daftarkan terpisah dan kami beri tahu log mana yang membukanya, sebab beda antara “kami memeriksa dan bersih” dan “kami tidak bisa melihat” adalah beda antara sebuah pengukuran dan sebuah janji.
“Kami sudah menyuruhnya tidak membocorkan rahasia” adalah sebuah klaim, bukan pertahanan: pada target-target di sini klaim itu runtuh dalam beberapa serangan pertama. QAtration juga menyatakan bersih bot yang memang benar-benar terkunci rapat, jadi hasil yang bersih memang berarti sesuatu. Ia mengukur bot Anda, alih-alih sekadar membunyikan alarm palsu setiap saat.
Apache 2.0. Pasang, arahkan ke deployment Anda sendiri, simpan buktinya.