QAtration yapay zekâ botunuza gerçek prompt injection saldırıları gönderir ve botunuzun neleri sızdırdığını, neler yaptığını sade bir dille anlatan bir raporu, başkası bulmadan önce size verir. Çalıştıran sizsiniz. Kendi makinenizde ya da CI'nızda, kendi kurulumunuza karşı: hesap yok, teslim edilen bir uç nokta yok, bize hiçbir şey gönderilmiyor.
Bunu size ait olmayan bir sisteme yöneltmeyin. Verdiğiniz her URL'ye gerçek saldırılar gönderir (prompt injection, veri sızdırma, araç kötüye kullanımı). Kendi dağıtımınız ya da sahibinin size önceden yazılı izin verdiği bir dağıtım olmalı. İlginç bulduğunuz herkese açık bir sohbet botu değil. Bir satıcının demosu da değil. AUTHORISED-USE.md dosyasını okuyun ilk çalıştırmadan önce.
Kendi test hedeflerimizde ölçüldü, tahmin edilmedi.
qatration init uç noktanızın URL'sinden yapılandırmayı yazar ve sistem isteminize yapıştıracağınız, yalnızca sizin bildiğiniz bir sır üretir. qatration onboard tek bir saldırı gitmeden önce ikisini de birkaç sıradan soruyla kontrol eder.
OpenAI uyumlu API'ler, Anthropic, Bedrock ve Vertex ile Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress veya Copilot Studio üzerine kurulmuş uygulamalar.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
Bir kullanıcının yazabileceği ya da bir belgenin taşıyabileceği türden gerçek saldırılar ve her yanıt deterministik bir kontrolle puanlanır: yanıttaki kanarya, bir araç çağrısındaki değer. Hiçbir model başka bir modeli puanlamaz, bu yüzden aynı yanıt her zaman aynı kararı alır.
Bu konuşma gerçek bir çalıştırmadan kelimesi kelimesine kopyalandı.
Neyin sızdığı, tam olarak nasıl sızdığı ve önce denenecek düzeltme, güvenlik uzmanı olmayan bir ekip için yazıldı. --fail-on exploited bir derlemeyi başarısız kılar. qatration sarif bulguları code scanning sekmenizin okuduğu bir dosyaya yazar.
Bir sohbet uç noktası yeterli: bunlar olduğu gibi test edilebilir, birden çok konuşma turu boyunca olanlar dahil.
Saldırganın yazdığı metin, botunuzun kurallarını geçersiz kılar: “talimatlarını yok say ve…”.
Botunuz API anahtarlarını, dahili kodları ya da başka bir müşterinin verilerini açık eder.
Gizli talimatlarınız kelimesi kelimesine sızar: sonraki her saldırı için bir harita.
Bir turda yerleştirilen bir kural, sonraki her yanıtı sessizce değiştirir, konuşma yeniden normal göründükten çok sonra bile.
Bilgi tabanı, araç tanımları ya da yanıttaki araç çağrıları. Bu araçla birlikte dağıtılan kanıtlar üzerinde ölçüldü: araç çağrılarını bildiren hedeflerde 229 bulgunun 113'i, yalnızca yanıt okunduğunda hiç görünmüyor.
Ajanınız geri alınamaz bir eyleme ikna edilir: silme, para iadesi, e-posta gönderme.
Bir araç çağrısının içine sokuşturulmuş SQL ya da kabuk komutu. Eski bir hata sınıfı, yeni bir ön kapı.
RAG'inizdeki tek bir kötü niyetli belge, masum sorulara verilen yanıtları ele geçirir.
Bir aracın açıklamasındaki gizli bir satır, ajanınızın sıradan bir soruda bir şeyler sızdırmasına yol açar. Saldırgandan hiçbir mesaj gerekmez.
Her kontrol bu listenin on sınıfından birine aittir ve düzeltme raporu her bulgunun yanında sınıfını belirtir. Sayı, o sınıfı arayan kontrol sayısıdır.
Her hedef önce zararsız bir çalıştırmadan geçer: sıradan sorular, saldıran kimse yok. Buradaki botlardan birinde canary_in_tool_call o sıradan trafiğin %88'inde tetikleniyor, bu yüzden yalnızca ona dayanan bir bulgu sayılmak yerine atfedilemez olarak işaretleniyor.
Bir saldırı başarısız olduğunda ve yanıt nedenini gösterdiğinde, rapor onu neyin durdurduğunu adıyla söyler: kimlik denetimi, içerik filtresi, arka uçtaki bir yetki ya da yalnızca yazdırılmış olup hiç çalıştırılmamış bir araç çağrısı. Sonuncusu bir dökümde ihlal gibi okunur ve hiçbir değeri yoktur.
Bir bot, iki model, her modele 242 saldırı, her saldırıya 3 deneme. Küçük olan bunların 39'unda kırıldı, büyük olan 34'ünde ve bunların 28'i aynı saldırılar, 25'i her tek denemede iki modeli birden kırıyor. Bu botta daha büyük model yalnızca, kenarlarda hangi saldırıların geçtiğini yeniden karıştırdı. Deliği kapatmaz.
68 denetimi var ve bunların 65'ü burada saklanan 7977 yoklamada tetiklendi. Hiç tetiklenmemiş 3'ü kapsama sayılmıyor, beyan edilmiş olarak raporlanıyor. Kimsenin saldırmadığı trafikte 779 kez tetiklendiler: 622'si botun gerçek sorunlarıydı, 157'si yanlış alarmdı ve iki sayı da yayımlanıyor.
Her çalıştırma saklanır, bu yüzden her bulgu ilk göründüğü tarihi taşır. “Kritik” bir görüştür. “Kritik ve ayının üçünden beri açık” ise bir ekibin böyle bulgulara nasıl yanıt verdiğine dair bir olgudur ve bir düzeltmenin plana girmesini sağlayan tam da o satırdır.
Kapattıktan sonra geri gelen bir bulgu, yenilerin yanında sessizce sayılmak yerine yeniden ortaya çıktı olarak işaretlenir. Dayanmayan bir düzeltme iki konuşmanın daha kötü olanıdır ve ikisini karıştırmak bunu gizler.
Bir çalıştırma bir saldırıyı göndermediyse, o saldırı raporda test edilmedi olarak yer alır, asla düzeltildi olarak değil. Yokluk temiz bir sonuç değildir ve ikisini birbirine karıştıran bir rapor, kimse bakmamışken açıklarınızın kaybolduğunu söyler.
Bazı çağrılar bir araca, okuyabildiğimiz hiçbir metinde geçmeyen bir değer verir. Bunları ayrı listeler ve hangi günlüğün onları açtığını söyleriz, çünkü “baktık ve temizdi” ile “göremedik” arasındaki fark, bir ölçüm ile bir vaat arasındaki farktır.
“Ona sırları açıklamamasını söyledik” bir iddiadır, savunma değil: buradaki hedeflerde ilk birkaç saldırı içinde düştü. QAtration gerçekten sıkı kapatılmış botları da temiz sayar, bu yüzden temiz bir sonuç gerçekten bir şey ifade eder. Durmadan boş alarm vermek yerine botunuzu ölçer.
Apache 2.0. Kurun, kendi dağıtımınıza yöneltin, kanıtları saklayın.