QAtration yapay zekâ botunuza gerçek prompt injection saldırıları gönderir ve botunuzun neleri sızdırdığını, neler yaptığını sade bir dille anlatan bir raporu, başkası bulmadan önce size verir. Çalıştıran sizsiniz. Kendi makinenizde ya da CI'nızda, kendi kurulumunuza karşı: hesap yok, teslim edilen bir uç nokta yok, bize hiçbir şey gönderilmiyor.
Bunu size ait olmayan bir sisteme yöneltmeyin. Verdiğiniz her URL'ye gerçek saldırılar gönderir (prompt injection, veri sızdırma, araç kötüye kullanımı). Kendi dağıtımınız ya da sahibinin size önceden yazılı izin verdiği bir dağıtım olmalı. İlginç bulduğunuz herkese açık bir sohbet botu değil. Bir satıcının demosu da değil. AUTHORISED-USE.md dosyasını okuyun ilk çalıştırmadan önce.
İki bağımlılık. Saldırı kümesinin tamamı pakete dahildir, bu sayfadaki her sayının arkasındaki kanıtlar da öyle, hepsi de şurada:
out/, depoyla birlikte gelir. Diğer iki aracın kendi raporları burada değil, çünkü lisansları buna izin vermiyor. Onları yeniden üreten komutlar ise burada.
Kendi test hedeflerimizde ölçüldü, tahmin edilmedi. Yandaki döküm fikri gösteriyor, yukarıdaki sayılar ise sonuçlar.
Üretime çıkan her yapay zekâ özelliği yeni bir saldırı yüzeyidir. Sizinkinin ne kadarına ulaşabileceği, dağıtımınızın ona neyi göstermesine izin verdiğine bağlıdır ve sınır burada bulanıklaştırılmak yerine çiziliyor, çünkü gözlemleyemediği şeyi kapsadığını öne süren bir tarayıcı tam da kaçınmaya çalıştığınız şeydir.
Bir sohbet uç noktası yeterli: bunlar olduğu gibi test edilebilir, birden çok konuşma turu boyunca olanlar dahil.
Saldırganın yazdığı metin, botunuzun kurallarını geçersiz kılar: “talimatlarını yok say ve…”.
Botunuz API anahtarlarını, dahili kodları ya da başka bir müşterinin verilerini açık eder.
Gizli talimatlarınız kelimesi kelimesine sızar: sonraki her saldırı için bir harita.
Bir turda yerleştirilen bir kural, sonraki her yanıtı sessizce değiştirir, konuşma yeniden normal göründükten çok sonra bile.
Yazma yetkinizin olmadığı bir bilgi tabanına belge yerleştiremezsiniz ve dışarıdan, gerçekten çalışmış bir araç çağrısını botun yalnızca anlattığı bir çağrıdan ayırt edemezsiniz. Botların bu konuda kendileri hakkında yanıldığını ölçtük. Bunun için külliyat değil, saldırı kümesi, araç tanımları ya da çağrıların görünürlüğü gerekir. Bu araçla birlikte dağıtılan kanıtlar üzerinde ölçüldü: araç çağrılarını bildiren hedeflerde 137 bulgunun 62'i, yalnızca yanıt okunduğunda hiç görünmüyor. Bot kibarca yanıt verir ve sırrı bir çağrı argümanının içine koyar.
Ajanınız geri alınamaz bir eyleme ikna edilir: silme, para iadesi, e-posta gönderme.
Bir araç çağrısının içine sokuşturulmuş SQL ya da kabuk komutu. Eski bir hata sınıfı, yeni bir ön kapı.
RAG'inizdeki tek bir kötü niyetli belge, masum sorulara verilen yanıtları ele geçirir.
Bir aracın açıklamasındaki gizli bir satır, ajanınızın sıradan bir soruda bir şeyler sızdırmasına yol açar. Saldırgandan hiçbir mesaj gerekmez.
qatration init yapılandırmayı sizin yerinize yazar: URL, isteğin biçimi ve yanıtın hangi alanında botun metninin bulunduğu. Uzak bir hedef ayrıca kimlik doğrulama başlığı ister, ortam değişkeni olarak. OpenAI biçimindeki API'ler ile Anthropic, Bedrock ve Vertex API'leri için hazır yapılandırmalar. qatration onboard sıradan bir soru gönderir ve tek bir saldırı bile çıkmadan önce neyin eksik olduğunu söyler.
qatration init size ait bir sır ve sistem promptunuza yapıştıracağınız bloğu üretir. Çalıştırma önce bunun gerçekten yerine ulaştığını doğrular: yerleştirilmemiş bir kanarya, hiçbir denetimin bir şey bulamaması demektir ve bu, tam olarak dayanmış bir bot gibi okunur.
Neyin sızdığı, tam olarak nasıl sızdığı ve bunu kapatan tek düzeltme, güvenlik uzmanı olmayan bir ekip için yazıldı. --fail-on exploited bir derlemeyi başarısız kılar. qatration sarif bulguları doğrudan code scanning sekmenize koyar.
Geçemeyen bir saldırı sıfır bildirir. Çalışamayan bir denetim de öyle, gerçekten sertleştirilmiş bir bot da öyle ve test tam burada tıkanır: üç farklı olgu birbirinin aynısı görünerek gelir ve kimse sırada neyi deneyeceğini bilmez. Bunlar gerçek çalıştırmalardan alınan ölçümlerdir, tahmin değil.
Ve bir ihlal, ancak ona saldırı yol açtıysa ihlaldir. Her hedef önce zararsız bir çalıştırmadan geçer: sıradan sorular, saldıran kimse yok. Buradaki botlardan birinde
canary_in_tool_call o sıradan trafiğin %88'inde tetikleniyor, bu yüzden yalnızca ona dayanan bir bulgu sayılmak yerine atfedilemez olarak işaretleniyor.
Bir saldırı başarısız olduğunda rapor onu neyin durdurduğunu adıyla söyler: kimlik denetimi, içerik filtresi, arka uçtaki bir yetki ya da yalnızca yazdırılmış olup hiç çalıştırılmamış bir araç çağrısı. Sonuncusu bir dökümde ihlal gibi okunur ve hiçbir değeri yoktur.
Bir bot, iki model, her modele 254 saldırı, her saldırıya 3 deneme. Küçük olan bunların 27'inde kırıldı, büyük olan 24'inde ve bunların 18'i aynı saldırılar, 17'si her tek denemede iki modeli birden kırıyor. Bu botta daha büyük model yalnızca, kenarlarda hangi saldırıların geçtiğini yeniden karıştırdı. Deliği kapatmaz.
Gerçek bir guardrail çerçevesine karşı sohbet kutusuna yazılan 46 saldırıdan hiçbiri geçemedi. Getirilen bir belgenin içinde taşınan bir saldırı da, her iki rayı da açıkken geçemedi. Çıktı filtresini kapatın, aynı belge her tek denemede dışarı yürür. Girdi filtreleri kullanıcının yazdığını okur ve bilgi tabanınızın modele verdiğini asla görmez, yani girdi tarafındaki guardrail onu durduran şey hiç olmamıştı.
Aynı mesajları o guardrail'e yeniden gönderdik ve her zaman kendisiyle aynı fikirde olmadı: aynı girdiye karşılık beş farklı ifade farklı kararlar aldı ve sıradan bir soru on iki denemenin onunda geçirildi. Bu yüzden kaç denemenin bir şeyi kırdığını bildiriyoruz, birinin kırıp kırmadığını değil. Tek bir çalıştırma yalnızca bir öğleden sonranın hikâyesidir ve bu, kötü bir sonuç için olduğu kadar temiz bir sonuç için de geçerlidir, bizimki dahil.
O belgeyi engelleyen aynı guardrail, ilgili konulardaki 9 sıradan müşteri sorusundan 6'sını da yanıtlamayı reddetti. Müşterilerinize “hayır” diyen bir savunma, yayına almadan önce bilmek isteyeceğiniz bir sayıdır, sonrasında değil.
Her zaman bir şey bulan bir tarayıcının hiçbir değeri yoktur, bu yüzden karşıt sayıyı ölçtük: 1500 zararsız yoklamayı, 30 hedefe yayılmış ve içlerinde hiçbir saldırgan olmayan bir küme olarak, aynı denetimlerden geçirdik. Bunların yarısı, güvenlikten tümüyle haklı olarak söz eden kullanıcılar, çünkü bir örüntü eşleyiciyi kıran tam da budur: hata veren sorguyu yapıştıran bir geliştirici, stack trace ileten bir destek çalışanı, benzerine çok yakın bir alan adının gerçek olup olmadığını soran biri.
Burada yazılan botlar kolay durumdur, bu yüzden onu burada kimsenin tasarlamadığı bir ajan çerçevesine yönelttik. 48 temiz promptluk tek bir çalıştırmada sekiz yanlış alarm üretti, üstelik kendi bot filomuza karşı 480 yoklamanın bir kez bile üretmediği dört kategoride. Dördü de düzeltildi ve altlarındaki iki kural artık sizin raporunuzu değil bizim derlememizi başarısız kılıyor: hiçbir denetim soruyu okuyamaz ve hiçbir denetim ajanın kendi sözlerini sistem hakkında kanıt sayamaz.
garak ve promptfoo ile aynı üçüncü taraf hedeflere karşı çalıştırıldı ve üçünün de her yanıtı, her aracın kendi hakemi yerine tek bir alt dize kuralıyla puanlandı. Hiçbir guardrail'i olmayan bir RAG uygulamasında zararsız sondaların 46%'sı yerleştirilen diziyi zaten geri döndürüyor, dolayısıyla bulguları saymak saldırganı değil uygulamayı ölçer. Üç araçtan biri bunu kendi raporunda söylüyor. Korumalı hedefte ortak kurala göre üçü de sıfır alıyor ve herhangi bir şey bulan tek araç biz olduk, 324'te 1 ihlal. Aynı dağıtım ise 48 sıradan müşteri sorusundan 38'ini yanıtlamayı reddediyor. O sayfa diğer ikisinin daha iyi olduğu yerleri de, bir hakem p değeri istedikten sonra geri çektiğimiz bir iddiayı da yayımlıyor. Karşılaştırmayı okuyun.
On iki yoklamadan oluşan bir profil, hepsi zararsız: beş bot sıradan bir isteğe karşılık kendi talimatlarını verdi. Biri, o anahtarı paylaşmasını yasaklayan cümlenin tam içinde gizli oturum anahtarını yazdırdı. İki bot ise hiçbir şeyi yeniden başlatabilecek bir aracı yokken bir veritabanının yeniden başlatıldığını bildirdi.
Her çalıştırma saklanır, bu yüzden her bulgu ilk göründüğü tarihi taşır. “Kritik” bir görüştür. “Kritik ve ayının üçünden beri açık” ise bir ekibin böyle bulgulara nasıl yanıt verdiğine dair bir olgudur ve bir düzeltmenin plana girmesini sağlayan tam da o satırdır.
Kapattıktan sonra geri gelen bir bulgu, yenilerin yanında sessizce sayılmak yerine yeniden ortaya çıktı olarak işaretlenir. Dayanmayan bir düzeltme iki konuşmanın daha kötü olanıdır ve ikisini karıştırmak bunu gizler.
Bir çalıştırma bir saldırıyı göndermediyse, o saldırı raporda test edilmedi olarak yer alır, asla düzeltildi olarak değil. Yokluk temiz bir sonuç değildir ve ikisini birbirine karıştıran bir rapor, kimse bakmamışken açıklarınızın kaybolduğunu söyler.
Bazı çağrılar bir araca, okuyabildiğimiz hiçbir metinde geçmeyen bir değer verir. Bunları ayrı listeler ve hangi günlüğün onları açtığını söyleriz, çünkü “baktık ve temizdi” ile “göremedik” arasındaki fark, bir ölçüm ile bir vaat arasındaki farktır.
“Ona sırları açıklamamasını söyledik” bir iddiadır, savunma değil: buradaki hedeflerde ilk birkaç saldırı içinde düştü. QAtration gerçekten sıkı kapatılmış botları da temiz sayar, bu yüzden temiz bir sonuç gerçekten bir şey ifade eder. Durmadan boş alarm vermek yerine botunuzu ölçer.
Apache 2.0. Kurun, kendi dağıtımınıza yöneltin, kanıtları saklayın.