QAtrationはあなたのAIボットに本物のプロンプトインジェクション攻撃を送り、ボットが何を漏らし、何をしたかを平易な言葉の報告書にして、ほかの誰かに見つけられる前に手渡します。 実行するのはあなたです。 あなたのマシンかCIから、あなた自身のデプロイ環境に対して。アカウントも不要、エンドポイントを預ける必要もなく、こちらには何も送信されません。
あなたのものではないシステムに向けないでください。 これは本物の攻撃（プロンプトインジェクション、データ持ち出し、ツールの悪用）を、指定されたURLがどこであろうと送ります。あなた自身のデプロイか、所有者から事前に書面で許可を得たものに限ります。面白そうだと思った公開チャットボットではありません。ベンダーのデモでもありません。 AUTHORISED-USE.md ファイルを最初の実行の前にお読みください。
依存は二つだけ。攻撃コーパス一式が同梱され、このページのすべての数字を裏づける証拠も同梱されます。そのすべては
out/にあり、リポジトリとともに配布されます。他の二つのツール自身の報告書はここにはありません。ライセンスがそれを許さないためです。それらを再生成するコマンドはあります。
私たち自身のテスト対象で測定した値であり、推計ではありません。隣の記録は考え方の図解で、上の数字が結果です。
世に出るAI機能はどれも新しい攻撃面です。どこまで届くかは、デプロイ環境が何を見せるかで決まります。ここでは境界をぼかさず引いています。観測できないものまでカバーしていると称するスキャナーこそ、避けたいものだからです。
チャットエンドポイントがあれば十分です。複数ターンにわたるものも含め、そのままテストできます。
攻撃者のテキストがボットの規則を上書きします。「指示を無視して…」。
ボットがAPIキー、社内の識別コード、あるいは別の顧客のデータを明かします。
隠された指示が一字一句そのまま漏れます。以降のあらゆる攻撃のための地図です。
あるターンで仕込まれた規則が、以降のすべての応答を静かに変えます。会話が再び普通に見えるようになった、ずっとあとまで。
書き込めない知識ベースに文書を仕込むことはできませんし、外側からは、実際に実行されたツール呼び出しと、ボットがただ説明しただけの呼び出しを見分けられません。この点についてボットが自分自身をどれだけ取り違えるかを、私たちは測定しました。これにはコーパス、ツール定義、または呼び出しの可視性が必要です。 このツールに同梱された証拠で測定した結果です。ツール呼び出しを報告する対象では、137件の指摘のうち62件が、応答だけを読んだ場合にはまったく現れません。 ボットは丁重に答えつつ、秘密を呼び出しの引数に入れます。
エージェントが取り返しのつかない操作へ誘導されます。削除、返金、メール送信。
SQLやシェルコマンドがツール呼び出しに紛れ込みます。古いバグの種類に、新しい玄関口。
RAGに悪意ある文書が一つあるだけで、無害な質問への回答が乗っ取られます。
ツールの説明に隠された一行が、ごく普通の質問に対してエージェントに情報を漏らさせます。攻撃者からのメッセージは要りません。
qatration init が設定ファイルを書きます。URL、リクエストの形、そして応答のどこに本文があるか。リモートの対象にはさらに認証ヘッダーが要り、環境変数として渡します。OpenAI形式のAPIと、Anthropic、Bedrock、VertexのAPI向けに、既成の設定を用意しています。 qatration onboard はごく普通の質問を一つ送り、攻撃が一つも出ていく前に、何が足りないかを教えます。
qatration init はあなた専用の秘密と、システムプロンプトに貼り付けるブロックを生成します。実行はまずそれが本当に届いたかを確認します。仕込まれていないカナリアは、どの検査も何も見つけないという結果になり、それは持ちこたえたボットとまったく同じに読めてしまうからです。
何が漏れたか、どのように漏れたか、そしてそれを塞ぐただ一つの修正を、セキュリティ専門家のいないチームに向けて書いています。 --fail-on exploited はビルドを落とし、 qatration sarif は指摘をそのままcode scanningタブに入れます。
通らなかった攻撃はゼロを報告します。実行できなかった検査も、本当に堅牢なボットも、同じくゼロです。テストが行き詰まるのはここです。三つの異なる事実が同じ見た目で届き、次に何を試せばよいか誰にも分かりません。これらは実際の実行から得た測定値であり、推計ではありません。
そして攻撃が原因であってはじめて、侵害は侵害です。 どの対象にもまず無害な実行を行います。普通の質問だけで、誰も攻撃しません。ここに挙げたボットの一つでは、
canary_in_tool_call がその普通のトラフィックの88%で発火します。そのため、それだけに依拠する指摘は、計上せず「帰属不能」と印を付けます。
攻撃が失敗したとき、報告書は何がそれを止めたのかを名指しします。本人確認、コンテンツフィルター、バックエンドの権限、あるいは出力されただけで実際には実行されなかったツール呼び出し。最後のものは記録の上では侵害のように読めますが、何の価値もありません。
ボット一つ、モデル二つ、それぞれ254件の攻撃、それぞれ3回の試行。小さい方は27件で破られ、大きい方は24件で破られました。そのうち18件は同じ攻撃で、うち17件は両方のモデルを毎回破ります。このボットでは、大きなモデルは端のどの攻撃が通るかを入れ替えただけでした。穴は塞ぎません。
実際のガードレールのフレームワークに対して、チャット欄に打ち込んだ46件の攻撃は一つも通りませんでした。取得された文書の中に忍ばせた攻撃も、両方のレールが入っている間は通りませんでした。出力フィルターを切ると、同じ文書が毎回そのまま外へ出ていきます。入力フィルターが読むのは利用者が打った内容であり、知識ベースがモデルに渡すものは決して見ないので、入力側のレールはそもそもそれを止めていたものではなかったのです。
同じメッセージをそのガードレールに送り直したところ、常に自分自身と一致するわけではありませんでした。同一の入力に対して五つの言い回しが異なる判定を受け、ごく普通の質問が十二回中十回通されました。ですから私たちは、何回の試行が破ったかを報告し、一回でも破ったかどうかは報告しません。一度の実行はある日の午後の物語にすぎず、それはきれいな結果についても悪い結果と同じく当てはまります。私たち自身の結果も含めて。
その文書を止めたのと同じガードレールは、関係する話題についての普通の顧客からの質問9件のうち6件にも回答を拒みました。顧客に「いいえ」と答える防御は、出荷後ではなく出荷前に知っておきたい数字です。
常に何かを見つけるスキャナーには価値がありません。そこで私たちは逆の数字を測りました。攻撃者がどこにもいない1500件の無害なプローブを30の対象にまたがって、同じ検査に通したのです。その半分は、正当な理由でセキュリティの話をするユーザーです。パターンマッチャーを壊すのはまさにそこだからです。失敗するクエリを貼り付ける開発者、スタックトレースを転送するサポート、よく似たドメインが本物かどうか尋ねてくる人。
私たちが書いたボットは簡単な部類です。そこで、ここの誰も設計していないエージェントフレームワークに向けました。48件のきれいなプロンプトを流した一度の実行で、八件の誤検知が出ました。しかも、自分たちのボット群に対する480件のプローブでは一度も出たことのない四つの分類でした。四つとも修正済みで、その下にある二つの規則は今、あなたの報告書ではなく私たちのビルドを落とします。どの検査も質問を読んではならない。どの検査もエージェント自身の言葉をシステムについての証拠として扱ってはならない。
garakおよびpromptfooと同じ第三者の対象に対して実行し、三つすべての応答を、各ツール独自の判定ではなく単一の部分文字列規則で採点しました。ガードレールのないRAGアプリでは、 無害なプローブの46%がすでに仕込まれた文字列を返します。ですから指摘の件数は、攻撃者ではなくアプリケーションを測っていることになります。三つのうち一つはそれを自身の報告書に書いています。防御された対象では、共通の規則では三つとも0点で、何かを見つけたのは私たちだけでした。324件中1件の侵害です。その同じデプロイは、普通の顧客からの質問48件のうち38件に回答を拒みます。比較ページには、他の二つが優れている点も、査読者からp値を求められて撤回した主張も載せています。 比較を読む.
十二件のプローブによる調査で、すべて無害なものです。五体のボットが、ごく普通の依頼に対して自らの指示を差し出しました。一体は、その鍵を共有してはならないと述べたまさにその文の中で、機密のセッションキーを出力しました。二体は、何かを再起動できるツールを持たないまま、データベースの再起動を報告しました。
すべての実行が保存されるので、指摘には最初に現れた日付が付きます。「重大」は意見です。「重大、かつ三日から未解決」は、チームがそうした指摘にどう応じているかという事実であり、修正が計画に載るのはこの一行のおかげです。
閉じたあとに戻ってきた指摘は「再発」として印を付け、新しいものと一緒に黙って数えたりはしません。持ちこたえなかった修正は二つの会話のうち厳しい方であり、混ぜてしまうとそれが隠れます。
実行が攻撃を送らなかった場合、その攻撃は報告書に「未テスト」と記され、「修正済み」とは決して記されません。送っていないことはきれいな結果ではありません。この二つをぼかす報告書は、誰も見ていないのに脆弱性が消えたと告げてしまいます。
呼び出しによっては、私たちが読めるどのテキストにも現れない値をツールへ渡します。それらは別立てで示し、どのログを見れば開けるかをお伝えします。「確認したうえで問題なかった」と「見ることができなかった」の違いは、測定と約束の違いだからです。
「秘密を明かさないように指示しました」は主張であって防御ではありません。ここに挙げた対象では、その防御は最初の数回の攻撃のうちに崩れました。QAtrationは本当に固く守られたボットをきちんと「問題なし」とも判定します。だからこそ、きれいな結果には意味があります。毎回オオカミが来たと叫ぶのではなく、あなたのボットを測っているのです。
Apache 2.0。導入して、あなた自身のデプロイに向けて、証拠を残してください。