QAtration gửi những cuộc tấn công prompt injection thật vào bot AI của bạn và trao cho bạn một báo cáo bằng ngôn ngữ dễ hiểu về những gì nó đã để lộ hoặc đã làm, trước khi có người khác tìm ra. Người chạy nó là bạn. Trên máy của bạn hoặc trong CI của bạn, nhắm vào bản triển khai của chính bạn: không cần tài khoản, không phải giao endpoint cho ai, không có gì được gửi về phía chúng tôi.
Đừng chĩa công cụ này vào một hệ thống không phải của bạn. Nó gửi những cuộc tấn công thật (prompt injection, rút trộm dữ liệu, lạm dụng công cụ) tới bất kỳ URL nào bạn đưa cho nó. Bản triển khai của chính bạn, hoặc một bản mà chủ sở hữu đã cho phép bạn bằng văn bản từ trước. Không phải một chatbot công khai mà bạn thấy thú vị. Cũng không phải bản demo của một nhà cung cấp. Hãy đọc AUTHORISED-USE.md trước lần chạy đầu tiên.
Đo trên chính các mục tiêu thử nghiệm của chúng tôi, không phải ước tính.
qatration init viết cấu hình từ URL endpoint của bạn, kèm một bí mật chỉ bạn biết để dán vào system prompt. qatration onboard kiểm tra cả hai bằng vài câu hỏi bình thường trước khi bất kỳ cuộc tấn công nào được gửi đi.
Các API tương thích OpenAI, Anthropic, Bedrock và Vertex, cùng các ứng dụng xây trên Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress hoặc Copilot Studio.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
Những cuộc tấn công thật, loại mà người dùng có thể gõ hoặc một tài liệu có thể mang theo, và mọi câu trả lời được chấm bằng một phép kiểm tra tất định: canary trong câu trả lời, một giá trị trong lệnh gọi công cụ. Không có mô hình nào chấm mô hình khác, nên cùng một câu trả lời luôn nhận cùng một phán quyết.
Đoạn trao đổi này được chép nguyên văn từ một lần chạy thật.
Cái gì đã rò rỉ, rò rỉ chính xác ra sao, và cách sửa nên thử trước tiên, viết cho một nhóm không có chuyên gia bảo mật. --fail-on exploited khiến một bản build thất bại. qatration sarif ghi các phát hiện ra một tệp mà tab code scanning của bạn đọc được.
Một endpoint chat là đủ: những thứ này kiểm thử được nguyên trạng, kể cả những thứ trải qua nhiều lượt hội thoại.
Văn bản của kẻ tấn công đè lên quy tắc của bot: “bỏ qua các chỉ dẫn của bạn và…”.
Bot của bạn để lộ khóa API, mã nội bộ, hoặc dữ liệu của một khách hàng khác.
Chỉ dẫn ẩn của bạn rò ra nguyên văn: tấm bản đồ cho mọi cuộc tấn công về sau.
Một quy tắc cài vào trong một lượt sẽ lặng lẽ đổi mọi câu trả lời sau đó, rất lâu sau khi cuộc trò chuyện trông đã bình thường trở lại.
Cơ sở tri thức, định nghĩa công cụ, hoặc các lệnh gọi công cụ trong phản hồi. Đo trên bằng chứng phát hành kèm công cụ này: 113 trong số 229 phát hiện trên các mục tiêu có báo cáo lệnh gọi công cụ hoàn toàn không hiện ra nếu chỉ đọc câu trả lời.
Tác nhân của bạn bị thuyết phục thực hiện một hành động không thể hoàn tác: xóa, hoàn tiền, gửi thư.
SQL hoặc một lệnh shell được tuồn vào trong một lệnh gọi công cụ. Một lớp lỗi cũ, một cửa trước mới.
Chỉ một tài liệu độc hại trong RAG của bạn là đủ để cướp lấy câu trả lời cho những câu hỏi vô hại.
Một dòng ẩn trong phần mô tả của một công cụ khiến tác nhân của bạn để lộ thứ gì đó ngay với một câu hỏi bình thường, mà không cần bất kỳ tin nhắn nào từ kẻ tấn công.
Mỗi phép kiểm tra thuộc một trong mười nhóm của danh sách này, và báo cáo sửa lỗi ghi rõ nhóm bên cạnh từng phát hiện. Con số là số phép kiểm tra tìm nhóm đó.
Mỗi mục tiêu đều được chạy một lượt vô hại trước: toàn câu hỏi bình thường, không ai tấn công cả. Trên một trong các bot ở đây, canary_in_tool_call kích hoạt trên 88% lưu lượng bình thường đó, nên một phát hiện chỉ dựa vào riêng nó sẽ bị đánh dấu là không quy được nguồn thay vì được tính vào.
Khi một cuộc tấn công thất bại và câu trả lời cho thấy lý do, báo cáo gọi tên thứ đã chặn nó: khâu kiểm tra danh tính, bộ lọc nội dung, một quyền hạn phía backend, hoặc một lệnh gọi công cụ chỉ được in ra mà chưa hề chạy thật. Cái cuối cùng đó, trong một bản ghi, đọc lên giống hệt một vụ chọc thủng và chẳng đáng giá gì.
Một bot, hai mô hình, mỗi mô hình 242 cuộc tấn công, mỗi cuộc 3 lần thử. Mô hình nhỏ vỡ ở 39 trong số đó, mô hình lớn vỡ ở 34, và 28 trong số ấy là cùng những cuộc tấn công, 25 trong đó phá được cả hai mô hình ở mọi lần thử. Trên con bot này, mô hình lớn hơn chỉ xáo lại xem cuộc tấn công nào lọt ở vùng rìa. Nó không bịt được cái lỗ đó.
Nó có 68 phép kiểm tra, và 65 trong số đó đã kích hoạt trên 7977 lượt thăm dò được lưu ở đây. 3 phép chưa từng kích hoạt được báo là đã khai báo, không tính vào độ bao phủ. Trên lưu lượng không ai tấn công, chúng kích hoạt 779 lần: 622 lần là vấn đề thật của bot và 157 lần là báo động giả, và cả hai con số đều được công bố.
Mọi lần chạy đều được giữ lại, nên mỗi phát hiện đều mang ngày nó xuất hiện lần đầu. “Nghiêm trọng” là một ý kiến. “Nghiêm trọng và còn treo từ ngày 3” là một sự thật về cách một nhóm phản ứng với những phát hiện như thế, và chính dòng đó mới khiến một bản sửa được xếp lịch.
Một phát hiện quay lại sau khi bạn đã đóng nó sẽ được đánh dấu là tái xuất hiện, chứ không lặng lẽ đếm chung với những cái mới. Một bản sửa không trụ được là cuộc trò chuyện tệ hơn trong hai cuộc, và trộn chúng lại là che nó đi.
Nếu một lần chạy không gửi một cuộc tấn công nào đó, cuộc tấn công ấy được ghi vào báo cáo với trạng thái chưa kiểm thử, không bao giờ là đã sửa. Sự vắng mặt không phải là một kết quả sạch, và một báo cáo làm nhòe hai thứ đó sẽ bảo bạn rằng các lỗ hổng của bạn đã hết trong khi thật ra chẳng ai nhìn cả.
Có những lệnh gọi đưa cho công cụ một giá trị không xuất hiện trong bất kỳ văn bản nào chúng tôi đọc được. Những cái đó chúng tôi liệt kê riêng và nói cho bạn biết bản ghi nào mở được chúng, bởi khác biệt giữa “chúng tôi đã kiểm tra và nó sạch” với “chúng tôi không nhìn thấy được” chính là khác biệt giữa một phép đo và một lời hứa.
“Chúng tôi đã dặn nó đừng tiết lộ bí mật” là một khẳng định, không phải một lớp phòng vệ: trên các mục tiêu ở đây nó đổ ngay trong vài cuộc tấn công đầu. QAtration cũng kết luận sạch cho những con bot thật sự khóa kín, nên một kết quả sạch quả thật có ý nghĩa. Nó đo chính con bot của bạn, chứ không phải lúc nào cũng báo động giả.
Apache 2.0. Cài vào, chĩa vào bản triển khai của chính bạn, giữ lại bằng chứng.