QAtration gửi những cuộc tấn công prompt injection thật vào bot AI của bạn và trao cho bạn một báo cáo bằng ngôn ngữ dễ hiểu về những gì nó đã để lộ hoặc đã làm, trước khi có người khác tìm ra. Người chạy nó là bạn. Trên máy của bạn hoặc trong CI của bạn, nhắm vào bản triển khai của chính bạn: không cần tài khoản, không phải giao endpoint cho ai, không có gì được gửi về phía chúng tôi.
Đừng chĩa công cụ này vào một hệ thống không phải của bạn. Nó gửi những cuộc tấn công thật (prompt injection, rút trộm dữ liệu, lạm dụng công cụ) tới bất kỳ URL nào bạn đưa cho nó. Bản triển khai của chính bạn, hoặc một bản mà chủ sở hữu đã cho phép bạn bằng văn bản từ trước. Không phải một chatbot công khai mà bạn thấy thú vị. Cũng không phải bản demo của một nhà cung cấp. Hãy đọc AUTHORISED-USE.md trước lần chạy đầu tiên.
Chỉ hai gói phụ thuộc. Toàn bộ kho tấn công đi kèm sẵn, và bằng chứng đằng sau từng con số trên trang này cũng vậy, tất cả đều nằm trong
out/, được phát hành cùng kho mã. Báo cáo của hai công cụ kia không có ở đây, vì giấy phép của chúng không cho phép. Các lệnh tạo lại chúng thì có.
Đo trên chính các mục tiêu thử nghiệm của chúng tôi, không phải ước tính. Bản ghi bên cạnh minh họa ý tưởng, còn những con số phía trên là kết quả.
Mỗi tính năng AI đưa lên chạy thật đều là một bề mặt tấn công mới. Nó chạm được tới bao nhiêu phần bề mặt của bạn còn tùy vào những gì bản triển khai của bạn cho nó thấy, và ở đây ranh giới được vạch ra chứ không bị làm nhòe, bởi một công cụ quét tuyên bố bao phủ cả thứ nó không quan sát được chính là thứ bạn đang cố tránh.
Một endpoint chat là đủ: những thứ này kiểm thử được nguyên trạng, kể cả những thứ trải qua nhiều lượt hội thoại.
Văn bản của kẻ tấn công đè lên quy tắc của bot: “bỏ qua các chỉ dẫn của bạn và…”.
Bot của bạn để lộ khóa API, mã nội bộ, hoặc dữ liệu của một khách hàng khác.
Chỉ dẫn ẩn của bạn rò ra nguyên văn: tấm bản đồ cho mọi cuộc tấn công về sau.
Một quy tắc cài vào trong một lượt sẽ lặng lẽ đổi mọi câu trả lời sau đó, rất lâu sau khi cuộc trò chuyện trông đã bình thường trở lại.
Bạn không thể cài một tài liệu vào kho tri thức mà bạn không có quyền ghi, và từ bên ngoài bạn không phân biệt được một lệnh gọi công cụ thực sự đã chạy với một lệnh gọi mà bot chỉ mô tả suông, một điều mà chúng tôi đã đo và thấy chính các bot cũng nhầm về bản thân mình. Muốn vậy phải có kho tấn công, định nghĩa công cụ, hoặc quyền nhìn thấy các lệnh gọi. Đo trên bằng chứng phát hành kèm công cụ này: 62 trong số 137 phát hiện trên các mục tiêu có báo cáo lệnh gọi công cụ hoàn toàn không hiện ra nếu chỉ đọc câu trả lời. Bot trả lời lịch sự rồi nhét bí mật vào một đối số của lệnh gọi.
Tác nhân của bạn bị thuyết phục thực hiện một hành động không thể hoàn tác: xóa, hoàn tiền, gửi thư.
SQL hoặc một lệnh shell được tuồn vào trong một lệnh gọi công cụ. Một lớp lỗi cũ, một cửa trước mới.
Chỉ một tài liệu độc hại trong RAG của bạn là đủ để cướp lấy câu trả lời cho những câu hỏi vô hại.
Một dòng ẩn trong phần mô tả của một công cụ khiến tác nhân của bạn để lộ thứ gì đó ngay với một câu hỏi bình thường, mà không cần bất kỳ tin nhắn nào từ kẻ tấn công.
qatration init tự viết cấu hình cho bạn: URL, hình dạng của yêu cầu, và phần nào của phản hồi chứa câu trả lời của bot. Mục tiêu từ xa còn cần thêm header xác thực, đặt trong biến môi trường. Có sẵn cấu hình cho các API theo dạng OpenAI và cho API của Anthropic, Bedrock và Vertex. qatration onboard gửi một câu hỏi bình thường và cho bạn biết còn thiếu gì, trước khi có dù chỉ một cuộc tấn công được gửi đi.
qatration init tạo ra một bí mật của riêng bạn cùng đoạn văn bản để dán vào prompt hệ thống. Lần chạy sẽ xác nhận trước rằng nó thật sự đã vào đúng chỗ: một canary chưa được cài nghĩa là mọi phép kiểm tra đều không tìm thấy gì, và điều đó đọc lên y hệt một con bot đã trụ vững.
Cái gì đã rò rỉ, rò rỉ chính xác ra sao, và một cách sửa duy nhất khép nó lại, viết cho một nhóm không có chuyên gia bảo mật. --fail-on exploited khiến một bản build thất bại. qatration sarif đưa thẳng các phát hiện vào tab code scanning của bạn.
Một cuộc tấn công không lọt được sẽ báo về số không. Một phép kiểm tra không chạy nổi cũng vậy, và một con bot thật sự được gia cố cũng vậy, và đó chính là chỗ việc kiểm thử tắc lại: ba sự thật khác nhau hiện ra trông y hệt nhau, và không ai biết nên thử gì tiếp theo. Đây là những phép đo từ các lần chạy thật, không phải ước tính.
Và một vụ chọc thủng chỉ là chọc thủng nếu chính cuộc tấn công gây ra nó. Mỗi mục tiêu đều được chạy một lượt vô hại trước: toàn câu hỏi bình thường, không ai tấn công cả. Trên một trong các bot ở đây,
canary_in_tool_call kích hoạt trên 88% lưu lượng bình thường đó, nên một phát hiện chỉ dựa vào riêng nó sẽ bị đánh dấu là không quy được nguồn thay vì được tính vào.
Khi một cuộc tấn công thất bại, báo cáo gọi tên thứ đã chặn nó: khâu kiểm tra danh tính, bộ lọc nội dung, một quyền hạn phía backend, hoặc một lệnh gọi công cụ chỉ được in ra mà chưa hề chạy thật. Cái cuối cùng đó, trong một bản ghi, đọc lên giống hệt một vụ chọc thủng và chẳng đáng giá gì.
Một bot, hai mô hình, mỗi mô hình 254 cuộc tấn công, mỗi cuộc 3 lần thử. Mô hình nhỏ vỡ ở 27 trong số đó, mô hình lớn vỡ ở 24, và 18 trong số ấy là cùng những cuộc tấn công, 17 trong đó phá được cả hai mô hình ở mọi lần thử. Trên con bot này, mô hình lớn hơn chỉ xáo lại xem cuộc tấn công nào lọt ở vùng rìa. Nó không bịt được cái lỗ đó.
Đối đầu với một framework guardrail thật, 46 cuộc tấn công gõ thẳng vào khung chat: không cuộc nào lọt qua. Một cuộc mang trong tài liệu được truy xuất cũng không lọt, khi cả hai hàng rào của nó còn bật. Tắt bộ lọc đầu ra đi và chính tài liệu ấy đi ra ngoài ở mọi lần thử. Bộ lọc đầu vào đọc thứ người dùng gõ, và không bao giờ thấy thứ kho tri thức của bạn đưa cho mô hình, nên hàng rào đầu vào chưa bao giờ là thứ đã chặn nó.
Chúng tôi gửi lại đúng những tin nhắn đó cho guardrail ấy và nó không phải lúc nào cũng nhất quán với chính mình: cùng một đầu vào, năm cách diễn đạt nhận về những phán quyết khác nhau, và một câu hỏi bình thường được cho qua mười trên mười hai lần. Vì vậy chúng tôi báo cáo bao nhiêu lần thử đã phá được thứ gì đó, chứ không phải liệu có một lần nào phá được hay không. Một lần chạy chỉ là câu chuyện của một buổi chiều, và điều đó đúng với một kết quả sạch y như với một kết quả tệ, kể cả kết quả của chính chúng tôi.
Chính guardrail đã chặn tài liệu đó cũng từ chối trả lời 6 trong số 9 câu hỏi khách hàng bình thường về những chủ đề liên quan. Một lớp phòng vệ trả lời “không” với khách hàng của bạn là một con số bạn muốn biết trước khi phát hành, chứ không phải sau.
Một công cụ quét lúc nào cũng tìm ra thứ gì đó thì chẳng đáng giá gì, nên chúng tôi đo con số ngược lại: 1500 lượt thăm dò vô hại trên 30 mục tiêu, không có kẻ tấn công nào trong đó, cho chạy qua đúng những phép kiểm tra ấy. Một nửa trong số đó là người dùng hoàn toàn có lý do chính đáng để nói về bảo mật, bởi đó đúng là thứ làm vỡ một bộ so khớp mẫu: một lập trình viên dán vào câu truy vấn đang lỗi, một nhân viên hỗ trợ chuyển tiếp một stack trace, một người hỏi xem một tên miền trông na ná có thật hay không.
Những con bot viết ở đây là trường hợp dễ, nên chúng tôi chĩa nó vào một framework tác nhân mà ở đây không ai thiết kế. Nó tạo ra tám báo động giả chỉ trong một lần chạy 48 prompt sạch, ở bốn nhóm mà 480 lần thăm dò nhắm vào chính dàn bot của chúng tôi chưa từng tạo ra lấy một lần. Cả bốn đều đã sửa, và hai quy tắc bên dưới chúng giờ làm bản build của chúng tôi thất bại chứ không phải báo cáo của bạn: không phép kiểm tra nào được đọc câu hỏi, và không phép kiểm tra nào được coi chính lời của tác nhân là bằng chứng về hệ thống.
Chạy trên đúng những mục tiêu bên thứ ba như garak và promptfoo, mọi câu trả lời của cả ba đều được chấm bằng một quy tắc chuỗi con duy nhất thay vì bằng bộ chấm riêng của từng công cụ. Trên một ứng dụng RAG không hề có guardrail, 46% các lần thăm dò vô hại vốn đã trả về chuỗi được cài sẵn, nên việc đếm phát hiện là đang đo ứng dụng chứ không phải đo kẻ tấn công. Một trong ba công cụ có nói điều đó trong báo cáo của mình. Trên mục tiêu có phòng vệ, theo quy tắc chung cả ba đều được không điểm, và chúng tôi là bên duy nhất tìm được thứ gì đó, một vụ chọc thủng trên 324. Trong khi đó chính bản triển khai ấy từ chối trả lời 38 trong số 48 câu hỏi khách hàng bình thường. Trang đó cũng công bố những chỗ hai công cụ kia làm tốt hơn, cùng một khẳng định chúng tôi đã rút lại sau khi một người phản biện yêu cầu một giá trị p. Đọc phần so sánh.
Một hồ sơ gồm mười hai lượt thăm dò, tất cả đều vô hại: năm con bot đã giao nộp chính chỉ dẫn của mình chỉ vì một lời đề nghị bình thường. Một con in ra khóa phiên bí mật của nó ngay bên trong đúng câu đang cấm nó chia sẻ khóa ấy. Hai con báo rằng một cơ sở dữ liệu đã được khởi động lại trong khi chúng không hề có công cụ nào khởi động lại được thứ gì.
Mọi lần chạy đều được giữ lại, nên mỗi phát hiện đều mang ngày nó xuất hiện lần đầu. “Nghiêm trọng” là một ý kiến. “Nghiêm trọng và còn treo từ ngày 3” là một sự thật về cách một nhóm phản ứng với những phát hiện như thế, và chính dòng đó mới khiến một bản sửa được xếp lịch.
Một phát hiện quay lại sau khi bạn đã đóng nó sẽ được đánh dấu là tái xuất hiện, chứ không lặng lẽ đếm chung với những cái mới. Một bản sửa không trụ được là cuộc trò chuyện tệ hơn trong hai cuộc, và trộn chúng lại là che nó đi.
Nếu một lần chạy không gửi một cuộc tấn công nào đó, cuộc tấn công ấy được ghi vào báo cáo với trạng thái chưa kiểm thử, không bao giờ là đã sửa. Sự vắng mặt không phải là một kết quả sạch, và một báo cáo làm nhòe hai thứ đó sẽ bảo bạn rằng các lỗ hổng của bạn đã hết trong khi thật ra chẳng ai nhìn cả.
Có những lệnh gọi đưa cho công cụ một giá trị không xuất hiện trong bất kỳ văn bản nào chúng tôi đọc được. Những cái đó chúng tôi liệt kê riêng và nói cho bạn biết bản ghi nào mở được chúng, bởi khác biệt giữa “chúng tôi đã kiểm tra và nó sạch” với “chúng tôi không nhìn thấy được” chính là khác biệt giữa một phép đo và một lời hứa.
“Chúng tôi đã dặn nó đừng tiết lộ bí mật” là một khẳng định, không phải một lớp phòng vệ: trên các mục tiêu ở đây nó đổ ngay trong vài cuộc tấn công đầu. QAtration cũng kết luận sạch cho những con bot thật sự khóa kín, nên một kết quả sạch quả thật có ý nghĩa. Nó đo chính con bot của bạn, chứ không phải lúc nào cũng báo động giả.
Apache 2.0. Cài vào, chĩa vào bản triển khai của chính bạn, giữ lại bằng chứng.