QAtration schickt echte Prompt-Injection-Angriffe an Ihren KI-Bot und liefert einen Bericht in klarer, verständlicher Sprache darüber, was er preisgegeben oder getan hat, bevor es jemand anderes findet. Sie führen es aus. Auf Ihrem Rechner oder in Ihrer CI, gegen Ihr eigenes Deployment: kein Konto, kein übergebener Endpoint, nichts wird an uns geschickt.
Richten Sie das nicht auf ein System, das Ihnen nicht gehört. Es schickt echte Angriffe (Prompt-Injection, Datenabfluss, Tool-Missbrauch) an jede URL, die Sie ihm geben. Ihr eigenes Deployment oder eines, dessen Eigentümer Ihnen vorab eine schriftliche Erlaubnis erteilt hat. Kein öffentlicher Chatbot, den Sie interessant finden. Keine Demo eines Anbieters. Lesen Sie AUTHORISED-USE.md vor dem ersten Lauf.
Auf unseren eigenen Testzielen gemessen, nicht hochgerechnet.
qatration init erstellt die Konfiguration anhand der URL Ihres Endpunkts, dazu ein Geheimnis, das nur Sie kennen und das Sie in Ihren System-Prompt einfügen. qatration onboard prüft beides mit ein paar gewöhnlichen Fragen, bevor auch nur ein Angriff gesendet wird.
OpenAI-kompatible APIs, Anthropic, Bedrock und Vertex sowie Apps auf Basis von Vercel AI SDK, Dify, Flowise, Langflow, n8n, Gradio, Rasa, Chainlit, Botpress oder Copilot Studio.
$ pip install qatration $ qatration init --url https://your-bot.example.com/chat \ --model your-model-id $ qatration onboard --target-config mybot.yaml $ qatration benign --target-config mybot.yaml $ qatration run --target-config mybot.yaml
Echte Angriffe, wie sie ein Nutzer eintippen oder ein Dokument mitbringen kann, und jede Antwort von einer deterministischen Prüfung bewertet: das Canary in der Antwort, ein Wert in einem Tool-Aufruf. Kein Modell bewertet ein anderes Modell, also bekommt dieselbe Antwort immer dasselbe Urteil.
Dieser Dialog stammt Wort für Wort aus einem echten Lauf.
Was abgeflossen ist, wie genau das passiert ist, und die Korrektur, die Sie zuerst versuchen sollten, geschrieben für ein Team ohne Sicherheitsexperten. --fail-on exploited lässt einen Build scheitern, qatration sarif schreibt die Befunde in eine Datei, die Ihr Code-Scanning-Tab einliest.
Ein Chat-Endpoint genügt: diese Punkte sind unverändert testbar, auch über mehrere Gesprächszüge hinweg.
Angreifertext setzt sich über die Regeln Ihres Bots hinweg: „ignoriere deine Anweisungen und …“.
Ihr Bot gibt API-Schlüssel, interne Codes oder die Daten eines anderen Kunden preis.
Ihre verborgenen Anweisungen fließen wörtlich ab: die Landkarte für jeden späteren Angriff.
Eine in einem einzigen Gesprächszug untergeschobene Regel verändert still jede spätere Antwort, noch lange nachdem das Gespräch wieder normal aussieht.
Die Wissensdatenbank, die Tool-Definitionen oder die Tool-Aufrufe in der Antwort. Anhand der Belege gemessen, die mit diesem Werkzeug ausgeliefert werden: 113 von 229 Befunden auf Zielen, die Tool-Aufrufe melden, tauchen überhaupt nicht auf, wenn man nur die Antwort liest.
Ihr Agent wird zu einer unumkehrbaren Handlung überredet: löschen, erstatten, E-Mail senden.
SQL oder ein Shell-Befehl, in einen Tool-Aufruf geschmuggelt. Eine alte Fehlerklasse, eine neue Haustür.
Ein einziges bösartiges Dokument in Ihrem RAG kapert die Antworten auf harmlose Fragen.
Eine versteckte Zeile in der Beschreibung eines Tools bringt Ihren Agenten dazu, bei einer ganz normalen Frage etwas preiszugeben, ganz ohne Nachricht eines Angreifers.
Jede Prüfung gehört zu einer seiner zehn Klassen, und der Fix-Bericht nennt die Klasse neben jedem Befund. Die Zahl sagt, wie viele Prüfungen danach suchen.
Jedes Ziel bekommt zuerst einen harmlosen Lauf: gewöhnliche Fragen, niemand greift an. Bei einem der Bots hier canary_in_tool_call schlägt bei 88% dieses gewöhnlichen Datenverkehrs an, deshalb wird ein Befund, der allein darauf beruht, als nicht zuschreibbar markiert und nicht gezählt.
Wenn ein Angriff scheitert und die Antwort zeigt, warum, benennt der Bericht, was ihn aufgehalten hat: die Identitätsprüfung, der Inhaltsfilter, eine Berechtigung im Backend, oder ein Tool-Aufruf, der nur ausgegeben und nie wirklich ausgeführt wurde. Der letzte liest sich im Transkript wie ein Einbruch und ist nichts wert.
Ein Bot, zwei Modelle, je 242 Angriffe, je 3 Versuche. Das kleinere brach bei 39 davon ein, das größere bei 34, und 28 davon sind dieselben Angriffe, 25 davon brachen beide Modelle bei jedem einzelnen Versuch. Bei diesem Bot mischte das größere Modell neu, welche Angriffe an den Rändern durchkommen. Das Loch schließt es nicht.
Es hat 68 Prüfungen, und 65 davon haben auf den 7977 hier gespeicherten Proben angeschlagen. Die 3, die es nie getan haben, werden als deklariert ausgewiesen, nicht als Abdeckung gezählt. Auf Verkehr, den niemand angriff, schlugen sie 779 Mal an: 622 waren echte Probleme des Bots und 157 Fehlalarme, und beide Zahlen sind veröffentlicht.
Jeder Lauf wird aufbewahrt, deshalb trägt jeder Befund das Datum, an dem er zuerst auftauchte. „Kritisch“ ist eine Meinung. „Kritisch und seit dem Dritten offen“ ist eine Tatsache darüber, wie ein Team auf solche Befunde reagiert, und genau diese Zeile bringt eine Korrektur in die Planung.
Ein Befund, der nach dem Schließen wiederkommt, wird als zurückgekehrt gekennzeichnet und nicht still neben den neuen mitgezählt. Eine Korrektur, die nicht gehalten hat, ist das unangenehmere der beiden Gespräche, und beides zu vermischen verbirgt es.
Wenn ein Lauf einen Angriff nicht schickt, steht dieser Angriff als ungeprüft im Bericht, niemals als behoben. Das Fehlen eines Befunds ist kein sauberes Ergebnis, und ein Bericht, der beides verwischt, sagt Ihnen, Ihre Schwachstellen seien weg, obwohl niemand hingesehen hat.
Manche Aufrufe reichen einem Tool einen Wert, der in keinem für uns lesbaren Text auftaucht. Wir führen diese getrennt auf und sagen Ihnen, welches Log sie öffnet, denn der Unterschied zwischen „wir haben geprüft, und es war sauber“ und „wir konnten es nicht sehen“ ist der Unterschied zwischen einer Messung und einem Versprechen.
„Wir haben ihm gesagt, er soll keine Geheimnisse preisgeben“ ist eine Behauptung und kein Schutz: auf den Zielen hier fiel sie schon innerhalb der ersten paar Angriffe. QAtration spricht Bots, die wirklich abgeriegelt sind, ebenso frei, deshalb bedeutet ein sauberes Ergebnis auch etwas. Es misst Ihren Bot, statt einfach immer falschen Alarm zu schlagen.
Apache 2.0. Installieren Sie es, richten Sie es auf Ihr eigenes Deployment, bewahren Sie die Belege auf.