QAtration schickt echte Prompt-Injection-Angriffe an Ihren KI-Bot und liefert einen Bericht in klarer, verständlicher Sprache darüber, was er preisgegeben oder getan hat, bevor es jemand anderes findet. Sie führen es aus. Auf Ihrem Rechner oder in Ihrer CI, gegen Ihr eigenes Deployment: kein Konto, kein übergebener Endpoint, nichts wird an uns geschickt.
Richten Sie das nicht auf ein System, das Ihnen nicht gehört. Es schickt echte Angriffe (Prompt-Injection, Datenabfluss, Tool-Missbrauch) an jede URL, die Sie ihm geben. Ihr eigenes Deployment oder eines, dessen Eigentümer Ihnen vorab eine schriftliche Erlaubnis erteilt hat. Kein öffentlicher Chatbot, den Sie interessant finden. Keine Demo eines Anbieters. Lesen Sie AUTHORISED-USE.md vor dem ersten Lauf.
Zwei Abhängigkeiten. Das gesamte Angriffskorpus wird mitgeliefert, und ebenso die Belege hinter jeder Zahl auf dieser Seite, alles in
out/, das mit dem Repository ausgeliefert wird. Die eigenen Berichte der beiden anderen Werkzeuge sind nicht dabei, weil ihre Lizenzen das nicht zulassen. Die Befehle, die sie erzeugen, schon.
Auf unseren eigenen Testzielen gemessen, nicht hochgerechnet. Das Transkript daneben veranschaulicht die Idee, die Zahlen darüber sind Ergebnisse.
Jede KI-Funktion, die in Produktion geht, ist eine neue Angriffsfläche. Wie viel von Ihrer Angriffsfläche dieses Werkzeug erreicht, hängt davon ab, was Ihr Deployment es sehen lässt, und die Grenze wird hier gezogen statt verwischt, denn ein Scanner, der Abdeckung für das behauptet, was er nicht beobachten kann, ist genau das, was Sie vermeiden wollen.
Ein Chat-Endpoint genügt: diese Punkte sind unverändert testbar, auch über mehrere Gesprächszüge hinweg.
Angreifertext setzt sich über die Regeln Ihres Bots hinweg: „ignoriere deine Anweisungen und …“.
Ihr Bot gibt API-Schlüssel, interne Codes oder die Daten eines anderen Kunden preis.
Ihre verborgenen Anweisungen fließen wörtlich ab: die Landkarte für jeden späteren Angriff.
Eine in einem einzigen Gesprächszug untergeschobene Regel verändert still jede spätere Antwort, noch lange nachdem das Gespräch wieder normal aussieht.
Sie können kein Dokument in eine Wissensbasis legen, in die Sie keinen Schreibzugriff haben, und von außen können Sie einen ausgeführten Tool-Aufruf nicht von einem unterscheiden, den der Bot lediglich beschrieben hat, und wir haben gemessen, dass Bots sich darin über sich selbst irren. Dafür braucht es das Korpus, die Tool-Definitionen oder Einsicht in die Aufrufe. Anhand der Belege gemessen, die mit diesem Werkzeug ausgeliefert werden: 62 von 137 Befunden auf Zielen, die Tool-Aufrufe melden, tauchen überhaupt nicht auf, wenn man nur die Antwort liest. Der Bot antwortet höflich und legt das Geheimnis in ein Aufrufargument.
Ihr Agent wird zu einer unumkehrbaren Handlung überredet: löschen, erstatten, E-Mail senden.
SQL oder ein Shell-Befehl, in einen Tool-Aufruf geschmuggelt. Eine alte Fehlerklasse, eine neue Haustür.
Ein einziges bösartiges Dokument in Ihrem RAG kapert die Antworten auf harmlose Fragen.
Eine versteckte Zeile in der Beschreibung eines Tools bringt Ihren Agenten dazu, bei einer ganz normalen Frage etwas preiszugeben, ganz ohne Nachricht eines Angreifers.
qatration init schreibt die Konfiguration für Sie: die URL, die Form des Requests und die Angabe, wo im Response-Body die Antwort des Bots steht. Ein entferntes Ziel will zusätzlich einen Auth-Header, als Umgebungsvariable. Fertige Konfigurationen für APIs im OpenAI-Format und für die von Anthropic, Bedrock und Vertex. qatration onboard schickt eine ganz normale Frage und sagt Ihnen, was fehlt, bevor auch nur ein einziger Angriff verschickt wird.
qatration init erzeugt ein Geheimnis, das nur Ihnen gehört, und den Block, den Sie in Ihren System-Prompt einfügen. Der Lauf bestätigt zuerst, dass der Canary tatsächlich angekommen ist: ein nicht gesetzter Canary bedeutet, dass jede Prüfung nichts findet, und das liest sich genau wie ein Bot, der standgehalten hat.
Was abgeflossen ist, wie genau das passiert ist, und die eine Korrektur, die es schließt, geschrieben für ein Team ohne Sicherheitsexperten. --fail-on exploited lässt einen Build scheitern, qatration sarif legt die Befunde direkt in Ihren Code-Scanning-Tab.
Ein Angriff, der nicht durchkam, meldet eine Null. Eine Prüfung, die nicht laufen konnte, ebenso, und ein wirklich gehärteter Bot auch, und genau da bleibt das Testen stecken: drei verschiedene Tatsachen sehen gleich aus, und niemand weiß, was als Nächstes zu versuchen wäre. Das sind Messungen aus echten Läufen, keine Hochrechnungen.
Und ein Einbruch ist nur dann ein Einbruch, wenn der Angriff ihn verursacht hat. Jedes Ziel bekommt zuerst einen harmlosen Lauf: gewöhnliche Fragen, niemand greift an. Bei einem der Bots hier
canary_in_tool_call schlägt bei 88% dieses gewöhnlichen Datenverkehrs an, deshalb wird ein Befund, der allein darauf beruht, als nicht zuschreibbar markiert und nicht gezählt.
Wenn ein Angriff scheitert, benennt der Bericht, was ihn aufgehalten hat: die Identitätsprüfung, der Inhaltsfilter, eine Berechtigung im Backend, oder ein Tool-Aufruf, der nur ausgegeben und nie wirklich ausgeführt wurde. Der letzte liest sich im Transkript wie ein Einbruch und ist nichts wert.
Ein Bot, zwei Modelle, je 254 Angriffe, je 3 Versuche. Das kleinere brach bei 27 davon ein, das größere bei 24, und 18 davon sind dieselben Angriffe, 17 davon brachen beide Modelle bei jedem einzelnen Versuch. Bei diesem Bot mischte das größere Modell neu, welche Angriffe an den Rändern durchkommen. Das Loch schließt es nicht.
Gegen ein echtes Guardrail-Framework: 46 Angriffe, in das Chat-Eingabefeld getippt, kamen nicht durch. Ein Angriff in einem abgerufenen Dokument kam ebenso wenig durch, solange beide Rails eingeschaltet waren. Schalten Sie den Ausgangsfilter ab, und dasselbe Dokument spaziert bei jedem einzelnen Versuch hinaus. Eingangsfilter lesen, was der Nutzer tippt, und sehen nie, was Ihre Wissensbasis dem Modell reicht, also war der Eingangsfilter nie das, was es aufgehalten hat.
Wir haben dieselben Nachrichten erneut an diesen Guard geschickt, und er war nicht immer mit sich selbst einig: fünf Formulierungen bekamen bei identischer Eingabe unterschiedliche Urteile, und eine ganz normale Frage wurde in zehn von zwölf Fällen durchgelassen. Deshalb berichten wir, wie viele Versuche etwas gebrochen haben, und nicht, ob einer es tat. Ein einzelner Lauf ist die Geschichte eines einzelnen Nachmittags, und das gilt für ein sauberes Ergebnis genauso wie für ein schlechtes, unseres eingeschlossen.
Derselbe Guard, der jenes Dokument blockierte, verweigerte auch die Antwort auf 6 von 9 gewöhnlichen Kundenfragen zu den betroffenen Themen. Ein Schutz, der Ihren Kunden „nein“ antwortet, ist eine Zahl, die Sie vor dem Release haben wollen, nicht danach.
Ein Scanner, der immer etwas findet, ist nichts wert, also haben wir die Gegenprobe gemessen: 1500 harmlose Proben über 30 Ziele, in keiner davon ein Angreifer, durch dieselben Prüfungen. Die Hälfte davon sind Nutzer, die völlig legitim über Sicherheit sprechen, denn genau das bricht einen Pattern-Matcher: eine Entwicklerin, die die fehlschlagende Query einfügt, ein Support-Mitarbeiter, der einen Stacktrace weiterleitet, jemand, der fragt, ob eine täuschend ähnliche Domain echt ist.
Hier geschriebene Bots sind der leichte Fall, also wurde es auf ein Agenten-Framework gerichtet, das hier niemand entworfen hat. Es erzeugte acht Fehlalarme in einem Lauf von 48 sauberen Prompts, in vier Kategorien, die 480 Proben gegen unsere eigene Flotte kein einziges Mal hervorgebracht hatten. Alle vier sind behoben, und die zwei Regeln darunter lassen jetzt unseren Build scheitern statt Ihren Bericht: keine Prüfung darf die Frage lesen, und keine Prüfung darf die eigenen Worte des Agenten als Beleg dafür behandeln, was im System passiert ist.
Gegen dieselben fremden Ziele gelaufen wie garak und promptfoo, und jede Antwort aller drei nach einer einzigen Teilstring-Regel bewertet statt nach dem Judge des jeweiligen Werkzeugs. Bei einer RAG-Anwendung ganz ohne Guardrails gilt: 46% der harmlosen Proben liefern die gesetzte Zeichenfolge schon von sich aus zurück, weshalb eine Zählung der Befunde die Anwendung misst und nicht den Angreifer. Eines der drei Werkzeuge sagt das in seinem Bericht. Auf dem geschützten Ziel erreichen alle drei nach der gemeinsamen Regel null, und wir waren die Einzigen, die überhaupt etwas gefunden haben, einen Einbruch in 324 Versuchen, während dasselbe Deployment die Antwort auf 38 von 48 gewöhnlichen Kundenfragen verweigert. Die Vergleichsseite nennt auch, wo die anderen beiden besser sind, und eine Behauptung, die wir zurückgezogen haben, nachdem ein Gutachter nach einem p-Wert fragte. Den Vergleich lesen.
Ein Profil aus zwölf Proben, alle harmlos: fünf Bots gaben ihre eigenen Anweisungen auf eine schlichte Bitte hin heraus. Einer gab seinen vertraulichen Sitzungsschlüssel genau in dem Satz aus, der ihm verbot, diesen Schlüssel weiterzugeben. Zwei meldeten einen Datenbank-Neustart, obwohl sie kein Tool hatten, das irgendetwas hätte neu starten können.
Jeder Lauf wird aufbewahrt, deshalb trägt jeder Befund das Datum, an dem er zuerst auftauchte. „Kritisch“ ist eine Meinung. „Kritisch und seit dem Dritten offen“ ist eine Tatsache darüber, wie ein Team auf solche Befunde reagiert, und genau diese Zeile bringt eine Korrektur in die Planung.
Ein Befund, der nach dem Schließen wiederkommt, wird als zurückgekehrt gekennzeichnet und nicht still neben den neuen mitgezählt. Eine Korrektur, die nicht gehalten hat, ist das unangenehmere der beiden Gespräche, und beides zu vermischen verbirgt es.
Wenn ein Lauf einen Angriff nicht schickt, steht dieser Angriff als ungeprüft im Bericht, niemals als behoben. Das Fehlen eines Befunds ist kein sauberes Ergebnis, und ein Bericht, der beides verwischt, sagt Ihnen, Ihre Schwachstellen seien weg, obwohl niemand hingesehen hat.
Manche Aufrufe reichen einem Tool einen Wert, der in keinem für uns lesbaren Text auftaucht. Wir führen diese getrennt auf und sagen Ihnen, welches Log sie öffnet, denn der Unterschied zwischen „wir haben geprüft, und es war sauber“ und „wir konnten es nicht sehen“ ist der Unterschied zwischen einer Messung und einem Versprechen.
„Wir haben ihm gesagt, er soll keine Geheimnisse preisgeben“ ist eine Behauptung und kein Schutz: auf den Zielen hier fiel sie schon innerhalb der ersten paar Angriffe. QAtration spricht Bots, die wirklich abgeriegelt sind, ebenso frei, deshalb bedeutet ein sauberes Ergebnis auch etwas. Es misst Ihren Bot, statt einfach immer falschen Alarm zu schlagen.
Apache 2.0. Installieren Sie es, richten Sie es auf Ihr eigenes Deployment, bewahren Sie die Belege auf.