Ontdek waartoe een aanvaller je chatbot kan brengen.

De tekst van de aanvaller overschrijft de regels van je bot: „negeer je instructies en…”.

Je bot geeft API-sleutels, interne codes of de gegevens van een andere klant prijs.

Je verborgen instructies lekken woordelijk weg: de kaart voor elke latere aanval.

Een regel die in één beurt is geplant verandert stilletjes elk later antwoord, nog lang nadat het gesprek er weer normaal uitziet.

Je agent wordt overgehaald tot een onomkeerbare handeling: verwijderen, terugbetalen, een e-mail versturen.

SQL of een shell-commando naar binnen gesmokkeld in een tool-aanroep. Een oude bugklasse, een nieuwe voordeur.

Eén kwaadaardig document in je RAG kaapt de antwoorden op onschuldige vragen.

Een verborgen regel in de beschrijving van een tool zorgt ervoor dat je agent iets prijsgeeft bij een doodgewone vraag, zonder dat er een bericht van een aanvaller nodig is.

Als een aanval faalt, noemt het rapport wat hem heeft tegengehouden: de identiteitscontrole, het contentfilter, een rechtencontrole op de backend, of een tool-aanroep die alleen werd afgedrukt en nooit echt is uitgevoerd. Die laatste leest in een transcript als een inbraak en is niets waard.

Eén bot, twee modellen, elk 254 aanvallen, elk 3 pogingen. Het kleinere bezweek op 27 daarvan, het grotere op 24, en 18 daarvan zijn dezelfde aanvallen, waarvan er 17 bij elke afzonderlijke poging beide modellen braken. Bij deze bot verschoof het grotere model alleen wélke aanvallen aan de randen doorkomen. Het gat dicht het niet.

Tegen een echt guardrail-framework: 46 aanvallen getypt in het chatvenster, geen enkele kwam erdoor. Eén aanval meegedragen in een opgehaald document kwam er evenmin door, zolang beide rails aanstonden. Zet het uitvoerfilter uit en datzelfde document wandelt bij elke afzonderlijke poging naar buiten. Invoerfilters lezen wat de gebruiker typt, en zien nooit wat je kennisbank aan het model doorgeeft, dus de invoerrail was nooit wat het tegenhield.

We stuurden dezelfde berichten opnieuw naar die guardrail en hij was het niet altijd met zichzelf eens: vijf formuleringen kregen bij identieke invoer verschillende oordelen, en één doodgewone vraag werd tien van de twaalf keer doorgelaten. Daarom rapporteren wij hoeveel pogingen iets braken, en niet óf er één iets brak. Eén enkele run is het verhaal van één middag, en dat geldt net zo goed voor een schoon resultaat als voor een slecht, het onze inbegrepen.

Diezelfde guardrail die dat document blokkeerde, weigerde ook 6 van de 9 doodgewone klantvragen over de betrokken onderwerpen te beantwoorden. Een verdediging die „nee” zegt tegen je klanten is een getal dat je vóór het uitbrengen wilt kennen, niet erna.

Een scanner die altijd iets vindt is niets waard, dus hebben we het tegenovergestelde getal gemeten: 1500 onschuldige probes over 30 doelen, zonder ook maar één aanvaller ertussen, door dezelfde controles. De helft daarvan komt van gebruikers die met alle recht over beveiliging praten, want precies dat breekt een patroonherkenner: iemand die de falende query plakt, een supportmedewerker die een stacktrace doorstuurt, iemand die vraagt of een sterk gelijkend domein echt is.

Bots die hier zijn geschreven zijn het makkelijke geval, dus hebben we het gericht op een agentframework dat hier niemand heeft ontworpen. Het leverde acht valse alarmen op in één run van 48 schone prompts, in vier categorieën die 480 sondes tegen onze eigen vloot nog nooit één keer hadden opgeleverd. Alle vier zijn verholpen, en de twee regels eronder laten nu onze build falen in plaats van jouw rapport: geen enkele controle mag de vraag lezen, en geen enkele controle mag de eigen woorden van de agent behandelen als bewijs over het systeem.

Gedraaid tegen dezelfde doelen van derden als garak en promptfoo, waarbij elk antwoord van alle drie is beoordeeld met één substring-regel in plaats van met de eigen judge van elke tool. Bij een RAG-applicatie zonder enige guardrail geeft 46% van de onschuldige sondes de geplante tekenreeks al terug, zodat het tellen van bevindingen de applicatie meet en niet de aanvaller. Een van de drie gereedschappen zegt dat in zijn eigen rapport. Op het beschermde doel scoren alle drie nul volgens de gedeelde regel, en wij waren de enigen die überhaupt iets vonden, één inbraak op 324, terwijl datzelfde deployment 38 van de 48 doodgewone klantvragen weigert te beantwoorden. Die pagina publiceert ook waar de andere twee beter zijn, en een bewering die we hebben ingetrokken nadat een beoordelaar om een p-waarde vroeg. Lees de vergelijking.

Een profiel van twaalf probes, allemaal onschuldig: vijf bots gaven hun eigen instructies prijs op een eenvoudig verzoek. Eén drukte zijn vertrouwelijke sessiesleutel af binnen precies de zin die hem verbood die sleutel te delen. Twee meldden dat een database opnieuw was gestart terwijl ze geen enkele tool hadden die iets opnieuw kon starten.

Elke run wordt bewaard, dus elke bevinding draagt de datum waarop hij voor het eerst opdook. „Kritiek” is een mening. „Kritiek en open sinds de derde” is een feit over hoe een team op zulke bevindingen reageert, en het is die regel die een fix ingepland krijgt.

Een bevinding die terugkomt nadat je hem hebt gesloten wordt gemarkeerd als teruggekeerd, en niet stilletjes meegeteld naast de nieuwe. Een fix die niet standhield is het vervelendste van de twee gesprekken, en ze door elkaar halen verbergt dat.

Als een run een aanval niet verstuurt, staat die aanval in het rapport als niet getest, nooit als verholpen. Afwezigheid is geen schoon resultaat, en een rapport dat die twee door elkaar haalt vertelt je dat je kwetsbaarheden weg zijn terwijl niemand heeft gekeken.

Sommige aanroepen geven een tool een waarde door die in geen enkele tekst voorkomt die wij kunnen lezen. Die zetten we apart en we vertellen je welk log ze opent, want het verschil tussen „we hebben gekeken en het was schoon” en „we konden het niet zien” is het verschil tussen een meting en een belofte.