Red teaming
Sikrer, at chatbotten ikke fejler, lækker data eller siger skadelige ting.
Indhold
Red teaming er en målrettet øvelse, hvor man bevidst forsøger at få et AI-system til at fejle, afgive skadeligt indhold eller lække fortrolige oplysninger, før brugerne møder det i virkeligheden. Begrebet er lånt fra it-sikkerhed og militæret; i AI-sammenhæng handler det om at finde svagheder ved angreb, ondsindede prompts eller utilsigtede afsløringer.
Sådan virker red teaming i praksis
I praksis sætter du et hold til at angribe systemet fra brugerens side. Holdet prøver alt fra provokerende spørgsmål og manipulerende prompts til indhold, der kan få modellen til at afsløre kundeoplysninger eller give farlige råd. Testene grupperes: sikkerhed (dataudslip), indhold (skadeligt eller vildledende svar) og robusthed (hvordan modellen reagerer på forkert input). Du får konkrete fejlscenarier, ikke bare en teknisk tjekliste.
Når chatbotten skal ud til kunderne: kræv red teaming
Når en Chatbot skal ud til kunderne, er red teaming svaret på "hvad sker der, hvis nogen prøver at drille den". Som leder skal du gøre det til en betingelse for lancering: kræv en rapport med de største risici og hvilke rettelser der er indført. Red teaming viser ikke kun om noget kan gå galt, det viser også, hvem der skal reagere, når det går galt: support, IT eller den databeskyttelsesansvarlige.
Eksempel: Red teaming af en kundeservice-chatbot
Den databeskyttelsesansvarlige i en lille webshop beslutter midlertidigt at teste den nye kundeservice-chatbot tre uger før planlagt lancering. To kundeservicemedarbejdere og en IT-medarbejder bruger to dage på at granske 120 kundedialoger og lave 40 målrettede tests: aggressive prompts, krav om persondata og forsøg på prompt injection. En af testene får botten til at gengive en kundes faktura-id fra et tidligere testflow. Problemet kræver en rettelse af promptstyringen og et ekstra loglagringslag, og det tager udvikleren fem timer at implementere rettelsen. Øvelsen kostede tid og lidt friktion, men afslørede en konkret lækagerisiko der ellers ville være svær at finde.
Hvad du skal være opmærksom på
Red teaming afdækker sårbarheder, men fjerner dem ikke automatisk. For modeller med systemisk risiko kræver AI-forordningen (EU AI Act) dokumentation af risikostyring, og større leverandører bruger red teaming som en del af deres certificering; tjek selve teksten i AI-forordningen (EU AI Act) for detaljer. Husk også persondata: hvis tests involverer rigtige kundedata, skal du inddrage den databeskyttelsesansvarlige og følge rådene fra Datatilsynet. Endelig: red teaming er som en brandøvelse for software, ikke en garanti. Gentag testen regelmæssigt, og dokumenter både hvad I testede og hvad I rettede.
Valget om red teaming er sjældent kun teknisk. Retningen sættes med AI-rådgivning. Det er svært at læse sig til red teaming. I kommer længere med en workshop, hvor I bygger på jeres egne opgaver.
Ofte stillede spørgsmål om Red teaming
Er red teaming det samme som almindelig test?
Nej. Almindelig test fokuserer på funktionalitet og fejl; red teaming er aktivt angrebstankesæt for at få systemet til at fejle på måder, der kan skade brugere eller lække data.
Koster red teaming meget for en lille virksomhed?
Det kan gøres simpelt og billigt: et par medarbejdere kan lave en grundlæggende øvelse over et par dage. Mere dybdegående tests med eksterne eksperter koster mere, men giver også en mere systematisk afdækning af risici.
Kræver AI-forordningen red teaming?
AI-forordningen stiller krav om risikostyring og dokumentation for højrisk-modeller, og red teaming er en anerkendt metode. Tjek teksten i AI-forordningen (EU AI Act) for, om det gælder jeres løsning.
Kan vi lave red teaming uden udviklere?
Ja. Ikke-tekniske medarbejdere kan udføre mange tests på en Chatbot ved at simulere brugerspørgsmål og manipulerende prompts. Involver udviklere, når I skal rette fejl eller sikre logning og adgangskontrol.
AI-rådgiver og underviser, grundlægger af AI Hero i Herning. Har bygget digitalt i over 20 år og hjælper danske virksomheder med at få AI i drift. Læs mere om Brian.