Kvalitetssikring af AI-output

Kvalitetssikring af AI-output handler om faste arbejdsprocesser, hvor menneskelige tjek stopper ukorrekt eller risikabelt indhold, før det sendes videre. Det omfatter faktatjek, stikprøver, formelle godkendelsestrin og klare regler for, hvad AI aldrig må udsende uden menneskelig kontrol. Niveauet afpasses altid efter risikoen: et internt udkast kræver mindre kontrol end et kundetilbud.

Hvorfor lederen skal sikre kvalitetssikring af AI-output

Du har ansvaret for det, virksomheden sender ud. AI skriver med stor selvsikkerhed, også når den tager fejl. Derfor er kvalitetssikring ikke et ekstra lag, men en del af arbejdsgangen. Som leder skal du beslutte, hvor meget menneskelig kontrol, eller Human in the loop, der skal være for de forskellige typer output, hvem der godkender, og hvornår en sag skal eskaleres. Tænk på det som fire-øjne-princippet i digital form: stor magt, stort ansvar. Hvis I ikke fastsætter regler, opstår utilsigtede hændelser, kundeklager eller regulatoriske problemer.

Sådan virker kvalitetssikring af AI-output i praksis

I praksis er der flere lag. Først et teknisk filter: automatiske checks, som fanger åbenlyse fejl, stødende sprog eller uoverensstemmelser i tal. Så kommer menneskelige stikprøver og faste godkendelsestrin. Et typisk flow: AI genererer et udkast, en medarbejder gennemgår indholdet med en tjekliste, og ved høj risiko kræves godkendelse fra en leder. Reglerne skal være konkrete: hvad må rettes af en sagsbehandler, og hvad må kun ændres efter godkendelse.

Rutinerne er også forskellige afhængigt af konteksten. Et internt resume af et møde har en lavere tærskel for menneskelig kontrol end et juridisk tilbud. I bør kategorisere output i risikoniveauer og bestemme kontrolniveau per kategori. Human in the loop betyder, at et menneske aktivt indgår i beslutningen, ikke bare tjekker efterfølgende. Det kan være blot godkendelse eller en komplet redigering, afhængigt af risikoen.

Hvordan I måler fejlrate og følger udviklingen

Måling er enkel i princippet: registrer fejl ved stikprøver og beregn andelen forkerte svar over tid. Start med en baseline: træk 50-100 eksempler fra produktionsflowet og bed fagfolk vurdere dem som korrekt/ukorrekt. Lav et dashboard hvor I følger fejlrate pr. outputtype, antal rettelser pr. dokument og tid brugt på korrektur. Sæt en acceptabel tærskel for hver kategori, og lav alarmer, når fejlraten overskrider den.

Kvantificering hjælper jer med at prioritere. Hvis et kort kundebrev fejler 2 procent, men et tilbud fejler 8 procent, skal fokus være på tilbuddet. Brug trends, ikke enkeltmålinger. Hold også øje med nye fejltyper: et fald i én type fejl kan komme sammen med en stigning i en anden. Log beslutninger og begrundelser, så I kan gennemgå, hvorfor en menneskelig godkendelse var nødvendig, og om den rettede problemet.

Eksempel: Kvalitetssikring af AI-output hos en økonomichef

Økonomichefen på en lille rådgivervirksomhed ville automatisere udkast til kundeopslag og tilbud midt i månedens tilbudsperiode, tre uger før en stor udbudfrist. AI kunne lave udkastet på få minutter, men i en stikprøve på 40 tilbud fandt regnskabschefen to uoverensstemmelser i rabatberegninger og en forkert reference til en standardpris. De to fejl kostede tre timers rettelse og en ekstra godkendelsesrunde den næste dag. Som modtræk indførte økonomichefen et obligatorisk godkendelsestrin for tilbud over et vist beløb, en simpel tjekliste for rabatter og en daglig stikprøvekontrol på fem tilbud. Det skabte ekstra arbejde i starten, men gjorde processen håndterbar, og nu ved teamet, hvornår de må stole på AI, og hvornår et menneske skal tage over.

Kvalitetssikring af AI-output er ikke det samme som automatiseret overvågning eller modeltræning

Kvalitetssikring er en operationel rutine, ikke en teknik for at gøre modellen bedre. Overvågning (monitoring) holder øje med tekniske problemer, som nedetid eller responstid. Modeltræning eller fine-tuning ændrer modellen, så den bliver bedre i næste version. Human in the loop er en del af kvalitetssikring, fordi mennesker træffer eller validerer beslutninger, men det er ikke synonymt med at automatisere alt eller med at droppe menneskelig kontrol.

Sådan kommer du i gang med kvalitetssikring af AI-output

1. Kortlæg jeres output: hvilke typer tekster eller beslutninger kommer AI til at levere, og kategoriser dem efter risiko.
2. Lav præcise regler: for hver risikokategori definerer du hvem, der godkender, og hvad en godkendelse kræver.
3. Start med stikprøver: træk 50-100 eksempler, vurder fejlrate, og fastsæt måltal og alarmer.
4. Implementer tjeklister og godkendelsestrin i eksisterende arbejdsgange, ikke som en ekstra kanal.
5. Mål løbende, hold kvartalsvise gennemgange, og juster kontrolniveauet efter erfaring.

Vil I være på den sikre side juridisk, så tjek reglerne hos Datatilsynet. Kvalitetssikring er aldrig en statisk opgave, men en løbende beslutning om, hvor meget I vil lade AI bestemme, og hvor meget et menneske skal tage over.

Skal I beslutte, hvor meget Kvalitetssikring af AI-output må fylde hos jer, er det den slags valg, AI-rådgivning handler om.