Forklarlighed (explainable AI)

Forklarlighed betyder, at I kan redegøre for hvorfor en AI leverede et bestemt resultat eller forslag. Det kan være hvilke faktorer der vejede tungest, hvilke data modellen brugte, eller hvilke regler der udløste et afslag. Forklarlighed står i kontrast til en "black box", hvor selv udviklere har svært ved at følge ræsonnementet.

Hvorfor forklarlighed betyder noget for jeres beslutninger

Når en kunde får et afslag fra banken eller en forsikring på baggrund af en AI-score, har kunden krav på meningsfuld information om logikken bag beslutningen. For jer betyder det, at I ikke bare må vise en procent eller en label, I skal kunne beskrive hvilke elementer der førte til resultatet, så en medarbejder eller en tilsynsmyndighed kan vurdere og efterprøve processen. Forklarlighed gør det nemmere at håndtere kundespørgsmål, klager og krav fra tilsyn, og den giver jer også mulighed for at rette fejl i data eller regler.

Sådan opnår I forklarlighed i praksis

1. Identificer hvad der skal forklares: er det en score, en automatisk afgørelse, eller et forslag til en medarbejder?
2. Beskriv de vigtigste faktorer i almindelige ord: hvilke datakilder, hvilke inputfelter og hvilke kategorier vejede tungest.
3. Tilføj en kort, maskinlæsbar log for hver sag, så I kan gense hvilke input modellen fik.
4. Giv en medarbejder en fast forklaringsskabelon, så samme forklaring kan bruges gentagne gange.

Forklaringerne behøver ikke være tekniske; de skal være forståelige for en kunde og genfindes i jeres dokumentation.

Eksempel: Forklarlighed hos den databeskyttelsesansvarlige i et forsikringsselskab

Den databeskyttelsesansvarlige arbejder mandag morgen i kontoret, ugen efter systemet har rullet en ny skadevurderingsmodel ud. En kunde ringede i går og krævede en forklaring på afslaget. Modellen havde brugt en scannet rapport fra 2018, tre opdaterede policetekster og kundens anmeldelsesbeskrivelse. Den databeskyttelsesansvarlige kunne først ikke finde en kort, forståelig forklaring, fordi udviklerens rapport var fuld af model-teknik. Det betød en halv dags ekstra arbejde med udvikleren for at få en simpel liste over de tre vigtigste faktorer. Resultatet blev en to-siders forklaring til kunden og en intern procedure, der mindsker svartiden næste gang. Omkostningen var arbejdstid og en kort forsinkelse i kundeservice, men læringen var, at forklarlighed kræver standardiserede skabeloner og adgang til de data, modellen brugte.

Forklarlighed er ikke det samme som gennemsigtighed i alt

Forklarlighed betyder ikke, at I skal offentliggøre hele kildekoden eller træningsdata. Det betyder, at I skal kunne redegøre konkret for en afgørelse. En AI-model kan stadig være kompleks, men I skal kunne pege på hvilke faktorer der påvirkede en given sag. Forklarlighed er heller ikke det samme som et juridisk forsvar; I skal kombinere forklaringen med dokumentation og ansvar.

Hvad du skal være opmærksom på

Automatiske afgørelser (GDPR artikel 22) og regler om højrisikosystemer stiller krav til, at I kan forklare beslutninger om mennesker. Sørg for at indbygge forklaringslogik i designfasen, ikke som et efterklokskab. Test forklaringerne: giv dem til en kollega uden teknisk baggrund og se om de forstår dem. Tjek også reglerne hos Datatilsynet hvis I arbejder med personoplysninger eller automatiske afgørelser, for regler og vejledninger ændrer sig.

Sådan kommer I i gang i praksis

1. Kortlæg scenarier hvor beslutninger påvirker mennesker, og prioriter dem.
2. Kræv en forklaringsskabelon i projektets kravspecifikation.
3. Lav et par eksempler med rigtige sager og test forklaringerne på kundeservice.
4. Indfør en simpel log, så I kan genskabe hvilke input der blev brugt i en sag.

Det er svært at få perfekt forklarlighed første gang, men start lille og gør det gentageligt.

En huskeregel: forklarlighed skal gøre en afgørelse forståelig, ikke omskrivning af modelarkitekturen. Tænk på forklaringen som revisionsnoter til en beslutning, ikke som manualen til maskinen.

Skal I beslutte, hvor meget forklarlighed må fylde hos jer, er det den slags valg, AI-rådgivning handler om. Vil I arbejde videre med forklarlighed på jeres egne opgaver, er det dét, en AI-workshop går ud på.