Overfitting

Overfitting betyder, at en model har lært Træningsdata så præcist, at den også har taget støj og tilfældigheder til sig. Den ser derfor skarp ud på de data, den trænede på, men klarer sig dårligt på nye dokumenter, kunder eller situationer. Problemet opdages ved at teste modellen på data, den ikke har set før.

Sådan virker Overfitting i praksis

Overfitting svarer til en medarbejder, der har øvet sig på præcis de spørgsmål, der var i sidste års prøve, og derfor får topkarakter på genopfriskningen, men bryder sammen ved nye formuleringer. I en arbejdsdag oplever du det, når en automatiseret klassifikation eller anbefaling virker perfekt i demoen, men begynder at lave mærkelige fejl, så snart I fodrer den med jeres egne PDF'er, regneark eller nye prislister. Det er ikke modelens intelligens, der svigter; det er generaliseringsevnen.

Overfitting: hvorfor demoer skuffer i drift

For en leder er overfitting den klassiske forklaring på, hvorfor en proof-of-concept imponerer, men en egentlig udrulning skuffer. Spørg leverandøren: hvordan har I delt data mellem træning og test, og hvilken performance viser modellen på helt usete data? Hvis de kun viser resultater på træningssættet, så lyder tallene bedre, end de vil være i drift. Du bør også bede om eksempler på fejl på nye data, ikke kun succeserne... men ikke hvis du er lidt smart: spørg efter konkrete testfiler fra jeres branche.

Eksempel: Overfitting hos en indkøber

En indkøber i en mellemstor produktionsvirksomhed skulle automatisere modtagelsen af leverandørcertifikater. Leverandøren viste en demo, hvor modellen korrekt genkendte felter i 450 trænings-PDF'er. Indkøberen bad om en pilot på 200 nye certifikater, sendt fra tre forskellige leverandører, inklusive scannede JPG'er og en 60-siders manual. Modellen begyndte at mislabelere felter i de scannede filer og overså noter på bagsiderne. Modstanden var, at eksportøren fra leverandør A brugte en anden layout; leverandøren havde ikke testet på de scannede varianter. Resultatet: indkøberen brugte to uger på at samle flere eksempler og bad leverandøren gentræne modellen med ægte scannede certifikater, og der kom en ekstra omkostning til gentræning og kvalitetssikring.

Overfitting er ikke det samme som Underfitting

Underfitting er det modsatte problem: modellen er for simpel og fanger ikke mønstrene i Træningsdata. Underfitting viser sig ved dårlige resultater både på træning og på nye data. Overfitting viser sig ved god træningsperformance og dårlig performance på usete data. Begge problemer opdages ved at holde testdata adskilt fra træning og ved at måle præstation på flere typer data.

Sådan undgår I overfitting

1. Del data op: hold altid et helt sæt data ude til test, og bed leverandøren vise resultater på det sæt.
2. Variér testdata: inkluder scannede dokumenter, ældre prislister, og eksempler fra leverandører I normalt arbejder med.
3. Kræv holdbarhedstest: få leverandøren til at vise performance over tid og på nye batches, ikke kun på de data, de trænede på.
4. Be om transparens: spørg hvilke typer data der var i træningen, og om der er manuelle regler skjult bag modellen.
5. Plan for drift: sæt en proces op for løbende overvågning og gen-træning, når modelens fejltype eller datamønster ændrer sig.

Brug disse trin som krav i udbud eller kontrakt, så I ikke betaler for en demo, der kun virker på papiret. Overfitting er almindeligt, men håndterligt, hvis I stiller de rigtige spørgsmål og tester med jeres egne, usete data.

Skal flere end én i huset kunne noget med overfitting, så se, hvordan en AI-workshop er skruet sammen. Vil I have et bud på, om overfitting overhovedet er jeres næste skridt, så er det dét, AI-rådgivning er til for.