Modeldrift
En model, der passede ved go-live, kan pludselig begynde at fejle, uden at I opdager det.
Indhold
Modeldrift betyder, at en AI-model over tid begynder at levere dårligere eller mindre pålidelige resultater, fordi omverdenen ændrer sig, mens modellen står stille. Datadrift er en almindelig årsag: nye produkter, ændret kundeadfærd eller nye formuleringer i de inddata, modellen får. Derfor skal enhver AI-løsning have løbende overvågning, ejerforhold og en plan for opdatering; 'sæt op og glem' findes ikke.
Sådan virker modeldrift i praksis
Modeldrift svarer til, at I har en checkliste, der blev skrevet for et år siden, men opgaven nu gøres på en anden måde. Modellen husker mønstre fra træningsdataene; når kunderne ændrer sprog, eller produkter forsvinder fra sortimentet, passer de mønstre ikke længere. Resultatet er flere forkerte anbefalinger, flere falske positiver eller en chatbot, der misforstår spørgsmål. Overvågning giver jer besked tidligt, ikke når kunderne begynder at klage.
Hvorfor modeldrift er et lederansvar
Som leder skal du sikre, at leverandøren eller den interne projektleder har et klart ansvar for drift, målepunkter og rapportering. Aftal hvem der måler KPI'er, hvor ofte der kører en sundhedstjek, og hvad der sker, hvis nøjagtigheden falder. Beslut også, om I vil have automatiske alarmer, faste kvartalsreviews eller et PoC, der indbefatter en driftplan før go-live. Budgetér tid til at gennemgå datasæt og beslut, om I vil bruge fine-tuning eller opdatere træningsdatasættet, det koster tid og ofte lidt penge.
Eksempel: Modeldrift hos en kontorleder
En kontorleder i en mindre handelsvirksomhed implementerede en AI til at klassificere leverandørfakturaer. Systemet kørte fint ved go-live midt i september, men tre måneder senere var en ny leverandørkategori kommet til og flere fakturaer var scannet på en anden måde. Klassificeringen fejlede i en mailkæde på ti beskeder, og kontorlederen måtte manuelt rette hundredvis af poster over to dage. Problemet var, at ingen havde planlagt overvågning eller en proces for at opdatere datasættet. Løsningen krævede en hurtig gennemgang af de nye PDF-typer, en opdateret datastrøm og en aftale om månedlig kontrol.
Sådan opdager og håndterer du modeldrift
- Målepunkter: Vælg enkle KPI'er som nøjagtighed, andel manuelle korrektioner og svartid. Mål dem løbende.
- Alarmgrænser: Aftal tærskler for, hvornår der skal handles, og hvem der informeres.
- Undersøg data: Når en alarm går, tjek det relevante datasæt for ændringer i form eller indhold.
- Opdater: Overvej fine-tuning med nyt datasæt eller genoptræning, afhængig af omfanget.
- Dokumentér: Sørg for logning, ejerforhold og en plan i jeres drift- eller leveranceaftale.
Modeldrift kan krybe ind på jer, fordi verden ændrer sig. Enkle målepunkter og faste rutiner fanger det tidligt, så I undgår større genopretninger... og panik i regnskabet.
Vil I have modeldrift sat i drift på jeres egen maskine, er det dét, AI Hero Sidekick er bygget til. Er I i tvivl om, hvad modeldrift betyder for jeres eget ansvar, så tag det med i AI-rådgivningen.
Ofte stillede spørgsmål om Modeldrift
Er modeldrift det samme som datadrift?
Nej. Datadrift handler om, at de inddata ændrer karakter, for eksempel ny kundetype eller nye ordformer. Modeldrift er effekten: modellens resultater bliver dårligere, fordi den ikke er opdateret til de nye data.
Koster modelvedligeholdelse meget?
Det varierer. Simpel overvågning og månedlige checks kan klares med få timer om måneden, mens genoptræning eller fine-tuning af modellen kræver mere tid og ofte et lille projektbudget. Aftal niveauet før go-live.
Hvordan kan jeg opdage modeldrift tidligt?
Mål enkle KPI'er som nøjagtighed, andel manuelt korrigerede sager og svartider. Sæt tærskler, automatiser alarmer, og gennemgå de relevante datasæt, når noget afviger.
Kan jeg undgå modeldrift med et PoC?
Et PoC kan afdække risici og give en plan for drift, men det forhindrer ikke fremtidig drift. Brug PoC'en til at definere overvågning, ejerskab og opdateringsrutiner, så I ikke står uden ansvar efter go-live.
AI-rådgiver og underviser, grundlægger af AI Hero i Herning. Har bygget digitalt i over 20 år og hjælper danske virksomheder med at få AI i drift. Læs mere om Brian.