Datamærkning (annotering)

Datamærkning betyder at give data en etiket, for eksempel "klage", "ordre", "ridse" eller "prisblad 2019", så en maskine kan lære at genkende mønstre i superviseret læring. Arbejdet er ofte manuelt: mennesker vurderer indhold og sætter rigtige labels. Kvaliteten og konsistensen i mærkningen bestemmer i høj grad, hvor godt modellen kan udføre opgaven, og moderne sprogmodeller kan assistere med at foreslå eller forfine labels.

Sådan virker Datamærkning i praksis

Tænk på en bunke med 500 kundemails, som en medarbejder skal sortere. Datamærkning tilsvarer at åbne hver mail og skrive "bestilling", "klage" eller "teknisk support" ved siden af. Når nogle hundrede eller tusind eksempler er mærkede, kan en model se sammenhængen mellem ordvalg, sætninger og de rigtige labels og derefter forsøge at genkende labels på nye henvendelser. I praksis er processen også at lave regler for tvivl: hvad gør I med spam, hvad med mails der har flere emner, og hvem træffer afgørelsen ved uenighed.

Når I vil have AI til at klassificere henvendelser, produkter eller fejl

I overvejer datamærkning, når I vil automatisere rutineopgaver: sortere henvendelser, kategorisere produkter eller finde fejlmeldinger i rapporter. Et godt spørgsmål at stille er, hvor mange mærkede eksempler I har brug for, ofte starter virksomheder med nogle hundrede klare eksempler per kategori. Overvej også, hvem der forstår konteksten: en sælger ser produktvarianten, en kontorleder ser fakturaoplysninger. Hvis I springer kvaliteten over, får I en model, der lærer jeres fejl, ikke jeres intentioner.

Eksempel: Datamærkning hos en dansk virksomheds kontorleder

En kontorleder i en mindre installationsvirksomhed får midt i kvartalet en opgave: AI skal genkende tre typer henvendelser i postkassen, så montørerne kun ser relevante opgaver. Hun samler 420 e-mails fra det sidste år, en scannet 60-siders manual og 120 indscannede fejlrapporter. I løbet af to uger og cirka 30 timers arbejde sammen med to kolleger bliver hver mail mærket som "bestilling", "ændring" eller "fejlmelding". Modstanden kom fra uklare grænsetilfælde: var en mail med både spørgsmål og bestilling en "bestilling" eller "spørgsmål"? Teamet måtte oprette en regel og lave en ekstra kategori "kombineret". Modellen blev herefter trænet med de mærkede eksempler, men der var efterfølgende løbende oprydning: 60 af de første labels skulle rettes, fordi kollegerne havde tolket kategorier forskelligt. Det kostede tid, men også vigtig viden om, hvordan I definerer kategorierne i praksis.

Datamærkning er ikke det samme som automatisk tagging eller AI-vandmærke

Datamærkning er manuelt eller semiautomatisk arbejde med at sætte labels i jeres egne data; automatisk tagging kan være forslag fra en model, som I stadig skal godkende. Datamærkning skal heller ikke forveksles med et AI-vandmærke, som handler om at markere genereret indhold. Hvis jeres data indeholder Persondata (PII), kræver mærkning særlig opmærksomhed på adgang og anonymisering. Mærkning af AI-indhold er en separat opgave, hvor indholdet vurderes som genereret eller ej.

Hvad du skal være opmærksom på

Lav klare definitionsdokumenter for hver label, så to forskellige personer forstår kategorierne ens. Start smalt: få 2-6 veldefinerede labels, og lav en prøvegruppe på 200-500 eksempler. Tjek løbende kvaliteten ved at lade flere personer mærke samme sæt og måle uenighed. Vær opmærksom på Persondata (PII): anonymiser eller begræns adgangen når det er nødvendigt, og tjek reglerne hos Datatilsynet. Husk også, at sprogmodeller i dag kan hjælpe med forslag og rensning af labels, men de erstatter ikke den menneskelige beslutning i tvivlstilfælde.

Er I i tvivl om, hvad datamærkning betyder for jeres eget ansvar, så tag det med i AI-rådgivningen.