Nøjagtighed
Hvordan leverandører kan snyde med tallet, og hvad du skal spørge om.
Indhold
Nøjagtighed er andelen af modellens forudsigelser som faktisk er korrekte. Når en model klassificerer e-mails som 'svindel' eller 'ikke svindel', viser nøjagtigheden hvor stor en del af alle e-mails modellen har ramt rigtigt. Tallet er et overblik, ikke hele sandheden, fordi det ikke ser, hvilke fejl der betyder mest for din virksomhed.
Sådan virker Nøjagtighed i praksis
Forestil dig en maskine, der sorterer sager ind i to bunker: rigtig og forkert. Nøjagtighed fortæller hvor stor en del af alle sager, der ender i den rigtige bunke. Analogien hjælper, men i praksis spiller fordelingen af sager en stor rolle. Hvis kun 1 % af sagerne er svindel, vil en model, der altid svarer 'ikke svindel', få 99 % i nøjagtighed, uden nogensinde at finde svindel.
Precision og recall: hvad de betyder
Precision (på dansk ofte kaldet præcision) svarer på spørgsmålet: af de sager modellen pegede på som positive, hvor mange var faktisk positive? Recall (ofte kaldet genkaldelsesrate) svarer på: af alle de rigtige positive sager, hvor mange fandt modellen? Høj precision betyder få falske positiver; høj recall betyder få falske negativer. Du får ikke begge dele gratis; ofte skal du vælge, hvad der er vigtigst for jer.
Hvorfor '95 % nøjagtighed' ikke er nok
Leverandører bruger et enkelt tal, fordi det lyder stærkt. Men som leder skal du altid stille to opfølgende spørgsmål: "Målt på hvad?" og "Hvad koster de sidste 5 % fejl i praksis?" Et tal kan dække over, at modellen misser de vigtigste sager eller at den giver mange falske alarmer, som skaber ekstra arbejde. Spørg også efter confusion matrix eller en simpel opdeling i true positives, false positives, true negatives og false negatives, så ved du, hvad nøjagtigheden skjuler.
Eksempel: Nøjagtighed set af en indkøber
En indkøber i en mellemstor produktionsvirksomhed prøver et system, der automatisk kategoriserer leverandørfakturaer. Efter en uge viser leverandøren 96 % nøjagtighed. Indkøberen opdager dog, at fejlene primært er hos 5 små leverandører med utypiske fakturaer, de bliver konsekvent sat i 'fejl'-kassen. Det betød manuelt arbejde i en hel eftermiddag og en forsinket betaling. Resultatet var at systemet fungerede fint for 95 % af fakturaerne, men skabte ekstra arbejde for resten. Indkøberen bad derfor om dataeksempler og bed om en plan for, hvordan systemet håndterer sjældne formater.
Hvad du skal være opmærksom på
Nøjagtighed er nyttig, men aldrig alene. Kombinér den med precision og recall, og sikr dig indsigt i datagrundlaget og Datakvalitet. Når I tester et værktøj, få konkrete eksempler på fejlene, så I kan vurdere om en fejl er en irritation eller en forretningsrisiko. Nøjagtighed hjælper med et glance, men beslutningen kræver detaljer, og det er altid OK at stille ubehagelige spørgsmål.
Vil I arbejde videre med nøjagtighed på jeres egne opgaver, er det dét, en AI-workshop går ud på. Skal I beslutte, hvor meget nøjagtighed må fylde hos jer, er det den slags valg, AI-rådgivning handler om.
Ofte stillede spørgsmål om Nøjagtighed
Er nøjagtighed det samme som precision?
Nej. Nøjagtighed måler andelen af alle korrekte svar. Precision måler kun andelen korrekte blandt de sager modellen pegede på som positive. De siger to forskellige ting.
Kan en model være 95 % nøjagtig og stadig være ubrugelig?
Ja. Hvis fejlene er netop dem, I bekymrer jer om, eller hvis data er skævt fordelt, kan 95 % dække over alvorlige mangler. Spørg hvilken type fejl der ligger i de sidste 5 %.
Hvordan tester jeg precision og recall uden udviklere?
Bed leverandøren om et lille testset med kendte eksempler eller om en rapport med true/false positives og negatives. Du kan derefter se hvilke fejl der opstår og vurdere konsekvenserne.
Bør jeg bekymre mig om Datakvalitet når jeg ser nøjagtighed?
Ja. Dårlige eller skæve data giver misvisende nøjagtighedstal. Sammen med leverandøren skal du tjekke, om data dækker jeres virkelige sager, eller om nøjagtigheden kun gælder et idealiseret datasæt.
AI-rådgiver og underviser, grundlægger af AI Hero i Herning. Har bygget digitalt i over 20 år og hjælper danske virksomheder med at få AI i drift. Læs mere om Brian.