Benchmark
Tallene bag 'bedst i test', og hvorfor de sjældent viser, hvad I har brug for.
Indhold
Benchmark er en standardiseret test, hvor en række spørgsmål eller opgaver gives til flere modeller for at sammenligne deres præstation. Benchmarks kan være store forskningssæt som MMLU eller SWE-bench, brugerafstemninger på LMArena eller sprogtests som EuroEval for nordiske sprog. Tallene forklarer overskrifter som “ny model slår GPT”, men de svarer kun præcist på den konkrete test de målte.
Sådan virker Benchmark i praksis
En benchmark består af et sæt opgaver: multiple choice, læseforståelse, kodning eller bedømmelse af genereret tekst. Modellerne får samme opgaver, og man beregner en score for korrekthed, kvalitet eller brugervenlighed. Forestil dig en prøve i folkeskolen: den elev, der har øvet sig i prøvens spørgsmål, klarer sig godt, selvom vedkommende ikke nødvendigvis forstår faget bedre. Det samme sker med modeller: de kan være optimeret til netop den type spørgsmål i benchmarket.
Benchmarks giver et sammenligningsgrundlag. De er nyttige, når du vil se tendenser, eksempelvis om nyere arkitekturer generelt klarer visse typer opgaver bedre. Men en benchmark svarer ikke på, hvordan en model håndterer jeres kundesupport på dansk, jeres produktmanualer eller jeres økonomisystem.
Hvorfor Benchmark er relevant for din virksomhed
Som leder læser du ofte overskrifter om “bedste model”. De scorer godt i benchmarks, og det er et signal, men ikke en garanti. Benchmarks er relevante, fordi de viser modellernes relative styrker. De hjælper dig med at stille de rigtige spørgsmål til leverandører: Hvilke benchmarks brugte I? Dækker de dansk? Dækker de opgavetyper som jer? Hvornår blev testen lavet?
Du skal tænke i jeres konkrete mål: sprog (dansk er ofte underrepræsenteret), opgavetype (svarformidling, ekstraktion, sammenfatning) og risikotolerance. En høj benchmark-score er et argument for at teste videre, ikke et købsgrundlag for sig selv.
Eksempel: Benchmark hos en dansk virksomhed
En marketingchef i en mellemstor webshop tester to modeller efter en artikel, der hævder, at model X er bedst. Det er tirsdag morgen, ugen før Black Week, og chefen har tre opgaver: skrive produktbeskrivelser, rette dansk i kundemails og generere korte annoncemeddelelser. Hun prøver de to modeller med fem produkttekster, en række kundemails og en annoncebrief. Begge modeller scorer fint på engelske benchmark-resultater, men i praksis oplever hun forskelle: den ene laver grammatiske fejl i kollektive substantiver, den anden misforstår branche-specifikke termer i en prisliste fra 2019. Der er også modstand: at få faste arbejdsgange på plads tog to dage, og en kollega måtte manuelt rette 12 af 30 genererede beskrivelser.
Resultatet blev ikke en entydig vinder. Til gengæld fik hun et beslutningsgrundlag: hvilken model der kræver mindst efterredigering, og hvilke prompts eller regler der skal til for at sikre korrekt dansk. Læringen var klar: benchmarks gav en indikation, men de små, virkelige tests viste, hvad der ville virke i uge 44.
Benchmark er ikke det samme som Evals eller brugertests
Benchmarks er standardiserede tests; Evals (evaluering af AI) er et bredere begreb, der også kan inkludere brugerundersøgelser, stress-tests og sikkerhedstjek. En leaderboard-score måler ofte én dimension, nøjagtighed på en opgaveliste, mens en eval kan måle robusthed, bias og brugeroplevelse. Brugertests med egne data fortæller noget helt andet: hvor meget tid dine medarbejdere sparer, eller hvor ofte output skal rettes.
Sådan kommer du i gang med egne små tests
- Vælg 10-20 typiske eksempler fra jeres daglige arbejde: emails, produktark, faktafAkriverede tekster.
- Kør de samme eksempler igennem de modeller, du overvejer, og gem output.
- Mål tre konkrete ting: korrekthed i dansk, tid til at rette, og hvor ofte modellen giver potentielt vildledende svar.
- Bed to kolleger bedømme output blindt, så subjektive præferencer ikke styrer valget.
- Brug resultaterne til at stille krav i udbud eller til leverandøren.
En benchmark er et nyttigt signal, men husk at den sjældent er skåret til jeres sprog og opgaver. Gør de små, lokale tests, og så vælger du med viden, ikke med en overskrift. Men hvis du er lidt smart, kan du bruge både benchmarks og egne tests sammen: den ene viser landskab, den anden viser husets rum.
Vil I arbejde videre med benchmark på jeres egne opgaver, er det dét, en AI-workshop går ud på. Skal I beslutte, hvor meget benchmark må fylde hos jer, er det den slags valg, AI-rådgivning handler om.
Ofte stillede spørgsmål om Benchmark
Er en høj benchmark-score lig med den bedste model for os?
Nej. En høj score viser, at modellen klarer en bestemt test godt. Den siger ikke noget entydigt om præstation på dansk eller på jeres specifikke opgaver. Test altid med egne eksempler.
Hvad forskellen på benchmark og evals (evaluering) er?
Benchmark er en standardiseret test med faste opgaver og scorer. Evals er bredere og kan inkludere brugertests, robusthedstest og vurdering af bias. Evals giver ofte et mere praktisk billede af, hvad I oplever i drift.
Kan vi bruge benchmarks til at købe en model uden udviklere?
Benchmarks kan være et samtalegrundlag, men de bør ikke være eneste beslutningskriterium. Du kan køre simple, lokale tests uden udviklere, men involver en teknisk person til at sikre korrekt opsætning og vurdering af resultater.
Dækker benchmarks dansk, eller skal vi være bekymrede?
Mange benchmarks fokuserer primært på engelsk. Der findes tests som EuroEval for nordiske sprog, men ofte er dansk underrepræsenteret. Derfor skal du altid teste modeller med dansk indhold fra jeres dagligdag.
AI-rådgiver og underviser, grundlægger af AI Hero i Herning. Har bygget digitalt i over 20 år og hjælper danske virksomheder med at få AI i drift. Læs mere om Brian.