Parametre

Parametre er de enkeltstående talværdier inde i en sprogmodel, også kaldet vægte. De er det, modellen justerer under træning og som tilsammen rummer, hvad modellen har lært om sprog, fakta og mønstre. Når man siger "8 milliarder" eller "600+ milliarder parametre", taler man om modelstørrelsen, et mål for hvor mange tal modellen gemmer.

Hvordan parametre fungerer i korte træk

Parametre er ikke ord eller sætninger, men tallene, modellen bruger til at vurdere hvilke output der passer til en given input. Under træning justeres parametrene, så modellen bliver bedre til at forudsige næste ord, svare på spørgsmål eller oversætte. Tænk på dem som indstillinger i et meget stort regneark: hver parameter påvirker, hvordan modellen kombinerer input til et svar. Flere parametre betyder ofte, at modellen kan fange finere nuancer, men de skal stadig have passende data under træningen for at blive nyttige.

Hvorfor "X milliarder parametre" dukker op i nyheder, og hvad du skal spørge om

Når leverandører eller pressen nævner antal parametre, er det en hurtig måde at signalere modelstørrelse på. For en leder er det et tal, der kan indikere potentiale, men det er ikke et løfte om, at modellen løser jeres konkrete opgave bedre. Spørg i stedet: Hvilken opgave skal modellen løse? Hvilken data er den trænet på? Hvad koster drift og svartid? En stor model kan være dyrere at køre, kræve mere it-infrastruktur og give længere svartider i jeres systemer, og nogle gange er en mindre model mere praktisk og billigere at integrere.

Sådan virker parametre i praksis

I daglig brug mærker man parametrenes effekt i tre ting: kvaliteten af svarene, hastigheden og prisen. En større model vil typisk levere mere nuancerede og naturlige tekster, men den bruger flere beregninger hver gang den svarer, det påvirker både cost-per-call og hvor hurtigt brugeren får svar. Hvis I skal generere korte produkttekster i volumen, kan en mindre model være hurtigere og billigere. Hvis I efterspørger komplekse rådgivningssvar eller finere nuance i tone, kan en større model være værd at overveje. Og nej, flere parametre garanterer ikke rettidig, korrekt eller opdateret viden, træning og data betyder mindst lige så meget.

Eksempel: Parametre set fra en IT-ansvarlig i en mellemstor webshop

Det er mandag morgen, og IT-ansvarligens team skal vælge en sprogmodel til automatisk kundesvar. De har to muligheder: en stor model med 120 milliarder parametre og en mindre med 6 milliarder. De tester begge på to opgaver: hurtige svar på fragtstatus og skræddersyede svar på reklamationer, hvor sprogtonen skal matche virksomhedens. Den store model leverer mere flydende tekst, men i spidsbelastning tog hvert kald 1,5 sekund længere og kostede mere per kald; det betød, at svartiden i chatten blev mærkbar i travle perioder. Den lille model var hurtigere og kunne køres billigere, men krævede to ekstra manuel gennemgangsskridt for at sikre korrekt tone i reklamationssvarene. Løsningen blev et miks: den lille model til de hurtige spørgsmål og en styret proces med den store model til de følsomme svar, hvor en medarbejder godkendte outputtet inden afsendelse. Implementeringen tog tre uger med tests og en løbende justering af prompts; den store model skabte bedre tekst, men også nye flaskehalse i drift.

Parametre er ikke det samme som træning

Parametre er resultatet af træning, men de er ikke selve træningen. Træning er processen, hvor modellen justerer sine parametre ved at se store mængder tekst. To modeller med samme antal parametre kan være meget forskellige, hvis de er trænet på forskelligt indhold eller med forskellige metoder. Derfor skal du altid spørge både om modelstørrelse og om træningsdata: hvor kommer data fra, og er den opdateret og relevant for jeres domæne? En model kan have mange parametre, men alligevel være ringe til jeres branche, hvis træningen ikke inkluderer de rigtige eksempler.

Hvad du skal være opmærksom på

Vær opmærksom på driftsomkostninger, svartid og integration: flere parametre kræver flere beregninger, og det koster penge. Overvej også latency for kundevendte funktioner og hvor ofte modellen skal opdateres. Test modellerne på jeres egne cases, ikke kun på generelle benchmarks. Endelig: hvis I bruger en ekstern tjeneste, så spørg om hvordan leverandøren håndterer opdateringer og sikkerhed, og om der er muligheder for at bruge mindre modeller til rutineopgaver, ofte en bedre økonomi. Som sammenligning: flere parametre er som flere hylder i et kæmpe bibliotek ... det øger kapaciteten, men det gør ikke bøgerne bedre automatisk.

Vil I arbejde videre med parametre på jeres egne opgaver, er det dét, en AI-workshop går ud på. Skal I beslutte, hvor meget parametre må fylde hos jer, er det den slags valg, AI-rådgivning handler om.