Token

Et token er den mindste bid tekst, en sprogmodel kan læse eller producere. Det kan være et helt ord, en del af et ord eller et tegn som punktum eller komma. Når du sender en prompt eller en fil til en model, bliver teksten brudt op i tokens, og både din anmodning og modellens svar tælles. Derfor er tokens både teknisk målestok og den valuta, I ender med at betale for.

Sådan virker Token i praksis

En sprogmodel arbejder ikke med hele sætninger eller ord på én gang, men med tokens. Forestil dig, at du læser et dokument med ord, orddelere og tegn; tokenizer-værktøjet pakker det sammen til stykker, modellen behandler dem og skriver nye stykker tilbage. I praksis betyder det, at et langt dansk ord ofte bliver delt i flere tokens, mens et kort engelsk ord kan være ét token. Modellens kontekstvindue angiver hvor mange tokens den kan have i hukommelsen samtidigt. Når du overskrider den grænse, bliver ældste tokens ofte kasseret, og svar kan blive afskåret.

Hvorfor tokens betyder noget for jeres regning og fejlbeskeder

Pris på API-brug opgøres som regel i antallet af tokens, både input og output. Derfor er det ikke nok at tænke i antal ord. Fakturaer kan vise store tal i tokens, og beskeder om "token limit" eller "context window exceeded" sker, når I sender for meget tekst. Dansk tekst bruger typisk flere tokens per ord end engelsk, fordi de mest almindelige tokenizers er trænet på engelsk og deler danske ord hyppigere op. Resultatet er, at samme tekst koster mere at sende på dansk, og at I kan nå kontekstgrænsen hurtigere. En praktisk konsekvens er, at lange produktbeskrivelser, kontrakter eller mailhistorikker skal trimmes eller deles op før de sendes til modellen.

Eksempel: Token hos en IT-ansvarlig i en webshop, dagen før en kampagne

IT-ansvarligens opgave var at generere forbedrede produkttekster til en kampagne, mens marketing holdt weekend. Klokken var 17 tirsdag, kampagnen skulle køre næste morgen, og kataloget var en PDF med 1200 produkter og en CSV med priser og varianter. IT-ansvarlig uploadede hele PDF'en til modellen og bad om kortere beskrivelser. Modellen svarede, men svaret blev afkortet midt i teksten, og en fejlmelding viste at kontekstvinduet var overskredet. Derefter delte hun kataloget i bidder på 100 produkter, fjernede gamle noter og undlod gentagne metadata før hver forespørgsel. Det tog tre ekstra arbejdstimer at rydde op, og marketing måtte vente. Læringen var klar: store dokumenter kræver forberedelse, ellers får I uventede stop og højere omkostninger.

Token er ikke det samme som et ord eller et tegn

Tokens er en teknisk måde at repræsentere tekst på. Et ord kan være ét token, flere tokens eller kun en del af et token, afhængigt af sproget og tokenizerens regler. Tegn som komma og punktum tæller typisk også som tokens. Det betyder, at når I debatterer "hvor mange ord" noget er, er svaret forskelligt fra når I spørger "hvor mange tokens". Relaterede begreber som Sprogmodel og tokenizer hører sammen med token-begrebet, fordi modellen kun forstår input gennem disse tokens. En almindelig misforståelse er at tro, at man kan beregne pris ved blot at tælle ord i Word, det holder ikke, fordi tokenisering ændrer opdelingen.

Sådan kommer I i gang med at styre token-forbruget

1. Mål først. Få et tal på hvor mange tokens de typiske prompts og filer bruger. Bed leverandøren om en rapport eller brug et værktøj til at tælle tokens.
2. Trim tekst. Fjern meta-noter, lange mailkæder og gentagelser før I sender noget. Præcise, korte prompts bruger færre tokens og giver ofte bedre svar.
3. Del og kør i bidder. Store dokumenter bør opdeles i logiske chunk, så I holder jer inden for kontekstvindue og kan genkalde kun relevante bidder.
4. Spørg om modelvalg. Nogle modeller er billigere per token, nogle har større kontekstvinduer. Spørg leverandøren hvilke modeller, der passer til jeres opgave.
5. Automatisér måling og alarm. Sæt en simpel grænse for dagligt forbrug og få en notifikation før regningen stiger.

Hvad du skal være opmærksom på

Tokens styrer både pris og kvalitet. For meget tekst kan føre til afkortede svar, for få tokens i prompten kan give upræcise resultater. Dansk tekst koster ofte mere i tokens end engelsk, så test på jeres egne dokumenter før I kører store jobs. Vær også opmærksom på, at løbende fakturering på tokens kan føre til uventede månedlige poster hvis automatiserede scripts sender mange små forespørgsler. En token-regning er lidt som at betale for mobildata per megabyte, ikke per samtale, så små vaner tæller over tid. Endelig, indrøm hvad token ikke kan løse: det ændrer ikke modellens kvalitet, det påvirker kun hvor meget tekst I kan have i en enkelt samtale, og hvad I ender med at betale.

Når medarbejderne selv skal kunne bruge token og ikke bare kende ordet, sker det hurtigst på en AI-workshop. Er I i tvivl om, hvad token betyder for jeres eget ansvar, så tag det med i AI-rådgivningen.