Destillation

Destillation er en teknik, hvor en stor, ofte langsommere 'lærer'-model bruges til at træne en mindre 'elev'-model, så den mindre model efterligner lærerens svar. Resultatet er en hurtigere og billigere model, der kan udføre de samme rutineopgaver med næsten samme adfærd som den store model. Teknikken kaldes også knowledge distillation.

Sådan virker destillation i praksis

Forestil dig, at du har en ekspert, der viser en praktikant, hvordan man svarer. Eksperten (teacher) svarer rigtigt og detaljeret på mange spørgsmål. Praktikanten (student) lytter til både de endelige svar og til de små nuancer i ekspertenes responser, og øver sig, indtil hun svarer næsten ligesom eksperten. I praksis kører man store sæt af input igennem lærer-modellen, gemmer dens svar eller sandsynlighedsfordelinger, og bruger dem som træningsmål for den lille model.

Det betyder konkret, at I kan flytte en tung model fra skyen til mindre maskiner eller få lavere driftomkostninger, fordi den destillerede model kræver færre beregninger, mindre hukommelse og giver lavere svartid.

Derfor kan din virksomhed ofte nøjes med en destilleret model

Du leder efter pålidelig og hurtig hjælp til gentagne opgaver: automatiske svar i kundeservice, interne søgninger, klassificering af dokumenter eller simple tekstforslag til marketing. En destilleret model leverer ofte tilstrækkelig kvalitet til disse opgaver, fordi meget af den sprogforståelse ligger i mønstre, som også den mindre model kan lære.

Det betyder lavere regning per forespørgsel og bedre svartider for brugerne. Men husk, destillation er ikke en trylleformular; den lille model kan mangle nuancer i svære eller nye spørgsmål, og den er kun så god som den træning og data, den får.

Eksempel: Destillation hos en IT-ansvarlig i en mellemstor virksomhed

En IT-ansvarlig på en regnskabsafdeling sidder mandag morgen tre uger før årsrapporten skal sendes. Afdelingen har en stor sprogmodel i skyen, men den koster for meget ved høje forespørgselsvolumener. IT-ansvarligens mål er at sætte en hurtig intern rollebaseret hjælper op til at genkende og tagge bilag fra PDF'er og e-mails.

Hun vælger at bruge lærermodelens svar på 12.000 eksempler fra arkivet og træner en mindre model i en lokal server. Det tager to arbejdsdage at forberede datasættet og en uge at træne og teste modellen. Første udkast fejler: den mindre model forveksler visse skatteposter med rabatter, så der er behov for yderligere 400 eksempler og en justering af præprocesseringen. Efter den ekstra indsats kører modellen hurtigt i drift, kræver mindre regnekraft og svarer i sekundet i stedet for sekunder.

Konsekvensen: mindre belastning af skybudgettet og hurtigere interne workflows, men projektet kostede tid i dataopsamling og fejlfinding, og modellen stod ikke klar uden involvering af IT.

Destillation er ikke det samme som fine-tuning eller kvantisering

Destillation handler om at få en mindre model til at efterligne en større models adfærd. Fine-tuning ændrer en model ved at træne den med specifikke virksomhedsdatasæt for bedre domæneyde. Kvantisering gør en model mindre ved at reducere numerisk præcision for hurtigere kørsel. De tre teknikker kan kombineres, men de er ikke ens.

Debatten om ophavsret og konkurrence omkring destillation kom tydeligt frem i 2025, da DeepSeek blev anklaget for at destillere fra OpenAIs modeller. Den sag viser, at destillation også kan være et konkurrencespørgsmål, fordi en destilleret model kan indeholde adfærd eller viden, som en anden aktør mener er beskyttet.

Sådan kommer I i gang med destillation

1. Vurder opgaven: er det en gentagen, struktureret opgave, hvor lav latenstid og lav pris betyder mest? Hvis ja, er destillation relevant.
2. Saml eksempler: 5.000 til 20.000 input, svar-par fra jeres drift eller fra simulerede scenarier.
3. Brug lærer-modellen til at generere svar eller sandsynligheder på disse eksempler.
4. Træn en mindre model på lærerens outputs og valider mod rigtige svar fra jeres virksomhed.
5. Test i produktion i en begrænset periode og hold øje med kvalitetsafvigelser.

At starte kræver lidt teknisk hjælp, men som regel ikke en fuld udviklingsafdeling. Du kan tænke på destillation som at koge en suppe ned til en fond: smagene bevares, men volumen falder markant.

Det er svært at læse sig til destillation. I kommer længere med en workshop, hvor I bygger på jeres egne opgaver. Valget om destillation er sjældent kun teknisk. Retningen sættes med AI-rådgivning.