Kontekstvindue

Kontekstvindue er den maksimale mængde tekst en sprogmodel kan have "i hovedet" på ét tidspunkt. Det tæller systemprompt, hele samtalen, indsatte dokumenter og det svar, modellen skal generere, målt i tokens. Når grænsen nås, kan modellen begynde at glemme tidlige beskeder eller trunkere indhold.

Sådan virker kontekstvindue i praksis

Kontekstvinduet svarer til størrelsen på den arbejdsflade, modellen har til rådighed. Forestil dig, at du skriver på et whiteboard: alt du vil bruge i svaret skal være synligt på boardet samtidig. Når tavlen fyldes, visker du noget ud for at få plads, og det er præcis, hvad der sker teknisk: ældre dele af samtalen bliver udeladt eller komprimeret. Tokens er ikke det samme som ord; et langt ord eller et nummer kan være flere tokens. Modeller i 2026 kan typisk rumme fra godt 100.000 tokens og op til over en million tokens, men kvaliteten i lange samtaler falder ofte, længe før grænsen nås.

Hvorfor glemmer ChatGPT tidligere beskeder? Kontekstvindue set fra din samtale

Når du oplever, at ChatGPT "glemmer" noget, skyldes det som regel kontekstvinduets begrænsning, ikke en fejl i tjenesten. Hver gang du skriver noget nyt, tilføjes det til det samlede tokenforbrug. Hvis samtalen bliver lang, fjerner modellen typisk ældre tekst eller komprimerer konteksten for at holde sig under grænsen. Systempromptten tæller også med, så selv information, du regnede med var fast, kan skubbes ud. Det betyder, at kontinuitet over mange beskeder bliver sværere, og at du kan opleve pludselige spring i modellens svar, især i længere projektsamtaler.

Eksempel: kontekstvindue hos en kommunikationsmedarbejder

En kommunikationsmedarbejder i en rådgivervirksomhed sidder mandag morgen tre dage før lanceringen af et nyt nyhedsbrev. Hun har en mailkæde med 18 beskeder, et 36-siders produktark scannet som PDF, tre tidligere versioner af nyhedsbrevet og en systemprompt, der instruerer modellen i tone og juridiske formuleringer. Hun beder ChatGPT om at samle det til et endeligt udkast. Modellen starter fint, men efter to runder med feedback bliver nogle af de tidlige detaljer om målgruppen væk, fordi kontekstvinduet er ved at være fyldt. Hun bruger tid på at kopiere de væsentlige linjer ind igen og opdager, at hendes systemprompt nu fylder så mange tokens, at mindre væsentlige detaljer må skubbes ud. Resultatet er et arbejde, der fungerede, men kostede ekstra tid til at genindtaste vigtige fragmenter. Læringen var klar: del dokumentet op, eller brug en metode til at give modellen kun de mest relevante uddrag.

Kontekstvindue er ikke det samme som hukommelse

Kontekstvinduet beskriver, hvad modellen kan behandle i én session, ikke hvad den kan huske på tværs af samtaler. Modellen har ikke vedvarende, brugerspecifik hukommelse på tværs af chats, medmindre du eller en tjeneste gemmer og genindsætter data som ny kontekst. Relaterede begreber er kontekst, der betyder den aktuelle tekst omkring spørgsmålet, og systemprompt, som er de instruktioner modellen får før brugersamtalerne. Sprogmodel er den underliggende teknologi, og ChatGPT er et eksempel på en tjeneste, der bruger sådan en model. Forvent ikke, at noget, du skrev i går, automatisk er med i en ny session.

Sådan håndterer du lange dokumenter og store kontekstvinduer

1. Prioriter: udvælg de vigtigste afsnit før du sender noget til modellen. Kun det mest relevante skal være i konteksten.
2. Summariser: lav en kort opsummering af lange dokumenter og send opsummeringerne frem for hele filer.
3. Brug chunking: del lange dokumenter i logiske bidder og arbejd med dem ét afsnit ad gangen, mens du gemmer korte noter om beslutninger.
4. Re-indlæs vigtige fakta: kopier nøgleoplysninger ind igen, når samtalen bliver lang, så modellen ikke mister dem.
5. Overvej værktøjer med ekstern retrieval: nogle workflows lader dig gemme dokumenter eksternt og kun give modellet relevante uddrag ved forespørgsel.

En praktisk sammenligning: tænk på kontekstvinduet som en rygsæk med begrænset plads. Du kan bære meget, men ikke alt. Når rygsækken er fuld, må du vælge, hvad der skal frem, og hvad der skal blive hjemme.

Hvad du skal være opmærksom på

Selv med meget store kontekstvinduer falder kvaliteten ofte, fordi modellen ikke altid prioriterer alt korrekt. Lange beskrivelser kan blive komprimeret til vagere formuleringer. Systemprompt og metadata tæller med i forbruget, så giv ikke modellen unødvendig fyld. Husk også, at større vinduer kan øge omkostningerne og behandlingstiden i de fleste kommercielle tjenester. Når du får uventede svar, så kontroller først, om kontekstvinduet er fyldt, og så genindsæt de væsentlige oplysninger. Brug kontekst med omtanke, og du får langt mere konsistente svar.

Når medarbejderne selv skal kunne bruge kontekstvindue og ikke bare kende ordet, sker det hurtigst på en AI-workshop. Er I i tvivl om, hvad kontekstvindue betyder for jeres eget ansvar, så tag det med i AI-rådgivningen.