Knowledge cutoff

Knowledge cutoff (også kaldet videns-cutoff, skæringsdato eller training cutoff) er den dato, hvor en sprogmodels træningsdata slutter. Det betyder, at modellen kun har lært af tekster, artikler og dokumenter indtil den dato; alt, der er sket efter, kender modellen ikke fra sin træning og må gætte eller være urigtig.

Hvorfor Knowledge cutoff betyder noget for dine svar

Knowledge cutoff forklarer, hvorfor AI pludselig giver forældede priser, nævner en tidligere lovtekst eller ikke kender til en konkurrent, der er kommet til for nylig. For dig som leder betyder det, at et korrekt svar ikke automatisk er et aktuelt svar. Modellen kan formulere et overbevisende svar, men den har ikke adgang til hændelser og dokumenter publiceret efter cutoff-datoen, medmindre du aktivt giver den den nye viden.

Det afgør også, om AI kan oplyse om sin egen nyeste version eller fejlrettelser. En model med cutoff sidste år kan påstå, at den er den nyeste udgave, fordi den ikke kender til opdateringer frigivet efter sin cutoff. Det er ikke ond vilje. Det er et vindue på træningsdataene.

Sådan virker Knowledge cutoff i praksis

Forestille dig en bogsamling, der blev låst ned en bestemt dag. Alt der er trykt og lagt i samlingens reoler før den dag kan lånes og læses; alt nyt materiale står uden for. Sprogmodellen har læst reolerne grundigt, den kan citere og sammenfatte, men den kan ikke gå ud af biblioteket for at hente en avis fra i går.

Den tekniske forklaring er enkel: modellen er trænet på store mængder tekst frem til cutoff og lærer mønstre i sproget og faktuelle sammenhænge fra de data. Når du stiller et spørgsmål om noget nyere, kan modellen prøve at konstruere et svar ud fra mønstrene. Den gætter. Det kan se rigtigt ud. Men modellen ved ofte ikke, at den gætter; den præsenterer sit svar som fakta.

Eksempel: IT-ansvarlig der opdagede cutoff midt i en opgradering

IT-ansvarlig i en mellemstor revisionsvirksomhed sidder mandag morgen kl. 09:00 i sit kontor for at implementere en chatbot, der skal svare kunder om nye satser og blanketter. Chatbotten bygger på en sprogmodel med en knowledge cutoff tre måneder tidligere. De har uploadet en intern vejledning fra sidste uge, men ikke de offentlige opdaterede satser fra skattemyndigheden, fordi de kom fredag aften. Kundespørgsmål begynder at tikke ind: "Er satsen for fradrag X ændret i år?"

Chatbotten svarer roligt med den gamle sats. IT-ansvarlig opdager fejlen efter en kunde påpeger en uoverensstemmelse. Fejlfinding tager en halv dag: find ud af cutoff-datoen, hente de nyeste dokumenter, genindtaste eller bruge en metode til at give modellen adgang til live-opslag eller de nyeste filer. Udgiften er primært arbejdstid, to mand-dage fordelt over tre dage, og lidt frustration hos kundeservice. Læringen var klar: modellen kan være nyttig fra dag ét, men uden en plan for opdateret viden skaber den fejl, som ligner faglig usikkerhed.

Knowledge cutoff er ikke det samme som Træningsdata

Træningsdata er selve indholdet modellen er lært af: artikler, bøger, web-sider, manualer. Knowledge cutoff er datoen, der angiver, hvor langt træningsdata rækker. De er tæt forbundne, men ikke det samme: træningsdata beskriver 'hvad' modellen har lært, cutoff beskriver 'indtil hvornår'.

En anden forveksling er at tro, at modellen altid ved, når den mangler viden. Den gør det ofte ikke. En model kan præsentere et fejlagtigt svar med høj selvtillid. Den adskiller sig fra en søgemaskine: en søgning viser kilde og dato; modellen præsenterer en syntese uden nødvendigvis at angive kilder.

Sådan får du AI svar med opdateret viden

1. Overvej websøgning eller en model, der er koblet til live- eller opdaterede kilder, når I spørger om nyhedsstof, priser eller lovgivning.
2. Brug RAG (retrieval-augmented generation) eller upload de relevante interne dokumenter, regneark og PDF'er, så modellen får adgang til jeres nyeste materiale.
3. Marker i jeres setup, hvilken cutoff modellen har, og træn jeres brugere i at kontrollere dato og kilde, når svar om aktuelle forhold gives.
4. Test jævnligt: stil spørgsmål om nylige begivenheder, kendte prisændringer eller nye leverandører og se om svarene matcher jeres faktiske kilder.

Disse tiltag kræver typisk en kombination af it-opsætning, lidt procesarbejde og en løbende rutine for at opdatere interne filer. Men det er muligt at få både hurtige svar og ajourført viden... ikke med det samme, men relativt hurtigt.

Hvad du skal være opmærksom på

Modellen kan formulere forkerte svar, og den kan være overbevisende, når den gætter. Når svaret er kritisk for beslutninger, så kræv kildeangivelse eller bekræftelse fra et opdateret dokument. Hvis I kobler live-søgning på, så sørg for at teste, hvilke kilder den trækker fra. Et sidste punkt: selv om I uploader nye dokumenter, betyder det ikke, at modellen automatisk 'forstår' dem fuldt ud; I skal strukturere materialet, så søgning og retrieval virker effektivt.

En skæv sammenligning: det er som at rådføre sig i en encyklopædi, der er trykt sidste år. God til baggrund, ringere til dagsdato.

Relaterede begreber i teksten: Træningsdata.

Når medarbejderne selv skal kunne bruge knowledge cutoff og ikke bare kende ordet, sker det hurtigst på en AI-workshop. Er I i tvivl om, hvad knowledge cutoff betyder for jeres eget ansvar, så tag det med i AI-rådgivningen.