AI-hukommelse

AI-hukommelse er ikke en enkelt funktion, men tre forskellige ting. Selve sprogmodellen er statsløs: den "glemmer" alt når en samtale slutter. Inden for en åben samtale husker modellen tekst i sit kontekstvindue. Og mange produkter oven på modellen har en vedvarende hukommelsesfunktion, som gemmer noter og sender dem med i næste prompt.

Model, kontekst og produkt-hukommelse, de tre lag

Sprogmodellen selv har ingen vedvarende hukommelse. Den tager de ord, du sender den, beregner et svar og har så ikke længere noget internt arkiv. Det, folk oftest kalder "hukommelse", kommer af to andre ting. For det første kontekstvinduet: det er den tekst, modellen kan holde aktivt i én session, typisk de sidste få tusind ord. For det andet produkt-hukommelsen: det er en funktion i det værktøj, du bruger, som gemmer f.eks. kundepreferencer, noter eller firmaprofiler og så automatisk inkluderer dem i fremtidige prompts.

Sådan virker AI-hukommelse i praksis

I praksis ligner konteksthukommelsen en løbende samtale: du rækker modellen en mail, nævner et projekt og spørger om formuleringer, modellen kan bruge det, fordi teksten er i det samme samtaleforløb. Ved næste åbning starter den fra nul. Hvis I ønsker, at modellen husker jeres virksomheds tone eller faste oplysninger, sætter I produkt-hukommelsen til: så gemmer systemet fire eller fem faste facts og sender dem med hver gang som en del af prompten. Det er ikke modellen, der lærte noget; det er produktet, der sørger for at gentage informationen.

Derfor spørger I: Kan ChatGPT huske?

Det spørgsmål møder jeg i næsten alle workshops. Svaret er: ja og nej. Ja, inden for en enkelt samtale kan ChatGPT "huske" det, I skrev for ti minutter siden, fordi det er i konteksten. Nej, når sessionen slutter, forsvinder den viden, medmindre produktet eksplicit gemmer den. Og nej igen, almindelig brug betyder ikke, at modellen lærer eller ændrer sine vægte på baggrund af jeres data, I træner ikke modellen med jeres oplysninger, bare fordi I taler med den.

Eksempel: AI-hukommelse hos en kommunikationsmedarbejder

En kommunikationsmedarbejder på et rekrutteringsbureau sidder tirsdag morgen, tre dage før nyhedsbrevdeadline. Hun har en mailtråd med fem forslag og en PDF på 18 sider med sidste års cases. Hun spørger chatbotten om at genbruge formuleringer fra et tidligere nyhedsbrev, som produktet har gemt som "firma-tone" i sin hukommelse. Første forsøg giver et uheldigt udsnit af en gammel kontaktliste i udkastet, fordi hukommelsesnoten var for bred. Hun bruger 90 minutter på at rydde op: sletter kontaktnoter, præciserer "tone"-noten til tre linjer og lægger en opdateret prisliste ind. Dagen efter åbner hun samme draft og finder, at præciseringen nu holder, chatbotten genbruger de tre linjer om tone og undgår den gamle kontaktliste. Det kostede tid at få hukommelsen til at spille, og det viste også, at produkt-hukommelse kræver vedligeholdelse.

AI-hukommelse er ikke det samme som at lære modellen

Mange forveksler vedvarende noter med faktisk træning af modellen. Når I gemmer oplysninger i et produkt, lærer den centrale sprogmodel ikke disse oplysninger ind som permanente vægte. I får ikke en "tilpasset model" blot ved at bruge hukommelsesfunktionen. Hvis I ønsker, at en model skal ændre sin adfærd permanent på basis af jeres data, kræver det en proces som fine-tuning eller træning, som normalt håndteres som et separat, teknisk projekt.

Hvad I skal være opmærksomme på

Tænk over hvem der kan skrive til produkt-hukommelsen, og hvilke data I gemmer. Gem ikke personfølsomme oplysninger eller lange kundelister uden adgangskontrol. Husk, at almindelig samtalebrug af en statsløs model ikke automatisk er en dataoverførsel til modelens udvikler, men produktleverandørens vilkår kan variere. Hvis I skal behandle persondata eller skrive fortrolige noter ind, skal I tjekke reglerne hos Datatilsynet og dokumentere ansvar, opbevaringstid og adgangsrettigheder.

Hvordan I kommer i gang med ansvarlig hukommelse

1. Kortlæg hvilke fakta I vil gemme: tre til fem faste felter fungerer ofte bedst.
2. Sæt adgangsrettigheder: hvem må indtaste og hvem må slette.
3. Test i en lukket periode: prøv hukommelsen på tre opgaver og noter fejl og utilsigtede følgeeffekter.
4. Skriv en simpel politik for opbevaring og sletning, og gennemgå den hvert kvartal.

Valget om AI-hukommelse er sjældent kun teknisk. Retningen sættes med AI-rådgivning.