RAG (Retrieval-Augmented Generation)

RAG (Retrieval-Augmented Generation) betyder, at en sprogmodel først henter relevante bidder fra jeres egne data og dernæst bruger dem til at formulere sit svar. Metoden gør, at assistenten baserer sig på konkrete dokumenter i stedet for alene på det, modellen husker fra træning, og den reducerer risikoen for hallucinationer, men fjerner dem ikke.

Sådan virker RAG i praksis

RAG svarer til at give en medarbejder et søkbart arkiv og bede vedkommende svare ud fra de mapper, hun finder. Når en bruger stiller et spørgsmål, oversætter systemet spørgsmålet til en søgning, finder de mest relevante dokumentudsnit i en vektordatabase og sender de fundne bidder videre til sprogmodellen, som så skriver svaret. I praksis betyder det, at modellen kan citere en policy, et gammelt tilbud eller en teknisk manual fra jeres egne filer, også selvom disse dokumenter ikke var en del af den oprindelige træning.

Næsten alle AI-chatbots til kundeservice og interne assistenter bruger RAG: hvad betyder det for dig

Når leverandører lover, at en chatbot "kan svare fra jeres viden", er RAG ofte motoren bag. Kvaliteten af svarene afhænger derfor mest af de dokumenter, I lægger ind: er teksterne opdaterede, strukturerede og søgbare, eller ligger viden i gamle PDF'er og personlige mails? Hvis du planlægger at rulle en intern assistent ud, skal du først tage stilling til hvilke kilder der skal være med, hvem der renser og opdaterer dem, og hvordan adgangsstyring sættes op. RAG hjælper, men det er ikke en trylleformular: dårlige kilder giver stadig dårlige svar.

Eksempel: RAG hos en arkivar i et rådgivningsfirma

En arkivar i et mindre rådgivningsfirma sidder på et arkiv med 1.200 dokumenter, mange af dem PDF'er fra 2016-2019, samt en håndfuld scannede tegninger. Det er mandag morgen, ugen før en kundepræsentation, og en projektleder beder om et kort over tidligere aftaler med en bestemt leverandør. Arkivaren får adgang til virksomhedens nye RAG-opsætning: først trækkes 10 relevante uddrag fra vektordatabasen, herunder en 60-siders rapport og en scannet korrespondance på ti mails. Den første runde svar er upræcis, fordi OCR-teksten fra scannede filer indeholder fejl. Arkivaren retter scanningsfejl på de vigtigste sider, fjerner to irrelevante ældre tilbud og genindlæser filerne. Anden runde leverer et konkret uddrag med sidetal, men det krævede tre timers arbejde og en opfølgende kvalitetssikring. Læringen var klar: RAG gav hurtig adgang til viden, men for at få brugbare svar krævede det oprydning i kilderne og en beslutning om, hvem der holder dokumenterne opdaterede.

RAG er ikke det samme som fine-tuning eller embeddings alene

RAG kombinerer flere teknikker, men er ikke identisk med dem. En vektordatabase og embeddings bruges til at finde tekststykker, men embeddings alene gør ikke, at en model kan formulere svar. Fine-tuning ændrer selve modellen ved at træne den på jeres data; RAG lader modellen forblive uændret og supplere dens svar med aktuelle kilder. Grounding er et beslægtet begreb: det handler om at knytte modelens svar til eksterne kilder, og RAG er en konkret måde at skabe grounding på. For beslutningstagere betyder det: RAG giver hurtig adgang uden at I skal lave dyr modeltræning, men hvis I har særlige sprogkrav eller streng kontrol over svarene, kan fine-tuning stadig være relevant.

Sådan kommer du i gang med RAG

1. Identificer kilder: vælg de dokumenter og datalagre, som assistenten skal have adgang til. Start med de vigtigste 50-200 dokumenter.
2. Forbered data: sørg for OCR på scannede filer, fjern duplikater og opdel lange dokumenter i håndterbare bidder.
3. Indeksér i en vektordatabase: konverter tekstbidder til embeddings, så systemet kan finde de mest relevante stykker.
4. Definér kvalitetssikring: lav regler for, hvem der godkender svar, og hvordan kilder spores i svarene.
5. Test i en lukket gruppe: lad slutbrugere prøve assistenten i to til fire uger og log fejl og manglende kilder.

Hvad du skal være opmærksom på

RAG reducerer hallucinationer, men eliminerer dem ikke. Modellen kan stadig konkludere forkert på baggrund af uklare eller modstridende kilder. Sørg for sporbarhed: få systemet til at vise eller citere kilden for hvert kritisk udsagn. Tænk også adgang og privatliv: hvilke dokumenter må en kunde- eller medarbejderassistent se? Endelig koster vedligeholdelse tid: vektordatabasen skal opdateres, så nye dokumenter bliver søgbare. Som Onkel Bens replik: med stor viden følger ansvar. ...

Skal der køre noget med RAG hver dag og ikke kun i et forsøg, er det opgaven for et AI-team i huset. Skal I beslutte, hvor meget RAG må fylde hos jer, er det den slags valg, AI-rådgivning handler om.