Chunking
Sådan forbedrer du præcisionen i jeres RAG-chatbot ved at opdele dokumenter rigtigt.
Indhold
Chunking er at opdele lange dokumenter i mindre bidder, kaldet chunks, før de gemmes i en vektordatabase, så en AI kan hente præcis det afsnit, der svarer på et spørgsmål. Den rigtige størrelse og struktur på chunks afgør, om en RAG-chatbot finder det korrekte faktuelle udsnit eller kommer med upålidelige eller upræcise svar.
Sådan virker Chunking i praksis
Chunking tager en lang tekst, en kontrakt, en manual eller en PDF, og deler den op i mindre afsnit, ofte suppleret med metadata som sidetal eller titel. Når brugeren stiller et spørgsmål, søger systemet i vektordatabasen efter de chunks, der ligger tættest på spørgsmålet, og sender dem til sprogmodellen som kontekst. For små chunks mister modellen sammenhæng; for store chunks kan irrelevante detaljer forstyrre svaret. Det er lidt som at bladre efter en enkelt sætning i et tykt ringbind: enten har du for få sidespor, eller alt drukner i tekst.
Når chatbotten ikke finder svaret: Chunking som fejlfinder
Hvis jeres chatbot svarer forkert på fakta fra egne dokumenter, er chunking ofte synderen. Som leder hører du det fra brugerne: svaret er plausibelt, men galt. Spørg leverandøren hvilke chunk-størrelser de bruger, om de laver overlappende chunks, og hvordan de håndterer tabeller og billeder. Du kan også bede om eksempler: vis en søgning og de chunks, systemet fandt. Det fortæller hurtigt, om problemet er opdeling, vektorsøgningen i vektordatabasen eller selve prompten til sprogmodellen.
Eksempel: Chunking hos en kontorleder
En kontorleder i en mindre rådgivervirksomhed skulle have en intern chatbot klar før kvartalsmødet. Hun uploadede en 60-siders vejledning i PDF og lod leverandøren importere dokumentet direkte. Chatbotten begyndte at svare forkert på procedurer, fordi leverandøren havde brugt meget store chunks uden overlap: de relevante korte instruktioner druknede i lange baggrundsafsnit. Det tog tre dage at få en ny opdeling og en ekstra dag med test før botten var acceptabel. Besværet kostede tid og gav en opmærksom kollegagruppe; læringen var klar: test med konkrete spørgsmål tidligt, og kræv indsigt i chunk-strategien.
Hvad du skal være opmærksom på
Tjek chunk-størrelse og overlap: prøv flere varianter, og vurder svarkvaliteten. Vær opmærksom på scannede PDF'er og OCR-fejl, de ødelægger chunks. Husk metadata: sidetal og dokumenttitel hjælper både vektordatabase og mennesker, når noget går galt. Endelig: dokument-versionering, nye versioner kræver at chunk-processen kører igen, ellers søger I i gamle bidder. Chunking er effektivt, men det er ikke en trylleformular; det kræver løbende justering, især når dokumenterne ændrer format eller struktur.
Vil I have chunking sat i drift på jeres egen maskine, er det dét, AI Hero Sidekick er bygget til. Er I i tvivl om, hvad chunking betyder for jeres eget ansvar, så tag det med i AI-rådgivningen.
Ofte stillede spørgsmål om Chunking
Er chunking det samme som tekstopdeling?
Ja, tekstopdeling er en direkte oversættelse: chunking er simpelthen opdeling af tekst i bidder, så en vektordatabase kan finde relevante afsnit. Forskellen er kun ordvalget; teknisk gør de det samme.
Hvor store skal chunks være?
Der findes ikke én korrekt størrelse. For mange dokumenttyper starter man med bidder på et afsnit eller 100 til 300 ord og justerer op eller ned. Test med konkrete spørgsmål og se, hvornår svarene bliver mest præcise.
Kan vi ændre chunking uden udviklere?
Det afhænger af leverancen. Nogle vektordatabaser og værktøjer har simple indstillinger i brugerfladen; andre kræver en tekniker. Spørg leverandøren om de kan reprocessere dokumenter, og om I kan få et preview af de genererede chunks.
Hjælper chunking altid en RAG-chatbot?
Chunking forbedrer som regel relevans, men det hjælper ikke alene. Dårlig OCR, manglende metadata eller forkert søgeopsætning i vektordatabasen kan stadig give forkerte svar. Chunking er et vigtigt stykke i puslespillet, ikke hele løsningen.
AI-rådgiver og underviser, grundlægger af AI Hero i Herning. Har bygget digitalt i over 20 år og hjælper danske virksomheder med at få AI i drift. Læs mere om Brian.