Hvad er Chunking?

Hvordan virker chunking?

Chunking tager et dokument og opdeler det i mindre segmenter, typisk mellem 250 og 512 tokens pr. chunk. Hvert segment bliver derefter konverteret til en matematisk repræsentation (en embedding), som gemmes i en vector database. Når en bruger stiller et spørgsmål, sammenligner systemet spørgsmålets embedding med alle chunk-embeddings og henter de mest relevante bidder.

Den simpleste metode er fixed-size chunking, hvor teksten opdeles i blokke af en fast størrelse med et vist overlap mellem blokkene. Overlapbet sikrer, at information, der falder på grænsen mellem to chunks, ikke går tabt. En typisk opsætning er 512 tokens med 50-100 tokens overlap.

Semantisk chunking er en mere avanceret tilgang, der opdeler teksten baseret på betydningsskift snarere end fast længde. Her analyserer en embeddings-model teksten og placerer snittet, hvor emnet skifter. Resultatet er chunks, der hver repræsenterer én sammenhængende idé, hvilket kan forbedre søgepræcisionen med op til 9% ifølge benchmarks.

Recursive character splitting kombinerer de to tilgange: den forsøger først at opdele ved naturlige grænser (afsnit, sætninger), og falder kun tilbage til fast størrelse, hvis segmenterne stadig er for store. Det er i dag standardmetoden i de fleste RAG-frameworks.

Valget af chunk-størrelse er en afvejning. For små chunks mister kontekst, og svar kan kræve information fra flere chunks. For store chunks udvander embeddingens præcision, fordi mange emner blandes i samme vektor. Den rette størrelse afhænger af dokumenttypen og brugsscenariet.

Consile hjælper virksomheder med at designe og optimere RAG-pipelines, herunder den chunking-strategi, der passer til jeres dokumenter og brugssituation. Kontakt os for en uforpligtende vurdering.

Chunking i virksomhedens AI-projekter

Chunking er ikke et akademisk koncept. Det er en praktisk designbeslutning, der direkte påvirker, om en virksomheds AI-system leverer værdi. I enterprise-sammenhænge er chunking relevant i flere scenarier.

Interne vidensbaser er det mest udbredte use case. Når en virksomhed bygger et AI-system, der kan besvare spørgsmål om interne politikker, kontrakter eller produktdokumentation, er chunking det, der afgør, om systemet finder den præcise paragraf med svaret eller returnerer irrelevant information fra et 200-siders dokument.

Kundesupport og selvbetjening afhænger af, at AI-systemet kan hente den korrekte løsning fra en ofte omfattende supportdatabase. God chunking betyder, at en kunde får det specifikke svar på sit problem, ikke en generisk henvisning til en hel artikel.

Compliance og juridisk analyse er et voksende område, hvor virksomheder bruger AI til at gennemsøge kontrakter, regulativer og interne retningslinjer. Her er chunking-strategien særligt kritisk, fordi juridisk sprog ofte kræver kontekst fra flere afsnit for at give mening, og for aggressive chunking kan føre til misforståede klausuler.

Ifølge branchedata har 51% af enterprise-virksomheder adopteret RAG-baserede løsninger, og markedet forventes at nå 9,86 milliarder dollars i 2030. Chunking er en af de designbeslutninger, der afgør, om disse investeringer giver afkast.

Hvad chunking ikke er

Chunking forveksles ofte med selve søgningen eller med embeddings. Chunking er ikke søgning. Det er forarbejdningen, der sker, før noget kan søges. Et dokument, der ikke er chunket korrekt, vil give dårlige søgeresultater uanset hvor god søgealgoritmen er. Tilsvarende er chunking ikke det samme som embeddings: chunking opdeler teksten, embeddings konverterer de opdelte bidder til vektorer.

Det er heller ikke en one-size-fits-all-løsning. En chunking-strategi, der fungerer glimrende for korte FAQ-dokumenter, kan fejle på lange juridiske kontrakter. Virksomheder, der behandler chunking som en standardindstilling og ikke tilpasser den til deres dokumenttyper, oplever typisk lavere kvalitet i deres AI-systemer.

Endelig er chunking ikke en engangsbeslutning. Efterhånden som en virksomheds dokumentbase vokser og ændrer sig, bør chunking-strategien evalueres og justeres. Det er en løbende del af at vedligeholde et RAG-system i produktion.