Hvad er et Context Window?

Hvordan virker et context window?

Når du sender en besked til en LLM, fylder din besked en del af context window. Modellens svar fylder en anden del. Hele samtalehistorikken, systeminstruktioner, vedhæftede dokumenter og det genererede output deler det samme vindue. Et context window på 200.000 tokens svarer til ca. 500 sider tekst — men det er den samlede plads til både input og output.

Tokens er ikke det samme som ord. Et dansk ord oversættes typisk til 1,5-2 tokens, fordi modellerne opdeler tekst i mindre enheder. Specialiserede fagtermer og sammensatte ord kan fylde endnu mere. Det betyder, at det reelle antal ord, der kan behandles, er lavere end tokentallet antyder.

Modellen behandler hele vinduet ved hver forespørgsel. Det er derfor, omkostninger og svartid stiger med mængden af input — jo mere tekst i vinduet, jo mere beregningskraft kræves. Det er også grunden til, at teknikker som RAG er blevet så udbredte: i stedet for at proppe alt ind i context window henter man kun den relevante information.

En vigtig nuance er, at modeller ikke behandler alle dele af vinduet lige godt. Information i starten og slutningen af et langt input huskes bedre end det, der befinder sig i midten. Denne effekt, kaldet "lost in the middle", betyder at strategisk placering af information kan have stor betydning for svarets kvalitet.

Consile hjælper virksomheder med at vælge de rette AI-modeller og designe arkitekturer, der bruger context windows optimalt. Kontakt os for en uforpligtende samtale om jeres AI-setup.

Context window i erhvervslivet

Valget af context window-størrelse har direkte konsekvenser for, hvilke AI-løsninger en virksomhed kan bygge. I juridisk arbejde gør et stort context window det muligt at analysere hele kontrakter, sammenligne klausuler på tværs af dokumenter og identificere risici uden at opdele teksten manuelt. Det sparer timer af arbejde og reducerer risikoen for at overse vigtige passager.

I kundesupport sikrer et tilstrækkeligt context window, at en Conversational AI-løsning kan huske hele samtaleforløbet med en kunde. Uden det mister chatbotten konteksten midt i en dialog og gentager spørgsmål, kunden allerede har besvaret — en oplevelse, der skaber frustration frem for værdi.

For softwareudvikling bruges lange context windows til at give AI-modeller overblik over hele kodebaser. Det gør det muligt at generere kode, der er konsistent med eksisterende mønstre, finde fejl på tværs af filer og foreslå ændringer, der tager hensyn til den samlede arkitektur.

Omkostningerne følger med størrelsen. Hvert ekstra token koster beregningskraft, og de fleste udbydere opkræver mere for brug over standardgrænsen. En virksomhed, der konstant sender 500.000 tokens pr. forespørgsel, betaler markant mere end én, der bruger 10.000. Derfor handler god AI-arkitektur ikke om at bruge det største vindue, men om at bruge det rette vindue til opgaven.

Hvad context window ikke er

Context window er ikke det samme som langtidshukommelse. Når en samtale eller session slutter, husker modellen ingenting. Alt inden for vinduet eksisterer kun i det øjeblik, forespørgslen behandles. Virksomheder, der har brug for AI med vedvarende hukommelse, skal bygge det som et separat lag — typisk med databaser, RAG eller andre former for kontekststyring.

Et stort context window er heller ikke en garanti for bedre svar. Forskning viser, at modeller kan blive forvirrede af irrelevant information i et langt input. At sende hele virksomhedens dokumentation ind i ét prompt er sjældent den bedste strategi — præcis udvælgelse af relevant kontekst giver ofte bedre resultater end rå volumen.

Endelig er det annoncerede tokenantal ikke lig den reelle kapacitet. Test af 22 førende modeller i 2026 viser, at de fleste begynder at fejle markant, før de når deres officielle grænse. En model med 200.000 tokens i specifikationen fungerer reelt pålideligt op til omkring 130.000 tokens. Det er en vigtig faktor, når man dimensionerer AI-løsninger.