Hvad er Tokens?
Et token er den grundlæggende enhed, som AI-sprogmodeller bruger til at læse, forstå og generere tekst. Det er ikke et ord, ikke et bogstav, men noget midt imellem, et fragment, som modellen genkender fra sin træning. Når du sender en besked til ChatGPT, Claude eller en anden LLM, bliver din tekst først opdelt i tokens, før modellen overhovedet begynder at arbejde.
Tokenization er processen, der udfører denne opdeling. Det er det første og mest afgørende trin i enhver AI-interaktion, og det har direkte konsekvenser for tre ting, der betyder noget for virksomheder: pris, hastighed og kvalitet.
For beslutningstagere er tokens relevant, fordi næsten alle AI-udbydere afregner pr. token. At forstå, hvad et token er, giver indsigt i, hvorfor et AI-projekt koster det, det gør, og hvor der er mulighed for at optimere.
Hvordan virker tokenization?
Moderne AI-modeller bruger en teknik kaldet subword tokenization. I stedet for at opdele tekst i hele ord eller enkelte bogstaver finder algoritmen et mellemlag: hyppige ord bevares som hele tokens, mens sjældnere ord brydes ned i genkendelige dele. Ordet 'tokenization' kan for eksempel blive til to tokens, 'token' og 'ization', mens 'AI' typisk er ét token.
Den mest udbredte metode hedder Byte-Pair Encoding (BPE). Den starter med individuelle tegn og fusionerer iterativt de mest hyppige par, indtil den når et foruddefineret ordforråd. Resultatet er en tokenizer, der balancerer mellem effektivitet og fleksibilitet: den kan håndtere ethvert sprog og enhver tekst, selv stavefejl og specialtegn.
Hvert token får tildelt et unikt numerisk ID. Det er disse tal, ikke bogstaver, modellen faktisk arbejder med. Når en foundation model som GPT eller Claude genererer et svar, forudsiger den det næste token-ID baseret på alle foregående tokens i samtalen.
En praktisk tommelfingerregel: ét token svarer til cirka fire tegn på engelsk eller omtrent tre fjerdedele af et ord. En dansk tekst på 100 ord fylder typisk 130-150 tokens, da danske sammensatte ord ofte kræver flere tokens end tilsvarende engelske udtryk.
Det forklarer også en skævhed, mange undrer sig over: modeller er notorisk dårlige til at tælle bogstaver, lave rim på bestemte bogstaver eller ramme en præcis længde som ét hundrede ord. Modellen ser næsten aldrig de enkelte bogstaver, kun token-id'erne, og den genererer ét token ad gangen uden at kunne tælle bagud i det, den allerede har skrevet. Den slags opgaver løses bedre ved at lade modellen kalde et værktøj, der tæller, end ved at bede den gøre det i hovedet.
Vi hjælper virksomheder med at forstå og optimere deres AI-økonomi, fra tokenpriser til arkitekturvalg. Kontakt os for en uforpligtende vurdering af jeres AI-setup.
Hvorfor tokens er afgørende for virksomheder
Tokens er AI's valuta. Næsten alle kommercielle AI-tjenester afregner pr. token, og prismodellen skelner typisk mellem input-tokens (det du sender til modellen) og output-tokens (det modellen genererer). Output-tokens koster som regel tre til fem gange mere end input-tokens, fordi de kræver mere beregningskraft at producere.
For virksomheder, der bygger AI-løsninger, har den prisstruktur direkte konsekvenser for budgettering. Et proof of concept, der koster 500 kroner i tokens om måneden, kan skalere til flere millioner, når løsningen rulles ud til hundredvis af brugere. At forstå tokenøkonomi er derfor ikke en teknisk detalje, men en forudsætning for at bygge en holdbar AI roadmap.
Tokens påvirker også hastighed. Jo flere tokens en forespørgsel indeholder, jo længere tid tager det at behandle den. Det er grunden til, at lange systemprompts og omfattende kontekst kan gøre AI-applikationer mærkbart langsommere. Optimering af token-forbrug handler derfor ikke kun om pris, men også om brugeroplevelse.
Endelig hænger tokens sammen med kvalitet. Hver model har et context window, en øvre grænse for, hvor mange tokens den kan arbejde med ad gangen. Overstiger man vinduet, mister modellen kontekst og leverer dårligere svar. At vide, hvor mange tokens en opgave kræver, er afgørende for at vælge den rette model og arkitektur.
Hvad tokenization ikke er
Tokenization i AI-sammenhæng handler udelukkende om at opdele tekst i beregningsenheder for sprogmodeller. Det bør ikke forveksles med tokenization inden for fintech og blockchain, hvor begrebet betyder at omdanne aktiver, for eksempel ejendom, værdipapirer eller kunstværker, til digitale tokens på en blockchain. De to begreber deler navn, men intet andet.
En anden misforståelse er, at ét token altid svarer til ét ord. Det gør det ikke. Korte, hyppige ord kan være ét token, men længere eller sjældnere ord splittes i flere. Omvendt kan korte sekvenser som 'AI' eller tegnsætning udgøre separate tokens. Tokengrænser følger statistik, ikke grammatik.
Det er også værd at understrege, at tokenization ikke er det samme som embeddings. Tokenization opdeler tekst i stykker, mens embeddings omsætter de stykker til matematiske vektorer, der fanger betydning. Tokenization er trin ét, embeddings er trin to.
Relaterede termer
Context window er den mængde tekst, en AI-model kan behandle på én gang. Forstå hvorfor det påvirker kvaliteten af AI-løsninger og hvilke valg det kræver.
Embeddings omdanner tekst, billeder og data til vektorer, som AI kan forstå og sammenligne. Lær hvordan embeddings driver søgning, RAG og anbefalinger.
En LLM (large language model) er en stor sprogmodel som GPT, Claude og Gemini. Lær hvordan LLM'er virker, hvad de bruges til, og hvad de koster.
En foundation model er en stor, pretrænet AI-model, du bygger ovenpå. Forstå hvad der kendetegner dem, de førende modeller, og hvad de ikke er.
Prompt engineering er kunsten at formulere instruktioner til AI, så den leverer bedre resultater. Lær grundteknikkerne, system prompts og hvad det ikke kan.
Inference er det øjeblik, hvor en AI-model omsætter data til svar. Forstå hvorfor inference er den største omkostning i AI, og hvordan du optimerer den.
Ofte stillede spørgsmål om Token / Tokenization
Hvor mange tokens bruger en typisk AI-samtale?+
En kort forespørgsel på 50 ord bruger cirka 65-75 tokens som input. Svaret kan bruge 200-500 tokens afhængigt af længden. En gennemsnitlig chatsamtale med kontekst bruger typisk 1.000-3.000 tokens i alt. For virksomhedsløsninger med store systemprompts og dokumenter kan forbruget hurtigt nå 10.000-50.000 tokens pr. interaktion.
Hvorfor koster output-tokens mere end input-tokens?+
Output-tokens kræver sekventiel beregning, fordi modellen genererer ét token ad gangen og skal beregne sandsynligheder for hele sit ordforråd ved hvert trin. Input-tokens kan derimod behandles parallelt. Den asymmetri afspejles direkte i prisen.
Kan I hjælpe med at optimere vores token-forbrug?+
Ja. Vi hjælper virksomheder med at designe AI-arkitekturer, der balancerer kvalitet og omkostninger, gennem valg af rette modelstørrelse, optimering af systemprompts, caching og strategier som RAG, der reducerer unødvendigt token-forbrug.
Hvorfor kan AI ikke tælle bogstaver eller skrive præcis et bestemt antal ord?+
Fordi modellen arbejder med tokens og token-id'er, ikke med enkelte bogstaver. Den ser altså ikke teksten på bogstavniveau og genererer desuden ét token ad gangen, så den kan ikke tælle præcist undervejs. Skal et svar ramme en nøjagtig længde eller følge regler på bogstavniveau, er det mere pålideligt at lade et værktøj eller et stykke kode klare tællingen.