Hvad er Tokens?
Et token er den grundlæggende enhed, som AI-sprogmodeller bruger til at læse, forstå og generere tekst. Det er ikke et ord, ikke et bogstav, men noget midt imellem — et fragment, som modellen genkender fra sin træning. Når du sender en besked til ChatGPT, Claude eller en anden LLM, bliver din tekst først opdelt i tokens, før modellen overhovedet begynder at arbejde.
Tokenization er processen, der udfører denne opdeling. Det er det første og mest afgørende trin i enhver AI-interaktion, og det har direkte konsekvenser for tre ting, der betyder noget for virksomheder: pris, hastighed og kvalitet.
For beslutningstagere er tokens relevant, fordi næsten alle AI-udbydere afregner pr. token. At forstå, hvad et token er, giver indsigt i, hvorfor et AI-projekt koster det, det gør — og hvor der er mulighed for at optimere.
Hvordan virker tokenization?
Moderne AI-modeller bruger en teknik kaldet subword tokenization. I stedet for at opdele tekst i hele ord eller enkelte bogstaver, finder algoritmen et mellemlag: hyppige ord bevares som hele tokens, mens sjældnere ord brydes ned i genkendelige dele. Ordet "tokenization" kan for eksempel blive til to tokens "token" og "ization" mens "AI" typisk er ét token.
Den mest udbredte metode hedder Byte-Pair Encoding (BPE). Den starter med individuelle tegn og fusionerer iterativt de mest hyppige par, indtil den når et foruddefineret ordforråd. Resultatet er en tokenizer, der balancerer mellem effektivitet og fleksibilitet: den kan håndtere ethvert sprog og enhver tekst, selv stavefejl og specialtegn.
Hvert token får tildelt et unikt numerisk ID. Det er disse tal, ikke bogstaver som modellen faktisk arbejder med. Når en foundation model som GPT-4 eller Claude genererer et svar, forudsiger den det næste token-ID baseret på alle foregående tokens i samtalen.
Et praktisk tommelfingerregel: ét token svarer til cirka fire tegn på engelsk eller omtrent tre fjerdedele af et ord. En dansk tekst på 100 ord fylder typisk 130-150 tokens, da danske sammensatte ord ofte kræver flere tokens end tilsvarende engelske udtryk.
Consile hjælper virksomheder med at forstå og optimere deres AI-økonomi — fra tokenpriser til arkitekturvalg. Kontakt os for en uforpligtende vurdering af jeres AI-setup.
Hvorfor tokens er afgørende for virksomheder
Tokens er AI's valuta. Næsten alle kommercielle AI-tjenester afregner pr. token, og prismodellen skelner typisk mellem input-tokens (det du sender til modellen) og output-tokens (det modellen genererer). Output-tokens koster som regel tre til fem gange mere end input-tokens, fordi de kræver mere beregningskraft at producere.
For virksomheder, der bygger AI-løsninger, har denne prisstruktur direkte konsekvenser for budgettering. Et proof of concept, der koster 500 kroner i tokens pr. måned, kan skalere til flere millioner, når løsningen rulles ud til hundredvis af brugere. At forstå tokenøkonomi er derfor ikke et teknisk detalje, det er en forudsætning for at bygge en holdbar AI roadmap.
Tokens påvirker også hastighed. Jo flere tokens en forespørgsel indeholder, jo længere tid tager det at behandle den. Det er grunden til, at lange systemprompts og omfattende kontekst kan gøre AI-applikationer mærkbart langsommere. Optimering af token-forbrug handler derfor ikke kun om pris, men også om brugeroplevelse.
Endelig er tokens forbundet med kvalitet. Hver model har et context window, en øvre grænse for, hvor mange tokens den kan arbejde med ad gangen. Overstiger man det vindue, mister modellen kontekst og leverer dårligere svar. At vide, hvor mange tokens en opgave kræver, er afgørende for at vælge den rette model og arkitektur.
Hvad tokenization ikke er
Tokenization i AI-sammenhæng handler udelukkende om at opdele tekst i beregningsenheder for sprogmodeller. Det bør ikke forveksles med tokenization inden for fintech og blockchain, hvor begrebet refererer til at omdanne aktiver (ejendom, værdipapirer, kunstværker) til digitale tokens på en blockchain. De to koncepter deler navn, men intet andet.
En anden misforståelse er, at ét token altid svarer til ét ord. Det gør det ikke. Korte, hyppige ord kan være ét token, men længere eller sjældnere ord splittes i flere. Og modsat kan korte sekvenser som "AI" eller tegnsætning som "..." udgøre separate tokens. Tokengrænser følger statistik, ikke grammatik.
Det er også værd at understrege, at tokenization ikke er det samme som embeddings. Tokenization opdeler tekst i stykker, mens embeddings omsætter de stykker til matematiske vektorer, der fanger betydning. Tokenization er trin ét; embeddings er trin to.
Relaterede termer
Context window er den mængde tekst, en AI-model kan behandle på én gang. Forstå hvorfor det påvirker kvaliteten af AI-løsninger og hvilke valg det kræver.
Embeddings omdanner tekst, billeder og data til vektorer, som AI kan forstå og sammenligne. Lær hvordan embeddings driver søgning, RAG og anbefalinger.
Prompt Engineering er kunsten at formulere instruktioner til AI-modeller for bedre resultater. L ær teknikker og eksempler.
Ofte stillede spørgsmål om Token / Tokenization
Hvor mange tokens bruger en typisk AI-samtale?+
En kort forespørgsel på 50 ord bruger cirka 65-75 tokens som input. Svaret kan bruge 200-500 tokens afhængig af længden. En gennemsnitlig chatsamtale med kontekst bruger typisk 1.000-3.000 tokens totalt. For virksomhedsløsninger med store systemprompts og dokumenter kan forbruget hurtigt nå 10.000-50.000 tokens pr. interaktion.
Hvorfor koster output-tokens mere end input-tokens?+
Output-tokens kræver sekventiel beregning — modellen genererer ét token ad gangen og skal beregne sandsynligheder for hele sit ordforråd ved hvert trin. Input-tokens kan derimod behandles parallelt. Denne asymmetri i beregningskraft afspejles direkte i prisen.
Kan Consile hjælpe med at optimere vores token-forbrug?+
Ja. Consile hjælper virksomheder med at designe AI-arkitekturer, der balancerer kvalitet og omkostninger. Det kan involvere valg af rette modelstørrelse, optimering af systemprompts, intelligent caching, og strategier som RAG for at reducere unødvendigt token-forbrug.