Skip to content
Book AI-strategimøde
Search icon
Book AI-strategimøde
AI Ordbog / Sparse Attention

Sparse Attention

Sparse Attention lader AI-modeller fokusere på det vigtigste og skippe resten. Forstå hvordan det gør LLMs hurtigere, billigere og mere skalerbare for din virksomhed.

Kontakt en AI Konsulent
Sparse Attention
Frame 4
Frame 3
Frame 2
Frame 1
Frame 5
Sparse Attention
AI ORDBOG

Hvordan virker Sparse Attention?

I en standard Transformer-model bruger hvert token fuld opmærksomhed (dense attention) og evaluerer sin relevans i forhold til alle andre tokens. Det giver O(n²) beregninger: fordobler du inputlængden, firedobler du beregningskravet. For en tekst med 8.000 tokens kræver det 64 millioner sammenligninger per attention-lag.

Sparse Attention bryder dette mønster ved kun at lade hvert token kigge på et udvalg af andre tokens. De mest udbredte mønstre er lokale vinduer (hvert token ser kun sine nærmeste naboer), globale tokens (udvalgte tokens, f.eks. et [CLS]-token, kan se og blive set af alle), og udvidede spring (tokens kigger på naboer med stigende afstand, ligesom dilaterede konvolutioner).

Modeller som Longformer og BigBird kombinerer disse mønstre og opnår næsten lineær skalering i stedet for kvadratisk. I praksis betyder det 10-100 gange hurtigere beregning og op til 25 gange længere sekvenser inden for det samme hukommelsesforbrug.

Det centrale indsigt bag Sparse Attention er, at fuld opmærksomhed ofte er overflødig. Forskning viser, at attention-matricer i trænede Deep Learning-modeller naturligt er sparsomme: størstedelen af attention-vægtene er tæt på nul. Sparse Attention formaliserer dette og skærer de irrelevante forbindelser væk fra starten.

Kontakt en konsulent

Sparse Attention i erhvervslivet

Den mest direkte forretningsmæssige effekt af Sparse Attention er lavere omkostninger og hurtigere responstider. Når AI-modeller kræver færre beregninger per forespørgsel, falder prisen per API-kald. DeepSeek viste i september 2025, at deres Sparse Attention-model kunne halvere omkostningerne for lange kontekster, hvilket gør det langt mere realistisk at bruge AI til opgaver, der kræver store mængder tekst.

Juridisk dokumentanalyse er et oplagt eksempel. Kontrakter, lovtekster og compliance-dokumenter fylder ofte hundredtusindvis af tokens. Med dense attention ville det kræve enorm regnekraft at analysere dem i ét stykke. Sparse Attention gør det muligt at holde hele dokumentet i kontekst og stadig levere præcise svar.

Kundeservice og Conversational AI drager også fordel. Lange samtalehistorikker kan bevares uden at sløve modellen ned, hvilket giver mere sammenhængende og relevante svar over tid.

For virksomheder, der bygger egne AI-løsninger, betyder Sparse Attention, at de kan vælge mellem at reducere infrastrukturomkostninger eller at udvide modellens kapacitet inden for det samme budget. Det er et centralt designvalg i enhver AI Roadmap, der involverer store sprogmodeller.

Hvad Sparse Attention ikke er

Sparse Attention er ikke en selvstændig model. Det er en arkitekturkomponent, der indgår i Transformer-baserede modeller. Man vælger ikke mellem "en Sparse Attention-model" og "en normal model", men mellem modeller, der bruger forskellige attention-mekanismer internt.

Det er heller ikke en garanti for bedre resultater. For opgaver, der kræver dyb ræsonnering, hvor hvert token potentielt er relevant for alle andre, kan fuld attention stadig være overlegen. Sparse Attention er mest effektiv til informationsudtræk, opsummering og opgaver, hvor kontekstlængde er vigtigere end granulær sammenligning.

Endelig bør Sparse Attention ikke forveksles med Mixture of Experts (MoE), som er en anden effektivitetsteknik. MoE gør Foundation Models mere effektive ved at aktivere kun en delmængde af modellens parametre. Sparse Attention gør selve attention-mekanismen mere effektiv. De to teknikker kan kombineres.

Relaterede termer

LLM (Large Language Model): Den type model, hvor Sparse Attention oftest anvendes til at reducere beregningsomkostninger og øge kontekstlængde.

Deep Learning: Det overordnede felt, som Transformer-arkitekturen og dermed Sparse Attention tilhører.

Foundation Model: Store basismodeller, der i stigende grad bruger Sparse Attention for at skalere effektivt.

Context Window: Det antal tokens, en model kan behandle ad gangen. Sparse Attention gør det muligt at udvide dette vindue markant.

Prompt Engineering: Effektiv brug af kontekstvinduer, som Sparse Attention muliggør, er tæt forbundet med promptdesign.

Generativ AI: Sparse Attention er en kerneteknologi bag mange generative AI-systemer, der producerer tekst, kode og andre outputs.