Inference Shift (Inferensskiftet)

Hvorfor inferens er blevet dyrere end traening

1. Traening er en engangsomkostning, inferens er en driftsomkostning. Naar en foundation model er traenet, er den traenet. Inferens derimod koerer saa laenge modellen er i produktion. Hver API-kald, hver chatbesked, hver automatiseret beslutning er en inferensoperation. For en virksomhed, der betjener 10.000 brugere dagligt med en LLM-baseret tjeneste, kan de akkumulerede inferensomkostninger overstige traeningsomkostningen inden for faa maaneder.

2. Agentic AI multiplicerer inferensbehovet. En enkelt brugerforesporgsel til et agentic AI-system genererer ikke et enkelt inferenskald. Agenten planlaegger, kalder vaerktoejer, evaluerer mellemresultater og justerer sin tilgang. Et enkelt brugeroenske kan udloese 5-50 inferensoperationer. Naar virksomheder skifter fra simple chatbots til agentbaserede workflows, eksploderer inferensforbruget.

3. Reasoning-modeller bruger massivt mere compute per foresporgsel. Modeller som OpenAI o3 og DeepSeek R1 bruger extended chain-of-thought, hvor modellen genererer hundredvis eller tusindvis af interne tokens, foer den producerer et svar. DeepSeek R1 forbedrede sin AIME-benchmark-noejagtighed fra 15,6 % til 71 % ved at bruge mere inferens-compute. Det er en 4,5x forbedring, men ogsaa en markant stigning i omkostninger per foresporgsel.

4. Test-time compute scaling udfordrer traditionelle skaleringsmodeller. Forskningen viser, at en 7B-parameter model med 100x inferens-compute kan matche en 70B-model med standard inferens. Det betyder, at virksomheder kan vaelge mellem at koere en stor model billigt eller en lille model dyrt, afhangig af opgaven. Denne fleksibilitet er ny og kraever en helt anden tilgang til kapacitetsplanlaegning.

5. Inferensinfrastruktur stiller andre krav end traeningsinfrastruktur. Traening er store, planlagte batch-koersler i centraliserede datacentre. Inferens er kontinuerlig, latens-sensitiv og ofte distribueret. Traening optimerer for peak FLOPS. Inferens optimerer for gennemstroemning per watt, hukommelse per token og tid til foerste token (TTFT). Det er to fundamentalt forskellige infrastrukturparadigmer.

6. Energi er blevet den reelle flaskehals. Et enkelt NVIDIA B200-rack kan traekke op mod 120 kW. Naar tusindvis af disse racks koerer inferens 24/7, bliver stroemforsyning og koeling de begraensende faktorer. I 2026 er det ikke compute-kapacitet, men energi, der afgorer, hvor meget inferens et datacenter kan levere. Det er en af grundene til, at hyperscalere som Google, Microsoft og Amazon investerer i atomkraft og nye energikilder.

7. Token-okonomien driver arkitekturvalg. Prisen per million tokens varierer dramatisk mellem udbydere og modeller. GPT-4o koster 1,25 USD per million input-tokens paa Azure. Claude 3.5 Sonnet koster 3,00 USD per million input-tokens paa AWS Bedrock. Disse forskelle driver virksomheder til at bruge model routing, hvor simple forespoegsler sendes til billige modeller og kun komplekse opgaver rammer de dyre frontier-modeller.

8. Batch-inferens reducerer omkostningerne med op til 50 %. Amazon Bedrock tilbyder batch-inferens til halv pris sammenlignet med on-demand. Google Vertex AI giver op til 57 % rabat ved 3-aarige commitments. Azure tilbyder Provisioned Throughput Units (PTU), der kan reducere omkostningerne med op til 70 % paa forudsigelige workloads. For virksomheder med stabile inferensmonstre er disse rabatmodeller afgoorende for at holde budgettet.

Vi hjaelper danske virksomheder med at navigere Inference Shift: fra valg af inferensplatform og model routing-strategi til FinOps-setup og compliance-dokumentation. Kontakt os for en konkret gennemgang af, hvordan du optimerer dine inferensomkostninger.

Konkrete konsekvenser for virksomheder

Inferensbudgettering erstatter traeningsbudgettering. Traditionelt budgetterede AI-teams for traening: hvor mange GPU-timer koster det at fine-tune en model? Med Inference Shift skal budgettet primaert daekke driftsomkostninger. En dansk e-commerce-virksomhed, der bruger AI til produktanbefalinger, betaler maske 5.000 kr. for at fine-tune en model, men 50.000 kr. om maaneden for at koere den mod deres katalog i realtid. Budgetmodellen ligner mere SaaS end traditionel IT-investering.

Model routing bliver en kernekompetence. Ikke alle forespoegsler kraever en frontier-model. En simpel FAQ-besvarelse kan haandteres af en small language model til en broekedel af prisen. Virksomheder, der implementerer intelligent routing, sender 60-70 % af forespoegsler til billige modeller og kun de resterende til dyre modeller. Det kan reducere den samlede inferensomkostning med 40-60 % uden maalbar kvalitetsforringelse paa de simple opgaver.

Edge-inferens aabner nye use cases. Naar inferens flytter fra cloud til edge-enheder, forsvinder latens og dataforsendelsesomkostninger. En dansk produktionsvirksomhed kan koere kvalitetskontrol-AI direkte paa en NPU i en kameraenhed paa produktionslinjen. Responstiden falder fra 200 ms (cloud roundtrip) til under 10 ms (lokal inferens). Det goer realtids-AI muligt i skaerme, der kraever millisekund-beslutninger.

Inferensoptimering pavirker modelvalg. Teknikker som kvantisering (reducering af modelpreecision fra FP16 til INT8 eller INT4) kan halvere inferensomkostningen med minimalt kvalitetstab. Speculative decoding, hvor en lille model forudsiger tokens, som en stor model derefter verificerer, kan oege gennemstroemningen med 2-3x. Disse teknikker er ikke laengere akademiske. De er produktionsvaerktoejer, som enhver virksomhed med serioes AI-drift boer evaluere.

Caching reducerer redundante inferensoperationer. Mange AI-systemer besvarer de samme typer spoergsmaal gentagne gange. Semantisk caching gemmer svar paa lignende forespoegsler og serverer dem uden ny inferens. En kundeservice-AI kan typisk cache 20-30 % af sine svar, hvilket direkte reducerer inferensomkostningerne med tilsvarende. Context caching, som Google Vertex AI tilbyder, reducerer omkostningen for gentagne kontekstvinduer.

FinOps for AI bliver en ny disciplin. Ligesom cloud-FinOps hjaelper virksomheder med at styre AWS- og Azure-regninger, opstaar AI FinOps som disciplin for at styre inferensomkostninger. Det inkluderer monitoring af tokenforbbrug per tjeneste, allokering af omkostninger til forretningsenheder, optimering af modelmix og forhandling af volumenrabatter. Uden AI FinOps risikerer virksomheder at inferensomkostningerne vokser ukontrolleret, efterhaanden som AI-brugen skalerer.

SLA-krav aendrer sig. I traeningsverdenen maalte man paa, hvornaar modellen var faerdig. I inferensverdenen maaler man paa latens (tid til foerste token), gennemstroemning (tokens per sekund) og tilgaengelighed (uptime). En dansk fintech-virksomhed, der bruger AI til kreditvurdering, har brug for garanteret latens under 500 ms og 99,9 % uptime. Det stiller krav til infrastruktur, der er fundamentalt anderledes end et traeningscluster.

Hardware og udbydere i inferensmarkedet

NVIDIA dominerer med Blackwell-arkitekturen. NVIDIAs B200 GPU, bygget paa Blackwell-arkitekturen, er den mest udbredte inferens-chip i 2026. Den koster mellem 30.000 og 40.000 USD per enhed og lejes i cloud til 4,90-6,50 USD per time. Blackwell-platformen tilbyder en 30x forbedring i inferensydelse per watt sammenlignet med den tidligere Hopper-generation. NVIDIAs styrke er det modne CUDA-softwareokosystem, som goer det nemt at deploye modeller uden at omskrive kode.

AMD presser paa med MI300X og MI350. AMDs MI300X tilbyder 192 GB HBM3-hukommelse og 5,3 TB/s baandbredde. Det er 36 % mere hukommelse end NVIDIAs H200 (141 GB). For store modeller, der ikke passer i en enkelt GPU's hukommelse, er MI300X ofte det bedre valg. Prisen ligger paa 10.000-15.000 USD per enhed, markant lavere end NVIDIA. Cloud-leje starter fra 1,85 USD per time hos udbydere som Vultr. Den nyere MI350 med 288 GB HBM3e og 8 TB/s baandbredde er begyndt at blive tilgaengelig i 2026.

Groq har bygget hardware specifikt til inferens. Groqs Language Processing Unit (LPU) er designet udelukkende til sekventiel tokengenerering. Resultatet er sub-100 ms tid til foerste token og deterministisk latens, uanset belastning. For applikationer, der kraever realtidssvar, er Groq den hurtigste udbyder paa markedet. Prisen per token er konkurrencedygtig med GPU-baserede loesninger, og den forudsigelige ydeevne goer kapacitetsplanlaegning enklere.

Google og Amazon bygger egen silicium. Googles TPU v5e og den nyere TPU 8i (Zebrafish) er optimeret til inferens paa Google Cloud. Amazons Trainium 2 og Inferentia 2 tilbyder konkurrencedygtige tokens-per-dollar til inferensworkloads paa AWS. Begge chiptyper undgaar NVIDIAs prispreemie og giver cloud-udbyderne bedre marginer, som de kan videregive til kunderne i form af lavere priser.

Cloud-udbyderne differentierer sig paa pris og features. AWS Bedrock tilbyder den bredeste modelportefoelje (Anthropic, Meta, Mistral, Amazon) med batch-inferens til halv pris. Azure AI Foundry giver adgang til OpenAI-modeller med enterprise SLA og PTU-rabatter paa op til 70 %. Google Vertex AI tilbyder de stoerste volumenrabatter (57 % ved 3-aarige commitments) og kontekst-caching, der reducerer omkostningen for gentagne kontekstvinduer.

Open-source inference-platforme vokser. vLLM, TensorRT-LLM og SGLang er open-source inference engines, der koerer paa egne GPU'er. De giver virksomheder fuld kontrol over infrastrukturen og undgaar cloud-marginerne. For en dansk virksomhed med specialiserede compliance-krav kan on-premise inferens med vLLM paa en MI300X vaere baade billigere og mere fleksibelt end managed cloud-tjenester.

Markedet for inferens-optimerede chips vokser eksplosivt. Markedet for inferens-optimerede chips forventes at overstige 50 milliarder USD i 2026. Det samlede AI-inferensmarked forventes at vokse fra 106 milliarder USD i 2025 til 255 milliarder USD i 2030, med en aarlig vaekstrate paa 19,2 %. Denne vaekst driver en boelge af nye aktorer, fra startups som Cerebras og SambaNova til etablerede spillere som Intel med Gaudi 3.