On-Device AI (Lokal AI)
On-Device AI er AI-modeller der kører direkte på brugerens hardware, uden at data sendes til en cloud-server. Det kan være en smartphone med en dedikeret Neural Processing Unit (NPU), en bærbar med en Qualcomm Snapdragon X2-chip, eller en industriel sensor på et fabriksgulv. Kernen er den samme: inferens sker lokalt, og data forlader aldrig enheden.
Forestil dig en sælger i felten der åbner en kunde-app på sin telefon. Appen analyserer et billede af kundens produktopsætning, sammenligner med kataloget, og foreslår relevante tilbehørsdele. Alt sker på under et sekund, uden netværksforbindelse, og uden at kundens billeder uploades til en ekstern server. Det er On-Device AI i praksis.
For danske virksomheder er On-Device AI særligt relevant af tre grunde: GDPR-compliance bliver enklere når persondata aldrig forlader enheden, latenstiden forsvinder fordi der ikke er nogen cloud-rundtur, og driftsomkostningerne falder fordi inferens flytter fra betalte API-kald til hardware du allerede ejer. I 2025 blev der solgt hundredvis af millioner enheder med AI-acceleratorer, og i 2026 er 40 TOPS NPU-ydeevne blevet standardkravet for en AI-PC.
Sådan fungerer On-Device AI teknisk
1. NPU: Den dedikerede AI-processor. Moderne enheder har en Neural Processing Unit (NPU) ved siden af CPU og GPU. En NPU er specialdesignet til de matrixoperationer der driver neurale netværk. Qualcomms Snapdragon X2-platform leverer 75-85 TOPS (Tera Operations Per Second) dedikeret AI-ydeevne. Intels Core Ultra Series 3 (Panther Lake) når 50 TOPS. AMDs Ryzen AI 300-serien ligger på 50-75 TOPS. Apples M-serie chips kombinerer NPU med en unified memory-arkitektur der giver modellen adgang til al tilgængelig RAM uden kopiering mellem processor-pools.
2. Forskellen på cloud-inferens og lokal inferens. Ved cloud-inferens sender din enhed data til en server, serveren kører modellen, og svaret sendes retur. Hvert trin tilføjer latens: typisk 200-500 ms for en simpel forespørgsel, mere hvis netværket er langsomt. Ved lokal inferens sker hele beregningen på chippen i din hånd eller på dit skrivebord. Resultatet er der på millisekunder, ikke hundredvis af millisekunder.
3. Modelstørrelse og kvantisering. Store sprogmodeller som GPT-4 har hundredvis af milliarder parametre og kræver server-grade hardware. On-Device AI bruger i stedet kompakte modeller. Metas Llama 3.2 findes i 1B- og 3B-parameterversioner specifikt til on-device-brug. Googles Gemma 3 går helt ned til 270 millioner parametre. Microsofts Phi-4 mini er 3,8 milliarder parametre. Disse modeller er designet fra bunden til at køre på enheder med 8-16 GB RAM. Kvantisering komprimerer yderligere ved at reducere præcisionen af vægttallene fra 32-bit til 4-bit, hvilket typisk halverer hukommelsesforbruget med minimalt tab af kvalitet.
4. Runtime-frameworks. Modellen alene er ikke nok. Der skal et runtime-framework til at oversætte modeloperationer til den specifikke hardware. De vigtigste i 2026 er ExecuTorch (Metas PyTorch-native framework med 50 KB base footprint og 12+ hardware-backends), ONNX Runtime (Microsofts framework-agnostiske motor der kører på alle platforme via det universelle ONNX-format), TensorFlow Lite/LiteRT (Googles optimerede runtime til mobile enheder), og Core ML (Apples proprietære framework der udnytter Apples hardware fuldt ud). Valget afhænger af din modelkilde og målhardware.
5. Hybrid-arkitektur: lokal og cloud sammen. I praksis kører de fleste enterprise-løsninger en hybridmodel. Hurtige, privatlivsfølsomme opgaver som tekstfuldføring, billedgenkendelse og stemmekommandoer kører lokalt. Tunge opgaver som generering af lange dokumenter eller analyse af store datasæt sendes til cloud AI. Apple Intelligence bruger præcis denne tilgang: simple Siri-forespørgsler behandles af on-device-modellen, mens komplekse opgaver sendes til Apples Private Cloud Compute, der kører på Apple Silicon-servere med krypterede sessioner.
6. Hukommelsesarkitektur er flaskehalsen. Den største tekniske udfordring for On-Device AI er ikke regnekraft, men hukommelsesbåndbredde. En 7B-parametermodel kvantiseret til 4-bit kræver cirka 3,5 GB RAM bare til vægttallene. Under inferens skal disse vægttal streames gennem processoren i høj hastighed. Det er derfor unified memory-arkitekturer (som Apples) har en fordel: de undgår at kopiere data mellem CPU- og GPU-hukommelse. Det er også derfor de fleste smartphones i 2026 leveres med minimum 12 GB RAM.
7. Energiforbrug og termisk styring. En NPU der kører på 10-15 watt, kan levere inferens der ville kræve 200-400 watt på en GPU-server. Det er en størrelsesordens forskel i energieffektivitet. For virksomheder med tusindvis af enheder i felten betyder det at AI-funktioner kan køre hele arbejdsdagen uden at tære batteriet. Til gengæld skal termisk throttling håndteres: vedvarende inferens på en telefon kan reducere NPU-ydeevnen med 20-30% efter få minutters belastning.
8. Sikkerhedsmodellen. Når modellen kører lokalt, er angrebsfladen anderledes end ved cloud AI. Der er ingen API-nøgle at lække og ingen netværkstrafik at opsnappe. Til gengæld kan modellen potentielt reverse-engineeres fra enheden, og jailbreaking af on-device-modeller er lettere fordi brugeren har fysisk adgang. Producenter som Apple og Samsung bruger hardware-enklaver (Secure Enclave, Knox) til at beskytte modelvægtene.
Vi hjælper danske virksomheder med at vurdere, planlægge og implementere On-Device AI-løsninger der balancerer privatliv, ydeevne og omkostninger. Kontakt os for en konkret vurdering af, hvor lokal AI kan erstatte eller supplere jeres nuværende cloud-AI-setup.
Konkrete erhvervsanvendelser af On-Device AI
Realtids-sprogoversættelse uden netværk. På en Samsung Galaxy S26 med Galaxy AI kan en sælger på en international messe tale dansk ind i telefonen og få live oversættelse til tysk, japansk eller spansk direkte på enheden. Oversættelsen sker på under 300 ms, også uden Wi-Fi. For danske eksportvirksomheder der opererer på messer i Hannover eller Tokyo, er det en konkret produktivitetsgevinst.
Dokumentanalyse med fuld GDPR-compliance. En juridisk afdeling kan bruge en AI-PC med Snapdragon X2 til at analysere kontrakter lokalt. Modellen identificerer risikoparagraffer, sammenligner med standardvilkår og flagger afvigelser. Fordi dokumenterne aldrig forlader maskinen, er der ingen databehandleraftale nødvendig med en cloud-udbyder, og GDPR-kravene til dataminimering er opfyldt per definition.
Kvalitetskontrol i produktion. Et dansk produktionsselskab kan montere kameraer med Edge AI-processorer på produktionslinjen. Billedgenkendelsesmodellen kører lokalt på kameraets indbyggede NPU og registrerer defekter i realtid. Latensen er under 10 ms per billede, hvilket muliggør inspektion ved fuld produktionshastighed. Alternativet med cloud-analyse ville kræve stabil båndbredde og tilføje 100-500 ms forsinkelse per billede.
Intelligent kundeservice på enheden. En Conversational AI-assistent der kører lokalt på en tablet i en butik, kan besvare produktspørgsmål uden netværksafhængighed. Modellen er trænet på virksomhedens produktkatalog og kan håndtere 80-90% af typiske kundeforespørgsler offline. Når forbindelsen er tilgængelig, synkroniserer den med cloud-backenden for at opdatere priser og lagerstatus.
Stemmeanalyse i callcentre (lokal førstebehandling). AI-modellen på agentens PC analyserer kundens stemmetone og ordvalg i realtid og foreslår svar, eskalering eller rabattilbud. Fordi analysen sker lokalt, undgår virksomheden at streame kundens stemmedata til en ekstern server, hvilket forenkler compliance med optagelsesregler og GDPR.
AI-drevet energistyring i bygninger. Sensorer med indbyggede AI-chips kan optimere varme, køling og belysning baseret på lokale mønsterdata uden at sende bygningsdata til skyen. Et kontorbyggeri med 500 sensorer der hver kører inferens lokalt, kan reducere energiforbruget med 15-25% sammenlignet med regelbaseret styring, ifølge brancheestimaterne fra 2025.
Sikkerhedsovervågning med privacy by design. Kameraer med on-device AI kan detektere uautoriseret adgang, brand eller vandskade uden at optage eller transmittere videomateriale. Modellen analyserer frames lokalt og sender kun alarmer, ikke billeder. Det løser det klassiske dilemma mellem sikkerhedsbehovet og medarbejdernes privatlivskrav.
Konkurrentlandskab: hvem leverer On-Device AI i 2026
Apple (Apple Intelligence + Apple Silicon)
Apples tilgang er den mest integrerede. Hele stakken er proprietær: chippen (M4, A19 Pro), frameworket (Core ML), og modellerne er optimeret specifikt til Apples hardware. Styrken er energieffektivitet og den tætte integration med iOS/macOS. Svagheden er lukketheden: du kan kun køre Apples egne modeller eller modeller konverteret til Core ML-format. En MacBook Air M4 med 16 GB RAM starter ved cirka 10.000 DKK og kører 7B-modeller flydende.
Qualcomm (Snapdragon X2 + AI Engine)
Qualcomm dominerer Windows-laptops og Android-smartphones. Snapdragon X2 Elite leverer op til 85 TOPS og kører i Lenovo ThinkPad T14s Gen 6 (fra cirka 10.500 DKK), Microsoft Surface Pro 12 (fra cirka 14.500 DKK) og Samsung Galaxy-serien. Qualcomms AI Engine understøtter ONNX Runtime, ExecuTorch og TensorFlow Lite, hvilket giver større modelfleksibilitet end Apples lukkede økosystem. Svagheden er højere strømforbrug end Apples chips ved vedvarende inferens.
Intel (Core Ultra Series 3 / Panther Lake)
Intels NPU når 50 TOPS i Panther Lake-generationen og opfylder Microsofts 40 TOPS-krav til Copilot+ PC-klassificering. Intel har den bredeste OEM-distribution: Dell, HP, Lenovo og ASUS bruger alle Intel-chips i deres enterprise-serier. Svagheden er at Intels NPU historisk har været mindre energieffektiv end Qualcomms og Apples, selvom gabet indsnævres. Enterprise-laptops med Panther Lake starter fra cirka 9.000 DKK.
AMD (Ryzen AI 300 / Ryzen AI Max)
AMD positionerer sig med 50-75 TOPS i Ryzen AI Max-serien, primært til kreative workstations og udviklermaskiner. Styrken er den integrerede Radeon-GPU der kan bruges til inferens sammen med NPU'en, hvilket giver mere fleksibilitet til større modeller. Svagheden er smallere OEM-distribution end Intel og Qualcomm i enterprise-segmentet.
Samsung (Galaxy AI + Exynos/Qualcomm)
Samsung satser på skala. Målet er 800 millioner AI-drevne enheder inden udgangen af 2026, inklusiv smartphones, tablets, wearables og hvidevarer. Galaxy AI bruger en hybrid-tilgang: simple opgaver kører lokalt på Snapdragon 8 Elite Gen 2 eller Exynos 2600 (med NPU der er seks gange hurtigere end forgængeren), mens avanceret generativt indhold bruger Samsungs cloud. Styrken er demokratisering: Galaxy AI er tilgængeligt på mellemklassemodeller som A56 og A36, ikke kun flagskibe.
Google (Tensor G5 + Gemini Nano)
Googles Tensor-chip er designet specifikt til Googles egne ML-modeller. Tensor G5 kører Gemini Nano hurtigere end konkurrenterne trods lavere teoretisk TOPS-rating, fordi chippen er optimeret til præcis de modeller Google bruger. Det er en fordel hvis du er i Googles økosystem, men en begrænsning hvis du vil køre egne modeller. Pixel 10 Pro med Tensor G5 koster cirka 7.500 DKK.
Hvor On-Device AI er unik som koncept. On-Device AI er ikke et produkt fra en enkelt leverandør, men et paradigme. Fordelen er leverandøruafhængighed: du kan vælge mellem Apples, Qualcomms, Intels eller AMDs hardware og kombinere med open-source frameworks og modeller. Ulempen sammenlignet med cloud AI er modelstørrelsesbegrænsningen. De bedste on-device-modeller i 2026 er 1B-7B parametre, hvor cloud-modeller når 1.000+ milliarder. Det betyder at komplekse opsummerings-, programmerings- og analyseopgaver stadig kræver cloud-kapacitet.
Adgang, priser, compliance og begrænsninger
Edge AI kører AI-modeller lokalt på enheder i stedet for i skyen. Forstå fordelene, anvendelserne og hvornår edge-tilgangen giver mening for din virksomhed.
En NPU (Neural Processing Unit) er en specialiseret chip bygget til AI-opgaver direkte på enheden. Forstå hvad den gør, og hvorfor den er relevant for din virksomhed.
Inference er det øjeblik, hvor en AI-model omsætter data til svar. Se hvorfor inference ofte er den største AI-udgift i drift, og hvordan du sænker den.
Cloud AI dækker AI-tjenester fra AWS, Azure, Google og europæiske leverandører. Forstå platforme, EU-regulering og hvornår on-premise vinder regnestykket.
Model Quantization reducerer AI-modellers størrelse og øger hastigheden markant. Forstå teknikken, fordelene og hvornår den giver mening for din virksomhed.
Forstå AI-native enheder: NPU-arkitektur, on-device inferens, Samsung Galaxy AI vs Apple Intelligence vs Google Pixel, priser og B2B-implikationer.
On-premise AI giver virksomheder fuld kontrol over data, modeller og compliance. Forstå fordele, begrænsninger og hvornår on-prem er det rette valg.
Inference economics handler om de reelle omkostninger ved at køre AI i produktion. Forstå hvad der driver din AI-regning, og hvordan du optimerer inferensudgifter.
Ofte stillede spørgsmål om On-Device AI
Hvad er forskellen på On-Device AI og Edge AI?+
On-Device AI er en delmængde af Edge AI. Edge AI dækker al AI-behandling der sker tæt på datakilden, inklusiv lokale servere, gateways og edge-datacentre. On-Device AI er specifikt inferens på selve slutbrugerens enhed: smartphone, laptop eller sensor. En lokal server i et fabriksskab er Edge AI, men ikke On-Device AI. En NPU i din telefon er begge dele.
Kan On-Device AI erstatte cloud-baserede AI-løsninger som ChatGPT eller Claude?+
Til simple, gentagne opgaver ja. En 3B-parametermodel på en moderne smartphone kan håndtere tekstfuldføring, opsummering af korte dokumenter, billedklassificering og basale spørgsmål-svar-flows. Til komplekse opgaver som dyb analyse, avanceret kodegenerering eller kreativt indhold på tværs af sprog er cloud-modeller med 400B+ parametre stadig mærkbart bedre. De fleste virksomheder bruger en hybrid-tilgang.
Hvad koster det at komme i gang med On-Device AI i en virksomhed?+
Hardware-investeringen er den primære omkostning. En AI-klar laptop med 40+ TOPS NPU koster 9.000-18.000 DKK. Modellerne (Llama 3.2, Gemma 3, Phi-4 mini) og frameworks (ExecuTorch, ONNX Runtime) er gratis og open-source. For 50 medarbejdere er budgettet typisk 450.000-900.000 DKK for hardware, med nul løbende inferens-omkostninger. Sammenlign med cloud-AI der kan koste 50-200 DKK per medarbejder per måned for API-adgang.
Er On-Device AI sikkert nok til at håndtere fortrolige virksomhedsdata?+
Sikkerhedsmodellen er anderledes end cloud. Data forlader aldrig enheden, hvilket eliminerer risikoen for netværksangreb og cloud-brud. Til gengæld har brugeren fysisk adgang til enheden, hvilket gør jailbreaking muligt. Producenter som Apple og Samsung bruger hardware-enklaver (Secure Enclave, Knox) til at beskytte modelvægtene. For de fleste erhvervsscenarier er den lokale sikkerhedsmodel mindst lige så stærk som cloud, forudsat at enheden er korrekt administreret via MDM.
Hvordan påvirker EU AI Act brugen af On-Device AI?+
EU AI Act trådte i kraft 1. august 2024 og gælder i etaper. On-Device AI har en compliance-fordel fordi data ikke forlader enheden, hvilket forenkler kravene til datahåndtering og overførsler. Højrisiko-systemer (rekruttering, kreditvurdering) skal stadig dokumentere risikostyring uanset kørselssted, når kravene til systemer i bilag III gælder fra 2. december 2027. Men for standard-anvendelser eliminerer lokal kørsel mange af de compliance-udfordringer der følger med cloud-baseret AI, særligt kravet om databehandleraftaler og overførsel til tredjelande.
Hvilke AI-modeller kan køre på en standard kontorbærbar i 2026?+
En laptop med 16 GB RAM og 40+ TOPS NPU kan køre modeller op til cirka 7 milliarder parametre kvantiseret til 4-bit. Det inkluderer Metas Llama 3.2 3B, Googles Gemma 3 (op til 4B), Microsofts Phi-4 mini (3,8B) og Hugging Faces SmolLM2 (op til 1,7B). Med 32 GB RAM kan du køre 13B-modeller. Kvaliteten af disse modeller er tilstrækkelig til de fleste kontorprocesser: opsummering, kladder, oversættelse og basale analyser.
Hvordan opdaterer man en On-Device AI-model?+
Modeller opdateres typisk via OS-opdateringer (Apple Intelligence, Samsung Galaxy AI) eller via app-opdateringer for tredjepartsmodeller. Enterprise-IT kan også distribuere nye modeller via MDM-løsninger. En 3B-model fylder cirka 1,5-2 GB komprimeret, så opdateringer er håndterbare over standard erhvervsnetværk. Ulempen sammenlignet med cloud er at alle enheder skal opdateres individuelt, hvilket kan tage timer til dage for en stor flåde.