Hvad er en Small Language Model?
En Small Language Model (SLM) er en sprogmodel med typisk mellem et par hundrede millioner og omkring 10 milliarder parametre. Den er trænet til at løse afgrænsede opgaver med høj præcision, fremfor at kunne alt som de store Large Language Models (LLM).
For virksomheder er SLM interessant, fordi den giver mulighed for at køre AI direkte på egne servere, på edge-enheder eller i miljøer, hvor data ikke må forlade organisationen. Den kræver markant færre ressourcer end en LLM, og i mange tilfælde leverer den bedre resultater på den specifikke opgave, den er tilpasset.
Gartner forudser, at virksomheder i 2027 vil bruge opgavespecifikke SLM tre gange oftere end LLM. Skiftet er allerede i gang: selskaber som Capital One, Bayer og DoorDash erstatter frontier-modeller med 7B-14B-modeller, der koster 5-150 gange mindre og ofte performer bedre på deres konkrete use cases.
Hvordan virker en Small Language Model?
En SLM bygger på den samme transformer-arkitektur som store sprogmodeller. Forskellen ligger i skalaen. Hvor en LLM som GPT-4 har hundredvis af milliarder parametre og er trænet på enorme mængder generel tekst, har en SLM typisk 0,5 til 10 milliarder parametre og er ofte fine-tunet på domænespecifikke data.
Det gør SLM hurtigere at køre (lavere latency), billigere at drifte og mulig at deploye lokalt. En SLM kan køre på en enkelt GPU, en laptop eller endda en mobiltelefon. Det er en afgørende fordel i scenarier, hvor data skal forblive on-premise, eller hvor svartider skal måles i millisekunder.
Teknikker som knowledge distillation og kvantisering gør det muligt at destillere viden fra en stor model ned i en lille, så SLM kan opnå præstationer, der nærmer sig GPT-4-niveau på specifikke opgaver. Microsofts Phi-4-mini, Googles Gemma og Metas Llama 3.2 er eksempler på SLM, der konkurrerer med langt større modeller inden for deres fokusområder.
En tommelfingerregel: Hvis opgaven er veldefineret og gentages ofte, er en SLM typisk det bedre valg. Hvis opgaven kræver bred verdensforståelse og kreativ problemløsning på tværs af domæner, er en foundation model mere velegnet.
Consile rådgiver om valg, tilpasning og deployment af Small Language Models. Kontakt os for at drøfte, hvordan en SLM kan løse jeres specifikke AI-opgave effektivt og sikkert.
Small Language Models i erhvervslivet
Sundhedssektoren er et af de områder, hvor SLM allerede skaber målbar værdi. Hospitaler bruger specialiserede modeller til at opsummere journaler, klassificere diagnosekoder og understøtte radiologer. En undersøgelse med Llama 3.2 11B kombineret med RAG reducerede hallucinationer fra 8 % til 0 % i radiologiske rapporter.
I finanssektoren bruger virksomheder som Capital One fine-tunede SLM til at detektere sikkerhedstrusler med over 50 % forbedring i angrebsdetektion sammenlignet med generelle modeller. Modellen kører on-premise, så følsomme transaktionsdata aldrig forlader organisationens infrastruktur.
Dokumenthåndtering er et andet stærkt use case. Virksomheder, der dagligt behandler hundredvis af fakturaer, kvitteringer og kontrakter, bruger SLM til at ekstrahere leverandørnavne, datoer, beløb og varelinjer med høj præcision og lav omkostning per dokument.
Logistikvirksomheder anvender kompakte billedmodeller til at sammenligne fotos af pakker over tid og identificere, hvor i distributionskæden skader typisk opstår. Modellen kører direkte på sorteringsanlægget uden at sende data til skyen.
Fælles for disse eksempler er mønsteret: en veldefineret opgave, et afgrænset domæne og et behov for enten hastighed, privatliv eller lav driftsomkostning. Det er SLM i sin rette kontekst.
Hvad Small Language Models ikke er
En SLM er ikke en billig erstatning for enhver LLM-use case. Hvis opgaven kræver, at modellen forstår kontekst på tværs af mange domæner, fører nuancerede samtaler eller genererer længere, kreativt indhold, vil en SLM typisk komme til kort. Small betyder ikke dårlig, men det betyder specialiseret.
Det er heller ikke korrekt, at en SLM kan bruges direkte uden tilpasning. De fleste fine-tunes på domænedata for at opnå den præcision, der gør dem værdifulde. Selve modellen er lille, men arbejdet med datakuration, evaluering og deployment er reelt.
Endelig bør man ikke forveksle SLM med embedded regelbaserede systemer. En SLM er stadig en neural sprogmodel med evnen til at generalisere inden for sit domæne. Den erstatter ikke forretningslogik, men kan supplere den med sprogforståelse og kontekstuel beslutningsstøtte.
Relaterede termer
Fine-tuning tilpasser en AI-model til et specifikt domæne. Lær hvornår fine-tuning er det rigtige valg fremfor RAG.
Edge AI kører AI-modeller lokalt på enheder i stedet for i skyen. Forstå fordelene, anvendelserne og hvornår edge-tilgangen giver mening for din virksomhed.
Knowledge distillation overfører viden fra store AI-modeller til mindre, hurtigere versioner. Forstå teknikken og dens værdi for virksomheder.
Mixture of Experts (MoE) er arkitekturen bag de mest avancerede AI-modeller. Forstå hvordan MoE gør AI hurtigere og billigere for virksomheder.
Ofte stillede spørgsmål om Small Language Models
Hvornår bør vi vælge en SLM frem for en LLM?+
Når opgaven er veldefineret og gentages ofte, når data skal forblive on-premise, eller når svartider og driftsomkostninger er afgørende. Eksempler er dokumentklassificering, intern søgning og kundesupporttriage. Consile hjælper med at vurdere, om en SLM er det rette valg for jeres specifikke use case.
Kræver det meget at komme i gang med en SLM?+
Selve modellen er lettere at deploye end en LLM, men forberedelsen er vigtig. I skal definere opgaven præcist, kuratere træningsdata og opsætte evaluering. Til gengæld er hardware-kravene beskedne: mange SLM kan køre på en enkelt GPU eller endda en kraftig laptop.
Hvilke SLM er mest relevante for danske virksomheder?+
Microsofts Phi-4-mini, Googles Gemma 2, Metas Llama 3.2 og Mistrals Ministral-modeller er alle stærke kandidater. Valget afhænger af opgavetype, sprogkrav og licensmodel. Open-source-modeller som Llama og Mistral giver fuld kontrol over data og deployment.