De fleste AI-sprogværktøjer taler 100 sprog nogenlunde. Vi ville bygge et, der taler ét sprog...
Small Language Models er kompakte AI-modeller, der løser specifikke opgaver hurtigere og billigere end store modeller. Lær, hvornår SLM er det rette valg.


En SLM bygger på den samme transformer-arkitektur som store sprogmodeller. Forskellen ligger i skalaen. Hvor en LLM som GPT-4 har hundredvis af milliarder parametre og er trænet på enorme mængder generel tekst, har en SLM typisk 0,5 til 10 milliarder parametre og er ofte fine-tunet på domænespecifikke data.
Det gør SLM hurtigere at køre (lavere latency), billigere at drifte og mulig at deploye lokalt. En SLM kan køre på en enkelt GPU, en laptop eller endda en mobiltelefon. Det er en afgørende fordel i scenarier, hvor data skal forblive on-premise, eller hvor svartider skal måles i millisekunder.
Teknikker som knowledge distillation og kvantisering gør det muligt at destillere viden fra en stor model ned i en lille, så SLM kan opnå præstationer, der nærmer sig GPT-4-niveau på specifikke opgaver. Microsofts Phi-4-mini, Googles Gemma og Metas Llama 3.2 er eksempler på SLM, der konkurrerer med langt større modeller inden for deres fokusområder.
En tommelfingerregel: Hvis opgaven er veldefineret og gentages ofte, er en SLM typisk det bedre valg. Hvis opgaven kræver bred verdensforståelse og kreativ problemløsning på tværs af domæner, er en foundation model mere velegnet.
Sundhedssektoren er et af de områder, hvor SLM allerede skaber målbar værdi. Hospitaler bruger specialiserede modeller til at opsummere journaler, klassificere diagnosekoder og understøtte radiologer. En undersøgelse med Llama 3.2 11B kombineret med RAG reducerede hallucinationer fra 8 % til 0 % i radiologiske rapporter.
I finanssektoren bruger virksomheder som Capital One fine-tunede SLM til at detektere sikkerhedstrusler med over 50 % forbedring i angrebsdetektion sammenlignet med generelle modeller. Modellen kører on-premise, så følsomme transaktionsdata aldrig forlader organisationens infrastruktur.
Dokumenthåndtering er et andet stærkt use case. Virksomheder, der dagligt behandler hundredvis af fakturaer, kvitteringer og kontrakter, bruger SLM til at ekstrahere leverandørnavne, datoer, beløb og varelinjer med høj præcision og lav omkostning per dokument.
Logistikvirksomheder anvender kompakte billedmodeller til at sammenligne fotos af pakker over tid og identificere, hvor i distributionskæden skader typisk opstår. Modellen kører direkte på sorteringsanlægget uden at sende data til skyen.
Fælles for disse eksempler er mønsteret: en veldefineret opgave, et afgrænset domæne og et behov for enten hastighed, privatliv eller lav driftsomkostning. Det er SLM i sin rette kontekst.
En SLM er ikke en billig erstatning for enhver LLM-use case. Hvis opgaven kræver, at modellen forstår kontekst på tværs af mange domæner, fører nuancerede samtaler eller genererer længere, kreativt indhold, vil en SLM typisk komme til kort. Small betyder ikke dårlig, men det betyder specialiseret.
Det er heller ikke korrekt, at en SLM kan bruges direkte uden tilpasning. De fleste fine-tunes på domænedata for at opnå den præcision, der gør dem værdifulde. Selve modellen er lille, men arbejdet med datakuration, evaluering og deployment er reelt.
Endelig bør man ikke forveksle SLM med embedded regelbaserede systemer. En SLM er stadig en neural sprogmodel med evnen til at generalisere inden for sit domæne. Den erstatter ikke forretningslogik, men kan supplere den med sprogforståelse og kontekstuel beslutningsstøtte.
LLM (Large Language Model): Store sprogmodeller med hundredvis af milliarder parametre, trænet på bred, generel viden. SLM er det kompakte alternativ til specifikke opgaver.
Foundation Model: Den brede kategori af fortrænede modeller, som både LLM og SLM tilhører. Foundation models danner grundlaget for fine-tuning til specifikke formål.
Fine-tuning: Processen med at tilpasse en præ-trænet model til et specifikt domæne eller opgave. Fine-tuning er ofte afgørende for at få fuld værdi ud af en SLM.
Edge AI: AI, der kører lokalt på enheder frem for i skyen. SLM er en af de teknologier, der gør edge AI praktisk muligt for sprogopgaver.
Knowledge Distillation: En teknik, hvor viden fra en stor model overføres til en mindre model. Det er en af metoderne bag mange af dagens bedste SLM.
Mixture of Experts (MoE): En arkitektur, der aktiverer kun en del af modellens parametre per forespørgsel. MoE bruges i både store og små modeller for at øge effektiviteten.