Hvad er Model Drift?

Hvordan opstår model drift?

Model drift opstår, fordi verden ændrer sig, mens modellen forbliver statisk. En model er trænet på historiske data og lærer mønstre og sammenhænge i disse data. Når de underliggende mønstre ændrer sig i produktionsmiljøet, begynder modellens forudsigelser at ramme ved siden af.

Der er to hovedtyper af drift. Data drift (også kaldet covariate shift) opstår, når fordelingen af inputdata ændrer sig. Det kan skyldes sæsonudsving, ændret kundeadfærd, nye produkter eller ændringer i dataindsamlingen. Modellen modtager data, der statistisk set ser anderledes ud end træningsdataene, selvom den underliggende sammenhæng mellem input og output ikke nødvendigvis har ændret sig.

Concept drift er mere fundamental. Her ændrer selve sammenhængen mellem input og output sig. Et klassisk eksempel: en model til at forudsige kundeafgang (churn) er trænet før en pandemi. Under pandemien ændrer kundernes adfærdsmønstre sig radikalt, og de signaler, der tidligere indikerede afgang, betyder nu noget helt andet.

I praksis optræder begge typer drift ofte samtidig, hvilket gør det vanskeligt at isolere den præcise årsag til faldende præcision. Det vigtige er at opdage drift tidligt, uanset hvilken type der er tale om.

Consile hjælper virksomheder med at etablere robust AI-monitorering og drift-håndtering, så jeres modeller forbliver præcise og forretningskritiske beslutninger hviler på et solidt grundlag. Kontakt os for en uforpligtende vurdering.

Model drift i erhvervslivet

For virksomheder med AI i produktion er model drift ikke et edge case. Det er den forventede tilstand. Markeder skifter, kundeadfærd udvikler sig, og regulering ændrer spillereglerne. Alt dette påvirker de modeller, der driver forretningskritiske beslutninger.

Inden for marketing og salg kan drift i en lead scoring-model betyde, at sælgere bruger tid på de forkerte leads. En model, der var præcis for seks måneder siden, kan nu prioritere forkert, fordi markedets købssignaler har ændret sig. Det samme gælder churn prediction-modeller, der mister evnen til at identificere risikokunder, når kundernes forventninger skifter.

Inden for finans og compliance er konsekvenserne endnu skarpere. En driftende kreditvurderingsmodel kan godkende lån, der burde afvises, eller omvendt. En model til svindelopdagelse, der ikke opdateres i takt med nye angrebsmønstre, mister hurtigt sin effektivitet.

Operationelt kan drift i efterspørgselsprognoser føre til overfyldte lagre eller leveringssvigt. I produktion kan kvalitetskontrol-modeller overse defekter, fordi inputdata fra sensorer har ændret karakteristik over tid.

75 % af virksomheder rapporterer faldende AI-præcision uden monitorering, og over halvdelen har oplevet målbare tab på omsætningen som følge af AI-fejl. Drift er dermed ikke kun et teknisk problem, men en forretningsmæssig risiko, der kræver ledelsens opmærksomhed.

Hvad model drift ikke er

Model drift er ikke det samme som en dårlig model. En model kan være velbygget, grundigt valideret og præcis ved lancering og stadig opleve drift. Drift er en naturlig konsekvens af, at verden ændrer sig, ikke en fejl i modeludviklingen. Det er derfor, at selv state-of-the-art modeller kræver løbende governance og monitorering.

Model drift bør heller ikke forveksles med AI-hallucinationer. Hallucinationer er tilfælde, hvor en model genererer faktuelt forkerte svar. Drift er en gradvis, systematisk degradering af præcisionen. Hallucinationer kan forekomme i en model uden drift, og en driftende model kan producere svar, der teknisk set er sammenhængende, men blot forkerte i kontekst.

Det er også vigtigt at skelne drift fra bevidst modelopdatering. Når en virksomhed vælger at genoptræne eller fine-tune en model med nye data, er det en kontrolleret proces. Drift er den ukontrollerede degradering, der sker, når modellen netop ikke opdateres.