Pre-deployment Evaluation (Praelanceringsevaluering af AI)

Hvad indgår i en pre-deployment evaluation?

En grundig prælanceringsevaluering dækker flere dimensioner af AI-systemets kvalitet og pålidelighed. Det handler ikke kun om, hvorvidt modellen giver korrekte svar, men om hele systemets adfærd under realistiske forhold.

Funktionel test verificerer, at systemet gør det, det er designet til. Det inkluderer test med repræsentative datasæt, edge cases og scenarier, som modellen ikke har set under træning. For LLM-baserede systemer omfatter det også evaluering af output-kvalitet på tværs af forskellige prompttyper og brugerscenarier.

Robusthedstest undersøger, hvordan systemet håndterer uventet input, fejlbehæftede data og forsøg på manipulation. Det er særligt relevant for systemer, der interagerer direkte med slutbrugere, hvor inputkvaliteten varierer betydeligt.

Fairness- og biasanalyse afdækker, om systemet forskelsbehandler bestemte grupper. Det kræver test med demografisk balancerede datasæt og systematisk gennemgang af outputmønstre. Under ansvarlig AI er dette et centralt element.

Performancetest måler svartider, skalering og ressourceforbrug under produktionslignende belastning. Et system, der fungerer i laboratoriet men bryder sammen under reelle mængder, er ikke klar til lancering.

Consile hjælper virksomheder med at etablere robuste evalueringsprocesser for AI-systemer. Kontakt os for at drøfte, hvordan I sikrer kvalitet og compliance inden jeres næste AI-lancering.

Pre-deployment evaluation i erhvervslivet

For virksomheder er pre-deployment evaluation en investering, der betaler sig mange gange igen. De mest kostbare AI-fejl opstår ikke under udvikling, men efter lancering, når systemet træffer beslutninger med konsekvenser for kunder, medarbejdere eller forretningen.

I finanssektoren bruges prælanceringsevaluering til at validere kreditvurderings- og risikomodeller, inden de får indflydelse på reelle beslutninger. Fejl her kan betyde uberettigede afslag, regulatoriske sanktioner eller tab. En grundig evaluering inkluderer stress-test mod historiske kriser og fairness-analyse på tværs af kundegrupper.

Inden for kundeservice sikrer evaluering, at AI-chatbots og automatiserede svar lever op til kvalitetsstandarder, før de møder rigtige kunder. Det omfatter test af hallucinationer, tonalitet og håndtering af følsomme henvendelser.

I sundhed og life science er prælanceringsevaluering lovreguleret og ekstremt grundig. AI-systemer, der understøtter diagnostik eller behandlingsforslag, gennemgår kliniske valideringer, der kan tage måneder. Her er konsekvensen af fejl potentielt livstruende.

Selv for mindre kritiske anvendelser, som marketingautomation eller intern videnshåndtering, reducerer en struktureret evaluering risikoen for pinlige fejl, ineffektive løsninger og spildte ressourcer. EU's testfaciliteter (TEF) giver desuden danske virksomheder mulighed for at teste AI-produkter i kontrollerede omgivelser inden lancering.

Hvad pre-deployment evaluation ikke er

Pre-deployment evaluation er ikke det samme som at køre et par testcases og erklære systemet klar. Det er heller ikke en engangsøvelse, der erstatter løbende overvågning efter lancering. Evaluering før lancering og monitoring i produktion er to komplementære discipliner.

Det er heller ikke udelukkende en teknisk opgave. En meningsfuld evaluering kræver input fra forretningen om acceptable fejlrater, fra juridisk afdeling om compliance-krav, og fra slutbrugere om forventninger. Et AI-system kan være teknisk velfungerende men alligevel uegnet, fordi det ikke matcher forretningens behov eller brugernes kontekst.

Endelig er pre-deployment evaluation ikke en garanti mod alle fejl. Formålet er at identificere og mitigere kendte risici systematisk. Det uventede vil stadig forekomme, og derfor er en solid AI governance-ramme med monitoring, feedback-loops og eskalationsprocedurer nødvendig som supplement.