Hvad er Human Oversight?

Hvad kræver human oversight i praksis?

Human oversight dækker over en række konkrete krav til, hvordan AI-systemer skal bygges og anvendes. Det vigtigste princip er, at en naturlig person skal kunne forstå systemets kapaciteter og begrænsninger og effektivt overvåge dets drift. Det indebærer, at systemet skal levere tilstrækkelig information til, at personen kan vurdere, om outputtet er pålideligt.

Et centralt element er beskyttelse mod automation bias. Det er den menneskelige tendens til automatisk at stole på et AI-systems output, selv når det er forkert. Effektiv human oversight kræver derfor, at personer med tilsynsansvar er trænet i at forholde sig kritisk til systemets resultater og har reelle muligheder for at afvise eller korrigere dem.

EU AI Act skelner mellem to tilgange: tilsynsforanstaltninger bygget ind i selve systemet af udbyderen (f.eks. dashboards, konfidensscorer, alarmer) og foranstaltninger, som den organisation, der anvender systemet, selv implementerer (f.eks. arbejdsgange, eskaleringsprocedurer, dobbeltverifikation).

For højrisiko AI-systemer gælder særlige krav. Ved biometrisk identifikation skal f.eks. mindst to kvalificerede personer uafhængigt verificere resultatet, før der handles på det. Det illustrerer, at oversight-kravene skaleres efter risikoen ved det konkrete system.

Consile rådgiver om human oversight og AI governance, så jeres AI-systemer lever op til EU AI Act og skaber værdi med tillid. Kontakt os for en uforpligtende vurdering af jeres tilsynsbehov.

Human oversight i erhvervslivet

For virksomheder er human oversight ikke bare et compliance-krav. Det er en strategisk disciplin, der direkte påvirker, hvor hurtigt og sikkert AI kan skaleres i organisationen. Virksomheder, der tidligt etablerer klare tilsynsstrukturer, kan rulle AI-løsninger ud med større tillid fra bestyrelse, kunder og myndigheder.

I finanssektoren er human oversight afgørende ved kreditvurdering og investeringsbeslutninger. AI-modeller kan analysere tusindvis af datapunkter, men den endelige beslutning om at yde et lån eller afvise en ansøgning kræver menneskeligt skøn, der tager højde for kontekst, som modellen ikke har adgang til. Det samme gælder inden for sundhed, hvor AI kan foreslå diagnoser, men lægen bærer det faglige ansvar.

Inden for HR og rekruttering har flere organisationer oplevet, at AI-systemer til CV-screening utilsigtet diskriminerede. Human oversight i form af regelmæssig gennemgang af systemets anbefalinger og deres fordeling på tværs af demografiske grupper er blevet en nødvendighed. Det handler om at opdage algoritmisk bias, før den får konsekvenser.

Virksomheder med en solid AI governance-struktur bygger typisk human oversight ind som en del af deres AI-livscyklus. Det betyder, at tilsynskrav defineres allerede i designfasen, ikke først når systemet er i produktion. En AI Governance Committee med repræsentanter fra jura, compliance, teknologi og forretning sikrer, at oversight er forankret på tværs af organisationen.

Hvad human oversight ikke er

Human oversight er ikke det samme som human-in-the-loop (HITL), selvom begreberne ofte forveksles. HITL beskriver en specifik arkitektur, hvor et menneske aktivt indgår i AI-systemets beslutningsproces ved hvert trin. Human oversight er et bredere koncept, der også omfatter human-on-the-loop, hvor mennesket overvåger systemet og griber ind ved behov, uden at være involveret i hver enkelt beslutning.

Human oversight betyder heller ikke, at et menneske skal godkende hver eneste AI-beslutning. Det ville eliminere de effektivitetsgevinster, AI tilbyder. Formålet er at sikre, at der findes mekanismer til at opdage fejl, eskalere problemer og stoppe et system, når det er nødvendigt. Det er forskellen mellem at have en brandslukker tilgængelig og at kræve, at nogen manuelt tænder og slukker for hvert lys.

Det er også vigtigt at forstå, at human oversight alene ikke løser problemet med AI-sikkerhed. Forskning viser, at mennesker er dårlige til monoton overvågning over tid og hurtigt udvikler overtillid til automatiserede systemer. Derfor skal oversight kombineres med tekniske guardrails, logning og klare eskaleringsprocedurer for at være effektivt.