Højrisiko AI-systemer i erhvervslivet
For danske virksomheder er de mest relevante højrisiko-kategorier typisk ansættelse, kreditvurdering og kundeservice med beslutningskompetence. Bruger din virksomhed AI til at screene CV'er, rangordne jobansøgere eller vurdere medarbejderpræstationer, falder det med stor sandsynlighed under højrisiko. Det samme gælder AI-baseret kreditscoring, forsikringsvurdering og automatiserede afslag på finansielle ydelser.
Kravene til udbydere (providers) af højrisiko-systemer er omfattende. De skal etablere et kvalitetsstyringssystem, gennemføre en risikovurdering, der dækker hele systemets livscyklus, sikre datastyring med repræsentative og fejlfrie datasæt, dokumentere systemet teknisk og CE-mærke det inden markedsføring. Derudover skal systemet registreres i EU's database, før det tages i brug.
Brugere (deployers) har også klare forpligtelser. De skal sikre menneskelig overvågning af systemet, opbevare driftslogfiler i mindst seks måneder, informere berørte personer om brugen af AI og sørge for, at personalet, der overvåger systemet, har den nødvendige kompetence. For virksomheder, der anvender AI Governance-rammer, bliver disse krav en naturlig del af den eksisterende styringsstruktur.
Sanktionerne er markante: op til 15 millioner euro eller 3 procent af den globale omsætning for overtrædelse af højrisiko-reglerne. Det placerer AI Compliance på samme niveau som GDPR i den strategiske prioritering.
Hvad højrisiko AI ikke er
Højrisiko betyder ikke forbudt. Det er en almindelig misforståelse. Forbudte AI-systemer (uacceptabel risiko) er en separat og langt snævrere kategori, der eksempelvis omfatter social scoring og manipulation. Højrisiko-systemer er fuldt lovlige at udvikle og anvende, så længe kravene overholdes.
Højrisiko er heller ikke bestemt af modellens størrelse eller tekniske sofistikering. Et simpelt regelbaseret system, der automatisk afviser låneansøgninger, kan være højrisiko, mens en avanceret foundation model, der genererer marketingtekster, typisk ikke er det. Det er anvendelsen og konsekvenserne for mennesker, der tæller.
Endelig er open source-modeller ikke undtaget. Når en open source-model deployes i en højrisiko-kontekst, bærer den organisation, der tager modellen i brug, det fulde ansvar for at opfylde kravene. Ansvaret forsvinder ikke, fordi koden er frit tilgængelig.
