Hvad er H\u00f8jrisiko AI-systemer?

Hvad gør et AI-system til højrisiko?

EU AI Act definerer to veje til højrisiko-klassificering. Den første gælder AI-systemer, der indgår som sikkerhedskomponenter i produkter, der allerede er reguleret under EU-lovgivning, eksempelvis medicinsk udstyr, maskiner eller køretøjer. Her udløser AI-komponenten de samme krav om overensstemmelsesvurdering som selve produktet.

Den anden vej er Annex III, der opregner otte specifikke anvendelsesområder: biometri, kritisk infrastruktur, uddannelse, ansættelse og arbejdsforhold, adgang til essentielle tjenester (herunder kreditvurdering), retshåndhævelse, migrationskontrol og retspleje. Et AI-system, der anvendes inden for disse områder, klassificeres som højrisiko uanset den underliggende teknologi.

Det afgørende princip er kontekstbestemt risiko. Samme LLM kan være lavrisiko, når den opsummerer nyhedsartikler, men højrisiko, når den analyserer patientdata og anbefaler en diagnose. Klassificeringen følger altså anvendelsen, ikke modellen.

Der findes en undtagelse: Hvis AI-systemet udfører en snæver proceduremæssig opgave, forbedrer resultatet af en allerede gennemført menneskelig aktivitet, eller blot forbereder en vurdering uden at erstatte den menneskelige beslutning, kan det fritages fra højrisiko-kravene, selvom det falder inden for Annex III. Denne nuance kræver dog en konkret vurdering af hvert enkelt tilfælde.

Consile hjælper danske virksomheder med at kortlægge, klassificere og forberede deres AI-systemer til højrisiko-kravene i EU AI Act. Kontakt os for en uforpligtende vurdering af jeres AI-portefølje.

Højrisiko AI-systemer i erhvervslivet

For danske virksomheder er de mest relevante højrisiko-kategorier typisk ansættelse, kreditvurdering og kundeservice med beslutningskompetence. Bruger din virksomhed AI til at screene CV'er, rangordne jobansøgere eller vurdere medarbejderpræstationer, falder det med stor sandsynlighed under højrisiko. Det samme gælder AI-baseret kreditscoring, forsikringsvurdering og automatiserede afslag på finansielle ydelser.

Kravene til udbydere (providers) af højrisiko-systemer er omfattende. De skal etablere et kvalitetsstyringssystem, gennemføre en risikovurdering, der dækker hele systemets livscyklus, sikre datastyring med repræsentative og fejlfrie datasæt, dokumentere systemet teknisk og CE-mærke det inden markedsføring. Derudover skal systemet registreres i EU's database, før det tages i brug.

Brugere (deployers) har også klare forpligtelser. De skal sikre menneskelig overvågning af systemet, opbevare driftslogfiler i mindst seks måneder, informere berørte personer om brugen af AI og sørge for, at personalet, der overvåger systemet, har den nødvendige kompetence. For virksomheder, der anvender AI Governance-rammer, bliver disse krav en naturlig del af den eksisterende styringsstruktur.

Sanktionerne er markante: op til 15 millioner euro eller 3 procent af den globale omsætning for overtrædelse af højrisiko-reglerne. Det placerer AI Compliance på samme niveau som GDPR i den strategiske prioritering.

Hvad højrisiko AI ikke er

Højrisiko betyder ikke forbudt. Det er en almindelig misforståelse. Forbudte AI-systemer (uacceptabel risiko) er en separat og langt snævrere kategori, der eksempelvis omfatter social scoring og manipulation. Højrisiko-systemer er fuldt lovlige at udvikle og anvende, så længe kravene overholdes.

Højrisiko er heller ikke bestemt af modellens størrelse eller tekniske sofistikering. Et simpelt regelbaseret system, der automatisk afviser låneansøgninger, kan være højrisiko, mens en avanceret foundation model, der genererer marketingtekster, typisk ikke er det. Det er anvendelsen og konsekvenserne for mennesker, der tæller.

Endelig er open source-modeller ikke undtaget. Når en open source-model deployes i en højrisiko-kontekst, bærer den organisation, der tager modellen i brug, det fulde ansvar for at opfylde kravene. Ansvaret forsvinder ikke, fordi koden er frit tilgængelig.