Hvad er et Model Card?

Hvad indeholder et model card?

Et model card er bygget op omkring faste sektioner, der tilsammen giver et komplet billede af en AI-model. Den første sektion beskriver modellens grundlæggende detaljer: hvem der har udviklet den, hvornår, hvilken type arkitektur den bruger, og hvilken version der er tale om. Det svarer til de basale oplysninger på en produktemballage.

Derefter følger en beskrivelse af modellens tilsigtede anvendelse. Her specificeres hvilke opgaver modellen er designet til, hvem de tiltænkte brugere er, og lige så vigtigt: hvilke scenarier modellen ikke er beregnet til. En model til sentimentanalyse af kundefeedback bør for eksempel klart angive, at den ikke er egnet til at vurdere psykisk helbred.

Ydeevne-sektionen er ofte den mest tekniske del. Her dokumenteres modellens præcision, fejlrater og eventuelle forskelle i performance på tværs af demografiske grupper eller datatyper. Det er afgørende information for at identificere potentiel algoritmisk bias.

Endelig dækker et model card træningsdata, etiske overvejelser og kendte begrænsninger. Træningsdata-sektionen beskriver hvilke datasæt modellen er trænet på, uden nødvendigvis at afsløre proprietære data. De etiske overvejelser adresserer potentielle risici ved modellens brug, og begrænsningerne giver en ærlig vurdering af, hvor modellen kan fejle.

Consile hjælper virksomheder med at opbygge struktureret AI-dokumentation, herunder model cards, som del af en samlet AI governance-strategi. Kontakt os for at drøfte, hvordan I får styr på jeres AI-modellers dokumentation.

Model cards i erhvervslivet

For virksomheder, der anvender AI, er model cards blevet et praktisk redskab til at skabe overblik og kontrol. Når en organisation har flere AI-modeller i drift, giver model cards et samlet overblik over, hvad hver model gør, hvor den performer godt, og hvor der er risici. Det er information, som både tekniske teams og ledelse har brug for.

I forbindelse med AI governance fungerer model cards som den dokumentation, der gør det muligt at føre tilsyn med AI-systemer. Bestyrelser og compliance-teams kan bruge dem til at forstå, hvilke AI-modeller organisationen anvender, uden at skulle gennemgå teknisk kode. Det understøtter den type human oversight, som regulering i stigende grad kræver.

Regulatorisk er model cards tæt knyttet til kravene i EU AI Act, som stiller krav om teknisk dokumentation for højrisiko-AI-systemer. Et velstruktureret model card dækker mange af de oplysninger, som forordningen kræver, herunder oplysninger om træningsdata, ydeevne og begrænsninger. Organisationer, der allerede arbejder med model cards, har et forspring i forhold til AI compliance.

Internt fungerer model cards også som kommunikationsværktøj. Når data scientists skal overdrage en model til et produktionsteam, eller når en ny medarbejder skal forstå en eksisterende model, giver model cardet en struktureret introduktion, der reducerer vidensgab og misforståelser.

Hvad et model card ikke er

Et model card er ikke en komplet teknisk specifikation. Det erstatter ikke den fulde dokumentation af en models arkitektur, hyperparametre og træningsproces. Model cardet er tænkt som et tilgængeligt overblik, der kan læses af både tekniske og ikke-tekniske interessenter. Den dybere tekniske dokumentation lever separat.

Det er heller ikke en garanti for kvalitet eller sikkerhed. At en model har et model card, betyder ikke automatisk, at modellen er pålidelig eller fri for bias. Model cardet dokumenterer, hvad udviklerne ved om modellen, men det kan kun afspejle de test og evalueringer, der faktisk er gennemført. Et model card med mangelfulde evalueringer kan give en falsk tryghed.

Endelig er et model card ikke en engangsøvelse. AI-modeller udvikler sig over tid gennem opdateringer, fine-tuning og ændringer i de data, de møder i produktion. Et model card skal vedligeholdes og opdateres løbende for at forblive relevant og præcist.