Data poisoning i erhvervslivet
For virksomheder, der anvender AI i forretningskritiske processer, er data poisoning en direkte trussel mod operationel stabilitet. Et angrebet kan påvirke alt fra spam-filtre og anbefalingssystemer til kreditvurderinger og medicinsk diagnostik. Konsekvenserne er ikke kun tekniske, men også økonomiske og juridiske.
Inden for finans kan data poisoning skævvride risikomodeller, så investeringsbeslutninger baseres på systematisk forkerte analyser. I sundhedssektoren kan manipulerede træningsdata føre til fejldiagnoser. Inden for marketing og salg kan AI-hallucinationer og fejlvurderinger fra forgiftede modeller underminere kundeoplevelsen og virksomhedens troværdighed.
En vigtig udfordring er, at data poisoning ofte først opdages lang tid efter, at skaden er sket. I modsætning til softwaresårbarheder, der kan patches, kræver forgiftede modeller potentielt fuld genoptræning med rensede datasæt. Det er tidskrævende og dyrt, særligt i enterprise-skala.
Under EU AI Act stilles der krav til datakvalitet, transparens og risikostyring for AI-systemer. Data poisoning kompromitterer alle tre områder og kan dermed bringe virksomheder i konflikt med regulatoriske krav, hvis angreb går uopdagede.
Hvad data poisoning ikke er
Data poisoning forveksles ofte med adversarial attacks, men de to angrebstyper er fundamentalt forskellige. Data poisoning sker i træningsfasen og ændrer selve modellens indlærte mønstre. Adversarial attacks sker i inferensfasen og manipulerer de inputs, en allerede trænet model modtager. En adversarial attack ændrer ikke modellen selv, men forsøger at narre den med specialdesignede inputs.
Det er også en udbredt misforståelse, at internt udviklede AI-modeller er beskyttede mod data poisoning. Angrebsvektoren virker gennem adgang til træningsdata, uanset om modellen er bygget in-house eller købt eksternt. Faktisk har internt udviklede modeller typisk færre sikkerhedsaudits end kommercielle modeller fra store leverandører.
Endelig er data poisoning ikke det samme som dårlig datakvalitet. Dårlig datakvalitet er utilsigtet og skyldes mangelfulde processer. Data poisoning er en bevidst, målrettet handling med et specifikt formål. Begge kræver opmærksomhed, men forsvarsstrategien er fundamentalt anderledes.
