Hvad er Data Poisoning?

Hvordan virker data poisoning?

Data poisoning fungerer ved, at angriberen indsætter korrupte, manipulerede eller vildledende datapunkter i det datasæt, en model lærer fra. Det kan ske ved at tilføje nye datapunkter, ændre eksisterende data eller fjerne kritiske eksempler. Resultatet er en model, der har lært mønstre, som ikke afspejler virkeligheden, men derimod angriberens intention.

Der findes flere angrebstyper. Ved backdoor poisoning planter angriberen en skjult trigger i datasættet. Modellen opfører sig normalt under test, men reagerer forudsigeligt forkert, når triggeren optræder i produktion. Ved label flipping ændres klassifikationen af datapunkter, så modellen systematisk fejlklassificerer bestemte inputs. Clean-label angreb er særligt sofistikerede, fordi de manipulerede datapunkter ser korrekte ud ved inspektion.

For store sprogmodeller (LLM'er) har forskning vist, at det kan kræve så lidt som 250 forgiftede dokumenter at påvirke en models output, uanset modellens størrelse. Det gør angrebet overraskende tilgængeligt for ondsindede aktører.

Angrebsfladen er bred. Træningsdata kan komme fra offentlige datasæt, web scraping, brugergenereret indhold eller tredjepartskilder. Hver kilde udgør en potentiel indgang for data poisoning, hvis der ikke er etableret stærk dataprovenance og kvalitetskontrol.

Consile rådgiver om AI-sikkerhed og hjælper virksomheder med at beskytte deres AI-systemer mod trusler som data poisoning. Kontakt os for en vurdering af jeres AI-sikkerhedsberedskab.

Data poisoning i erhvervslivet

For virksomheder, der anvender AI i forretningskritiske processer, er data poisoning en direkte trussel mod operationel stabilitet. Et angrebet kan påvirke alt fra spam-filtre og anbefalingssystemer til kreditvurderinger og medicinsk diagnostik. Konsekvenserne er ikke kun tekniske, men også økonomiske og juridiske.

Inden for finans kan data poisoning skævvride risikomodeller, så investeringsbeslutninger baseres på systematisk forkerte analyser. I sundhedssektoren kan manipulerede træningsdata føre til fejldiagnoser. Inden for marketing og salg kan AI-hallucinationer og fejlvurderinger fra forgiftede modeller underminere kundeoplevelsen og virksomhedens troværdighed.

En vigtig udfordring er, at data poisoning ofte først opdages lang tid efter, at skaden er sket. I modsætning til softwaresårbarheder, der kan patches, kræver forgiftede modeller potentielt fuld genoptræning med rensede datasæt. Det er tidskrævende og dyrt, særligt i enterprise-skala.

Under EU AI Act stilles der krav til datakvalitet, transparens og risikostyring for AI-systemer. Data poisoning kompromitterer alle tre områder og kan dermed bringe virksomheder i konflikt med regulatoriske krav, hvis angreb går uopdagede.

Hvad data poisoning ikke er

Data poisoning forveksles ofte med adversarial attacks, men de to angrebstyper er fundamentalt forskellige. Data poisoning sker i træningsfasen og ændrer selve modellens indlærte mønstre. Adversarial attacks sker i inferensfasen og manipulerer de inputs, en allerede trænet model modtager. En adversarial attack ændrer ikke modellen selv, men forsøger at narre den med specialdesignede inputs.

Det er også en udbredt misforståelse, at internt udviklede AI-modeller er beskyttede mod data poisoning. Angrebsvektoren virker gennem adgang til træningsdata, uanset om modellen er bygget in-house eller købt eksternt. Faktisk har internt udviklede modeller typisk færre sikkerhedsaudits end kommercielle modeller fra store leverandører.

Endelig er data poisoning ikke det samme som dårlig datakvalitet. Dårlig datakvalitet er utilsigtet og skyldes mangelfulde processer. Data poisoning er en bevidst, målrettet handling med et specifikt formål. Begge kræver opmærksomhed, men forsvarsstrategien er fundamentalt anderledes.