Kort forklaret
Artikel 5 forbyder blandt andet skadelig manipulation, udnyttelse af sårbarheder, visse seksuelle deepfakes uden samtykke, AI-genereret seksuelt overgrebsmateriale, social scoring, bestemte kriminalitetsprognoser, ikkemålrettet indsamling af ansigtsbilleder, visse former for følelsesgenkendelse og biometrisk kategorisering. Biometrisk fjernidentifikation i realtid til retshåndhævelse er som udgangspunkt forbudt, men kan anvendes i snævre undtagelsestilfælde under strenge betingelser.
Officiel lovtekst
Artikel 5
Forbudte former for AI-praksis
1. Følgende former for AI-praksis er forbudt:
a) omsætning, ibrugtagning eller anvendelse af et AI-system, der
anvender subliminale teknikker, der rækker ud over den menneskelige bevidsthed, eller bevidst manipulerende eller vildledende
teknikker med henblik på eller med det resultat i væsentlig grad
at fordreje en persons eller en gruppe af personers adfærd ved
betydeligt at hæmme dennes evne til at træffe informerede beslutninger, hvilket får dem til at træffe en beslutning, som de ellers
ikke ville have truffet, på en måde, der forvolder eller med rimelig
sandsynlighed vil forvolde den pågældende person, en anden
person eller en gruppe af personer betydelig skade
b) omsætning, ibrugtagning eller anvendelse af et AI-system, der hos
en fysisk person eller en specifik gruppe af personer udnytter
sårbarheder på grundlag af alder, handicap eller en særlig social
eller økonomisk situation med henblik på eller med det resultat
i væsentlig grad at fordreje den pågældende persons eller en til
gruppen hørende persons adfærd på en måde, der forvolder eller
med rimelig sandsynlighed vil forvolde den pågældende person
eller en anden person betydelig skade
ba) omsætning, ibrugtagning eller anvendelse af et AI-system, der
genererer eller manipulerer realistiske billeder, videoer, lyd eller
lignende materiale af en identificerbar fysisk persons intime kropsdele eller af en identificerbar fysisk person, der er involveret i utilslørede seksuelle aktiviteter uden denne persons frivillige, specifikke, informerede, utvetydige og udtrykkelige samtykke til denne
generering eller manipulation
bb) omsætning, ibrugtagning eller anvendelse af et AI-system, der
genererer eller manipulerer materiale eller optræden som omhandlet
i artikel 2, litra c) og e), i direktiv 2011/93/EU, medmindre der
i henhold til national ret gælder en forsvarsgrund om »uretmæssig
handling«
c) omsætning, ibrugtagning eller anvendelse af AI-systemer til evaluering eller klassificering af fysiske personer eller grupper af personer
over en given periode på grundlag af deres sociale adfærd eller
kendte, udledte eller forudsagte personlige egenskaber eller personlighedstræk, således at den sociale bedømmelse fører til et af eller
begge følgende udfald:
i) skadelig eller ugunstig behandling af visse fysiske personer eller
grupper af personer i sociale sammenhænge, som ikke har noget
at gøre med de sammenhænge, i hvilke dataene oprindeligt blev
genereret eller indsamlet
ii) skadelig eller ugunstig behandling af visse fysiske personer eller
grupper af personer, som er uberettiget eller uforholdsmæssig
i forhold til deres sociale adfærd eller betydningen heraf
d) omsætning, ibrugtagning til dette specifikke formål eller anvendelse
af et AI-system til at foretage risikovurderinger af fysiske personer
for at vurdere eller forudsige risikoen for, at en fysisk person begår
en strafbar handling, hvilket alene er baseret på profilering af en
fysisk person eller en vurdering af deres personlighedstræk og
personlige egenskaber; dette forbud finder ikke anvendelse på AI-systemer, der anvendes til at understøtte den menneskelige vurdering af en persons involvering i en kriminel aktivitet, som allerede
er baseret på objektive og verificerbare kendsgerninger, der er
direkte knyttet til en kriminel aktivitet
e) omsætning, ibrugtagning til dette specifikke formål eller anvendelse
af AI-systemer, der opretter eller udvider ansigtsgenkendelsesdatabaser gennem ikkemålrettet indsamling af ansigtsbilleder fra internettet eller kameraovervågning
f) omsætning, ibrugtagning til dette specifikke formål eller anvendelse
af AI-systemer til at udlede følelser hos en fysisk person på arbejdspladser og uddannelsesinstitutioner, undtagen hvis anvendelsen af
AI-systemet er tilsigtet at blive bragt i omsætning af medicinske
eller sikkerhedsmæssige årsager
g) omsætning, ibrugtagning til dette specifikke formål eller anvendelse
af systemer til biometrisk kategorisering, som kategoriserer fysiske
personer individuelt på grundlag af deres biometriske data med
henblik på at udlede deres race, politiske anskuelser, fagforeningsmedlemskab, religiøse eller filosofiske overbevisning, seksuelle
forhold eller seksuelle orientering; dette forbud omfatter ikke mærkning eller filtrering af lovligt indhentede biometriske datasæt såsom
billeder på grundlag af biometriske data eller kategorisering af
biometriske data på retshåndhævelsesområdet
h) anvendelse af systemer til biometrisk fjernidentifikation i realtid på
offentlige steder med henblik på retshåndhævelse, medmindre og
i det omfang en sådan anvendelse er strengt nødvendig til et af
følgende formål:
i) målrettet eftersøgning af specifikke ofre for bortførelse, menneskehandel eller seksuel udnyttelse af mennesker samt eftersøgning af forsvundne personer
ii) forebyggelse af en specifik, væsentlig og overhængende trussel
mod fysiske personers liv eller fysiske sikkerhed eller en reel
og aktuel eller reel og forudsigelig trussel om et terrorangreb
iii) lokalisering eller identifikation af en person, der mistænkes for
at have begået en strafbar handling, med henblik på en strafferetlig efterforskning af eller retsforfølgning eller fuldbyrdelse af
en strafferetlig sanktion for overtrædelser, der er omhandlet
i bilag II, og som i den pågældende medlemsstat kan straffes
med frihedsstraf eller en anden frihedsberøvende foranstaltning
af en maksimal varighed på mindst fire år.
Første afsnit, litra h), berører ikke artikel 9 i forordning (EU) 2016/679
med hensyn til behandling af biometriske data til andre formål end
retshåndhævelse.
1a. Med henblik på stk. 1, første afsnit, litra ba) og bb), er:
a) omsætning eller ibrugtagning af et AI-system, der genererer eller
manipulerer det materiale eller den optræden, der er omhandlet
i stk. 1, første afsnit, litra ba) eller bb), kun forbudt, hvor:
i) genereringen eller manipulationen er det tilsigtede formål med
AI-systemet, eller
ii) systemets design, træning, arkitektur, kapacitet eller brugervendte
funktioner gør denne generering eller manipulation til et rimeligt
forudsigeligt og reproducerbart resultat, uden at det kræver en
væsentlig teknisk ændring, og systemet ikke har rimelige og
tilstrækkelige tekniske sikkerhedsforanstaltninger og andre sikkerhedsforanstaltninger til på pålidelig vis at forhindre denne generering eller manipulation under hensyntagen til fejlanvendelse,
der med rimelighed kan forudses, og til at korrigere observeret
eller indberettet misbrug
b) anvendelsen af et AI-system, der genererer eller manipulerer det
materiale eller den optræden, der er omhandlet i stk. 1, første
afsnit, litra ba) og bb), er kun forbudt, hvis idriftsætteren anvender
systemet med henblik på at generere eller manipulere et sådant
materiale eller en sådan optræden.
1b. Med henblik på stk. 1, første afsnit, litra ba), udgør et AI-system,
der manipulerer materiale på en måde, der ikke øger eksponeringen af
afbildede intime kropsdele eller ændrer arten af nogen afbildede utilslørede seksuelle aktiviteter, ikke manipulation.
2. Anvendelsen af systemer til biometrisk fjernidentifikation i realtid
på offentlige steder med henblik på retshåndhævelse til et af de i stk. 1,
første afsnit, litra h), omhandlede formål må kun idriftsættes til de
formål, der er fastsat i nævnte litra, for at bekræfte den specifikt målrettede persons identitet og skal tage hensyn til følgende elementer:
a) karakteren af den situation, der giver anledning til den mulige anvendelse, navnlig alvorligheden, sandsynligheden og omfanget af den
skade, der ville blive forvoldt, hvis systemet ikke blev anvendt
b) konsekvenserne for alle de berørte personers rettigheder og friheder,
navnlig alvorligheden, sandsynligheden og omfanget af disse konsekvenser, hvis systemet anvendes.
Ved anvendelse af systemer til biometrisk fjernidentifikation i realtid på
offentlige steder med henblik på retshåndhævelse til et af de i denne
artikels stk. 1, første afsnit, litra h), omhandlede formål overholdes
desuden nødvendige og forholdsmæssige sikkerhedsforanstaltninger og
betingelser vedrørende anvendelsen i overensstemmelse med den nationale ret, der tillader anvendelse heraf, navnlig for så vidt angår tidsmæssige, geografiske og personmæssige begrænsninger. Anvendelsen af
systemet til biometrisk fjernidentifikation i realtid på offentlige steder
tillades kun, hvis den retshåndhævende myndighed har gennemført en
konsekvensanalyse vedrørende grundlæggende rettigheder som fastsat
i artikel 27 og har registreret systemet i EU-databasen i overensstemmelse med artikel 49. I behørigt begrundede hastende tilfælde kan
anvendelsen af sådanne systemer dog påbegyndes uden registrering
i EU-databasen, forudsat at registreringen afsluttes uden unødigt ophold.
3. Med henblik på stk. 1, første afsnit, litra h), og stk. 2, er hver
anvendelse af et system til biometrisk fjernidentifikation i realtid på
offentlige steder med henblik på retshåndhævelse betinget af en forudgående tilladelse, der er udstedt af en judiciel myndighed eller en
uafhængig administrativ myndighed, hvis afgørelse er bindende i den
medlemsstat, hvor anvendelsen skal finde sted, på grundlag af en
begrundet anmodning og i overensstemmelse med de nærmere regler
i national ret, jf. stk. 5. I behørigt begrundede hastende tilfælde kan
anvendelsen af et sådant system dog påbegyndes uden tilladelse, på
betingelse af at der anmodes om en sådan tilladelse uden unødigt
ophold og senest inden for 24 timer. Hvis en sådan tilladelse afvises,
bringes anvendelsen straks til ophør, og alle data såvel som resultater og
output af denne anvendelse kasseres og slettes omgående.
Den kompetente judicielle myndighed eller en uafhængig administrativ
myndighed, hvis afgørelse er bindende, udsteder kun tilladelsen, hvis
den på grundlag af objektive beviser eller klare indikationer, den får
forelagt, finder det godtgjort, at anvendelsen af det pågældende system
til biometrisk fjernidentifikation i realtid er nødvendig og forholdsmæssig for at opfylde et af de i stk. 1, første afsnit, litra h), anførte
formål som anført i anmodningen og navnlig fortsat begrænses til, hvad
der er strengt nødvendigt for så vidt angår tidsperioden samt det geografiske og personmæssige anvendelsesområde. Når den pågældende
myndighed træffer afgørelse om anmodningen, tager den hensyn til de
i stk. 2 omhandlede elementer. Der må ikke træffes nogen afgørelse, der
har negative retsvirkninger for en person, udelukkende baseret på
outputtet af systemet til efterfølgende biometrisk fjernidentifikation
i realtid.
4. Uden at det berører stk. 3, skal hver anvendelse af et system til
biometrisk fjernidentifikation i realtid på offentlige steder med henblik
på retshåndhævelse meddeles den relevante markedsovervågningsmyndighed og den nationale databeskyttelsesmyndighed i overensstemmelse
med de nationale regler, jf. stk. 5. Meddelelsen skal som minimum
indeholde de oplysninger, der er anført i stk. 6, og må ikke indeholde
følsomme operationelle data.
5. En medlemsstat kan beslutte at give mulighed for helt eller delvist
at tillade anvendelse af systemer til biometrisk fjernidentifikation
i realtid på offentlige steder med henblik på retshåndhævelse inden
for de begrænsninger og på de betingelser, der er nævnt i stk. 1,
første afsnit, litra h), og stk. 2 og 3. De pågældende medlemsstater
fastsætter i deres nationale ret de nødvendige nærmere regler for anmodning om, udstedelse af og benyttelse af samt tilsyn og indberetning
i forbindelse med de i stk. 3 omhandlede tilladelser. Disse regler præciserer også, til hvilke af de i stk. 1, første afsnit, litra h), anførte formål,
herunder for hvilke af de i litra h), nr. iii), nævnte strafbare handlinger,
de kompetente myndigheder kan få tilladelse til at anvende disse
systemer med henblik på retshåndhævelse. Medlemsstaterne meddeler
Kommissionen disse regler senest 30 dage efter vedtagelsen heraf.
Medlemsstaterne kan i overensstemmelse med EU-retten indføre mere
restriktiv lovgivning om anvendelsen af systemer til biometrisk
fjernidentifikation.
6. De nationale markedsovervågningsmyndigheder og de nationale
databeskyttelsesmyndigheder i de medlemsstater, der er blevet underrettet om anvendelsen af systemer til biometrisk fjernidentifikation
i realtid på offentlige steder med henblik på retshåndhævelse
i henhold til stk. 4, forelægger Kommissionen årlige rapporter om en
sådan anvendelse. Med henblik herpå stiller Kommissionen efter
anmodning om tilladelser i overensstemmelse med stk. 3 og resultatet
heraf en skabelon til rådighed for medlemsstaterne og de nationale
markedsovervågnings- og databeskyttelsesmyndigheder, herunder oplysninger om antallet af afgørelser, der er truffet af de kompetente judicielle myndigheder eller en uafhængig administrativ myndighed, hvis
afgørelse er bindende.
7. Kommissionen offentliggør årlige rapporter om anvendelsen af
systemer til biometrisk fjernidentifikation i realtid på offentlige steder
med henblik på retshåndhævelse på grundlag af aggregerede data
i medlemsstaterne, der bygger på de i stk. 6 omhandlede årlige
rapporter. Disse rapporter må ikke indeholde følsomme operationelle
data om de tilknyttede retshåndhævelsesaktiviteter.
8. Denne artikel berører ikke de forbud, der gælder, hvis en form for
AI-praksis overtræder anden EU-ret.