Hva sto på spill for politiet i forhandlingene om KI-forordningen?

Like før jul i fjor ble EU-kommisjonen, Rådet og EU-parlamentet enige om bestemmelsene i EUs forordning om kunstig intelligens (KI), kjent som «the AI Act». 

Den endelige teksten er i skrivende stund ikke offisielt publisert, men et utkast datert 21. januar ble lekket til offentligheten allerede dagen etter. Forhandlingene gjaldt blant annet hvilke begrensninger som skal gjelde for politiets bruk av KI.

Parlamentet krevde absolutt forbud mot (1) å bruke biometrisk identifisering (les: ansiktsgjenkjenning) i sanntid på offentlig sted, og (2) bruk av KI i personrettet predictive policing, eller (3) for å avlese en persons følelser, for eksempel i form av en KI-basert løgndetektor.

EU-kommisjonen og Rådet mente at EU-parlamentets holdning var for streng.

Mulighet og høyrisiko

Den lekkede teksten tyder på at forordningen gir politiet gode muligheter for bruk av KI. Den inneholder fremdeles noen forbud, og en del bruksområder anses som høyrisiko. Omfattende vilkår må være oppfylt for at høyrisiko-KI skal være lovlig, blant annet om teknologiens kvalitet, den menneskelige kontroll og kompetanse, tiltak mot avvik, og dokumentasjon av etterlevelse.

Siden tilsvarende krav ikke gjelder for KI-systemer som ikke er høyrisiko, er det viktig både å kartlegge hvilke av politiets KI-systemer som blir høyrisiko, og om KI-systemer som i seg selv ikke er høyrisiko kan bli brukt til formål som gjør at de likevel regnes som det. 

Her må vi være bevisste på at markedet til nå har vært mer uregulert, slik at det kan finnes høyrisiko-funksjonalitet i systemer som allerede har vært i bruk en stund.

Hvis det ikke er tale om høyrisiko, vil det i hovedsak kun gjelde krav til transparens, det vil si at det skal være tydelig for personer som interagerer med systemet at KI er involvert. KI brukt av politiet i kriminalitetsbekjempelsen er imidlertid unntatt fra dette kravet. 

Annet regelverk gjelder uansett, som politiregisterlovgivningen og GDPR. Bruk av KI for eksempel til å patruljere på nettet, må dessuten skje innenfor rammene av politi- og straffeprosesslovgivningen.

Skummel biometri?

Forordningen regulerer KI i biometri nokså detaljert. Siden biometriske data som er stabile og unike for en person kan brukes til å fastlegge identitet, er biometriske KI-systemer verdifull teknologi for politiet.

Forordningen skiller mellom biometrisk identifisering og verifisering. I begge tilfeller bruker KI-systemet forhåndslagrede biometriske data. Når formålet er verifisering, skal KI-systemet kontrollere om personen virkelig er den vedkommende påstår seg å være. Et dagligdags eksempel gjelder bruk av den biometriske låsen på en mobiltelefon eller PC.

Politiet bruker biometri i grensekontrollen for å verifisere identitet. Biometriske data utledet av ansiktet som skannes, sjekkes mot de forhåndslagrede dataene. Når dataene stemmer overens, er identiteten verifisert. 

Forordningens utgangspunkt er at biometriske KI-systemer er høyrisiko, men det legges likevel til grunn at å verifisere identitet knapt utgjør noe inngrep i menneskerettighetene eller personvernet. Verifiserende KI-systemer er derfor ikke høyrisiko.

Passkontrollens system er følgelig ikke høyrisiko og unntas fra forordningens omfattende krav. Det samme gjelder for KI-systemer som verifiserer reisedokumenter.

Når formålet er å identifisere en person, prosesserer KI-systemet de biometriske dataene til mange personer i håp om å få treff på én av dem, for eksempel en ettersøkt person. Personene har ikke selv presentert sin identitet for systemet på en måte som kan verifiseres. 

De biometriske dataene som samles inn av en sensor, sammenlignes med forhåndslagrede data som for eksempel kan være generert fra materiale i foto- og fingeravtrykksregisteret.

Forordningen anser slike systemer som langt mer inngripende i personvernet, og de er høyrisiko uavhengig av om det er politiet eller andre som bruker dem.

Det mest kontroversielle spørsmålet har vært om politiet skal kunne bruke biometrisk KI for å identifisere personer av interesse på offentlig sted i sanntid. Frankrike, som skal arrangere OL i år, har stått hardt på for at dette skal være tillatt, og forordningen åpner nå for det. 

Forutsetningen er at nasjonal lovgivning gir et detaljert rettslig grunnlag som (1) begrenser hvem som kan identifiseres og formålet, (2) pålegger en konsekvensvurdering for rettighetene til alle personene som skannes, og (3) gir vilkår om streng nødvendighet, rettslig beslutning, og etterfølgende rapportering.

Eventuell bruk av biometrisk KI i sanntid på offentlig sted av norsk politi vil derfor kreve ny norsk lovgivning.

Forordningen åpner for at politiet kan bruke KI i biometrisk identifisering i ettertid basert på bildemateriale som er samlet inn uten personens samtykke. Også her gjelder det strenge vilkår – om enn ikke like strenge som for sanntidsanalyse. I en norsk kontekst vil politiet måtte gå til retten og få tillatelse til biometrisk identifisering i større utstrekning enn i dag.

Andre forbud og formål

Når det gjelder KI i personrettet «predictive policing», begrenser forordningen seg til å forby systemer som predikerer sannsynligheten for at en person kommer til å begå en kriminell handling, når prediksjonen utelukkende bygger på profilering eller analyse av personlighetstrekk og karakteristika. 

Slike systemer er likevel tillatt som beslutningsstøtte i situasjoner hvor politiet på forhånd har objektiv verifisert informasjon knyttet til lovbrudd, hvor personen er involvert.

Dersom datagrunnlaget for prediksjonen omfatter flere typer data enn personopplysninger handler det ikke lenger utelukkende om profilering, og dermed er systemet lovlig, men høyrisiko.

I tillegg defineres flere andre politisystemer som høyrisiko, herunder KI-systemer som:

• predikerer sannsynligheten for at en person blir offer for kriminalitet.
• fungerer som løgndetektor eller lignende.
• predikerer påliteligheten av bevis i forbindelse med etterforsking.
• profilerer personer i forbindelse med kriminalitetsbekjempelse.
• foretar risikovurderinger knyttet til immigranter.
• brukes i forbindelse med vedtak om visum og oppholdstillatelse.
• brukes for å identifisere personer som vil immigrere.

Kommisjonen foreslo opprinnelig at politiets bruk av KI i stordataanalyse for å kartlegge «ukjente mønstre og skjulte forbindelser» mellom personer, skulle være høyrisiko. Dette er imidlertid fjernet, noe som betyr at forordningen ikke hindrer bruk av KI i slik analyse.

Oppsummert mener vi at det også etter forordningen er store muligheter for bruk av KI i politiet. Politiet må forstå teknologien, landskapet og de begrensningene som gjelder og vil komme. Dette er minst like viktig å merke seg som de strenge kravene som innføres for høyrisiko KI-systemer og det tross alt smale forbudet mot KI i predictive policing.

Teknologien er der, blir stadig bedre, og bør brukes!