Hvordan ansiktsgjenkjenningsteknologi er feil og partisk rasistisk

Hvordan ansiktsgjenkjenningsteknologi er feil og partisk rasistisk
Ansiktsgjenkjenningsalgoritmer testes vanligvis ved hjelp av hvite ansikter, noe som resulterer i at teknologien ikke kan skille mellom rasiserte individer. (Shutterstock)

Detroit-politiet arresterte urettmessig Robert Julian-Borchak Williams i januar 2020 for en butikkløft hendelse som hadde funnet sted to år tidligere. Selv om Williams ikke hadde noe med hendelsen å gjøre, “ansiktsgjenkjenningsteknologi brukt av Michigan State Police" matchet "ansiktet hans med et kornete bilde hentet fra en overvåkningsvideo i butikken som viser en annen afroamerikansk mann som tok $ 3,800 i klokker.

To uker senere ble saken henlagt etter påtalemyndighetens anmodning. Pålitelig på den feilaktige kampen hadde politiet imidlertid håndjern og arrestert Williams foran familien, tvunget ham til å skaffe et krusskudd, fingeravtrykk og en prøve av DNA-en hans, forhørt ham og fengslet ham over natten.

Eksperter antyder at Williams ikke er alene, og at andre har blitt utsatt for lignende urettferdigheter. Den pågående kontroversen om politiets bruk av Clearview AI understreker absolutt personvernrisikoen ved ansiktsgjenkjenningsteknologi. Men det er viktig å innse det ikke alle av oss bærer risikoen likt.

Trening av rasistiske algoritmer

Ansiktsgjenkjenningsteknologi som er trent på og innstilt til kaukasiske ansikter systematisk feilidentifiserer og mismerker rasiserte individer: en rekke studier rapporterer at ansiktsgjenkjenningsteknologi er "feil og partisk, med betydelig høyere feilprosent når de brukes mot mennesker av farger».

Dette undergraver individualiteten og menneskeheten til rasiserte personer som mer sannsynlig blir feilidentifisert som kriminell. Teknologien - og identifikasjonsfeilene den gjør - gjenspeiler og forankrer videre mangeårige sosiale splittelser som er dypt sammensveiset med rasisme, sexisme, homofobi, nybygger-kolonialisme og andre kryssende undertrykkelser.


En France24-undersøkelse av raseskråning innen ansiktsgjenkjenningsteknologi.

Hvordan teknologi kategoriserer brukere

I sin bokskiftende bok fra 1993, Panoptic Sort, advokat Oscar Gandy advarte om at “kompleks teknologi [som] innebærer innsamling, prosessering og deling av informasjon om individer og grupper som genereres gjennom deres hverdag… brukes til å koordinere og kontrollere deres tilgang til varer og tjenester som definerer livet i den moderne kapitalistiske økonomien. ” Rettshåndhevelse bruker den for å plukke mistenkte fra allmennheten, og private organisasjoner bruker den for å avgjøre om vi har tilgang til ting som bank og sysselsetting.


 Få det siste fra InnerSelf


Gandy advarte profetisk at hvis denne ikke blir sjekket, vil denne formen for "kybernetisk triage" eksponensielt vanskeliggjøre medlemmer av likestillingssøkende lokalsamfunn - for eksempel grupper som er rasiserte eller sosioøkonomisk vanskeligstilte - både når det gjelder hva som vil bli tildelt dem og hvordan de kan forstå seg selv.

Omtrent 25 år senere lever vi nå med den panoptiske typen steroider. Og eksempler på dets negative effekter på likestillingssøkende samfunn florerer, for eksempel den falske identifikasjonen av Williams.

Eksisterende skjevhet

Denne sorteringen ved hjelp av algoritmer infiltrerer de mest grunnleggende aspektene i hverdagen, og medfører både direkte og strukturell vold i kjølvannet.

Den direkte volden som Williams opplevde, er umiddelbart tydelig i hendelsene rundt arrestasjonen og forvaringen, og individuelle skader han opplevde er åpenbare og kan spores til politiets handlinger som valgte å stole på teknologiens "kamp" for å arrestere. Mer snikende er strukturell vold utført gjennom ansiktsgjenkjenningsteknologi og andre digitale teknologier som vurderer, samsvarer, kategoriserer og sorterer individer på måter som forsterker eksisterende diskriminerende mønstre.

Strukturell voldsskader er mindre åpenbare og mindre direkte, og forårsaker skader på likestillingssøkende grupper gjennom systematisk benektelse av makt, ressurser og muligheter. Samtidig øker det direkte risiko og skade for individuelle medlemmer av disse gruppene.

Prediktive politifagbruk algoritmisk behandling av historiske data for å forutsi når og hvor det sannsynligvis vil oppstå nye forbrytelser, tildeler politiets ressurser i samsvar med dette og legger inn forbedret politiovervåking i lokalsamfunn, vanligvis i lavere inntekter og rasiserte nabolag. Dette øker sjansene for at eventuell kriminell virksomhet - inkludert mindre alvorlig kriminell virksomhet som ellers ikke kan føre til politiets svar - blir oppdaget og straffet, og til slutt begrense livssjansene for menneskene som bor i det miljøet.

Og bevisene for ulikheter i andre sektorer fortsetter å øke. Hundrevis av studenter i Storbritannia protesterte 16. august mot de katastrofale resultatene av Ofqual, en feil algoritme den britiske regjeringen brukte for å bestemme hvilke studenter som ville kvalifisere seg for universitet. I 2019 er Facebooks mikrotargeting-annonsetjeneste hjalp dusinvis av arbeidsgivere i offentlig og privat sektor ekskludere folk fra å motta jobbannonser på grunnlag av alder og kjønn. Forskning utført av ProPublica har dokumentert rase-basert prisdiskriminering for produkter på nettet. Og søkemotorer gir jevnlig rasistiske og sexistiske resultater.

Foreviget undertrykkelse

Disse resultatene betyr noe fordi de viderefører og utdyper eksisterende ulikheter basert på egenskaper som rase, kjønn og alder. De har også betydning fordi de påvirker dypt hvordan vi blir kjent med oss ​​selv og verden rundt oss, noen ganger av forhåndsvalg av informasjonen vi mottar på måter som forsterker stereotype oppfatninger. Selv teknologiselskaper selv erkjenner haster med å stoppe algoritmer fra å forevige diskriminering.

Til dags dato har suksessen med ad hoc-undersøkelser, utført av tech-selskapene selv, vært inkonsekvent. Noen ganger trekker selskaper som er involvert i å produsere diskriminerende systemer dem ut av markedet, for eksempel når Clearview AI kunngjorde at den ikke lenger vil tilby ansiktsgjenkjenningsteknologi i Canada. Men ofte følger slike avgjørelser kun av lovgivningsmessig kontroll eller offentlig roping etter medlemmer av likestillingssøkende samfunn er allerede blitt skadet.

Det er på tide å gi våre reguleringsinstitusjoner verktøyene de trenger for å løse problemet. Enkel beskyttelse av personvernet som henger sammen med å få individuelt samtykke for å gjøre det mulig å fange opp data og repurposed av selskaper, kan ikke skilles fra de diskriminerende resultatene av den bruken. Dette gjelder spesielt i en tid da de fleste av oss (inkludert teknologiselskaper selv) kan ikke helt forstå hva algoritmer gjør eller hvorfor de gir spesifikke resultater.

Personvern er en menneskerett

En del av løsningen innebærer å bryte ned de gjeldende regulatoriske siloene som behandler personvern og menneskerettigheter som separate problemer. Å stole på en samtykkebasert databeskyttelsesmodell flyr i møte med det grunnleggende prinsippet om at personvern og likhet begge er menneskerettigheter som ikke kan avtales bort.

Selv Canadas digitale charter - den føderale regjeringens siste forsøk på å svare på manglene i den nåværende tilstanden i det digitale miljøet - opprettholder disse konseptuelle skillene. Den behandler hat og ekstremisme, kontroll og samtykke og sterkt demokrati som separate kategorier.

For å adressere algoritmisk diskriminering må vi anerkjenne og ramme både personvern og likhet som menneskerettigheter. Og vi må lage en infrastruktur som er like oppmerksom og ekspert på begge. Uten slik innsats vil den glans av matematikk og vitenskap fortsette å kamuflere AIs diskriminerende skjevheter, og travestier som det påført Williams kan forventes å formere seg.Den Conversation

Om forfatterne

Jane Bailey, professor i jus og medleder i The eQuality Project, L'Université d'Ottawa / University of Ottawa; Jacquelyn Burkell, assisterende visepresident, forskning, Western University, og Valerie Steeves, professor, L'Université d'Ottawa / University of Ottawa

Denne artikkelen er publisert fra Den Conversation under en Creative Commons-lisens. Les opprinnelige artikkelen.

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

følg InnerSelf på

facebook-ikonettwitter-iconrss-ikonet

 Få den siste via e-post

{Emailcloak = off}

Jeg fortsetter med litt hjelp fra vennene mine

FRA REDAKTØRENE

InnerSelf Nyhetsbrev: November 29, 2020
by InnerSelf Staff
Denne uken fokuserer vi på å se ting annerledes ... å se fra et annet perspektiv, med et åpent sinn og et åpent hjerte.
Hvorfor jeg burde ignorere COVID-19 og hvorfor jeg ikke vil
by Robert Jennings, InnerSelf.com
Min kone Marie og jeg er et blandet par. Hun er kanadisk, og jeg er amerikaner. De siste 15 årene har vi tilbrakt vintrene i Florida og somrene i Nova Scotia.
InnerSelf Nyhetsbrev: November 15, 2020
by InnerSelf Staff
Denne uken reflekterer vi over spørsmålet: "hvor går vi herfra?" Akkurat som med enhver overgangsritual, enten eksamen, ekteskap, fødsel av et barn, et sentralt valg eller tap (eller funn) av et ...
America: Hitching Our Wagon to the World and to the Stars
by Marie T Russell og Robert Jennings, InnerSelf.com
Vel, det amerikanske presidentvalget er nå bak oss, og det er på tide å ta status. Vi må finne felles grunnlag mellom unge og gamle, demokrater og republikanske, liberale og konservative for virkelig å opprette ...
InnerSelf Nyhetsbrev: Oktober 25, 2020
by InnerSelf Staff
"Slagordet" eller undertittelen for InnerSelf-nettstedet er "Nye holdninger --- nye muligheter", og det er akkurat temaet for ukens nyhetsbrev. Hensikten med våre artikler og forfattere er å ...