Ansiktsgjenkjenningsalgoritmer testes vanligvis ved hjelp av hvite ansikter, noe som resulterer i at teknologien ikke kan skille mellom rasiserte individer. (Shutterstock)
Detroit-politiet arresterte urettmessig Robert Julian-Borchak Williams i januar 2020 for en butikkløft hendelse som hadde funnet sted to år tidligere. Selv om Williams ikke hadde noe med hendelsen å gjøre, “ansiktsgjenkjenningsteknologi brukt av Michigan State Police" matchet "ansiktet hans med et kornete bilde hentet fra en overvåkningsvideo i butikken som viser en annen afroamerikansk mann som tok $ 3,800 i klokker.
To uker senere ble saken henlagt etter påtalemyndighetens anmodning. Pålitelig på den feilaktige kampen hadde politiet imidlertid håndjern og arrestert Williams foran familien, tvunget ham til å skaffe et krusskudd, fingeravtrykk og en prøve av DNA-en hans, forhørt ham og fengslet ham over natten.
Eksperter antyder at Williams ikke er alene, og at andre har blitt utsatt for lignende urettferdigheter. Den pågående kontroversen om politiets bruk av Clearview AI understreker absolutt personvernrisikoen ved ansiktsgjenkjenningsteknologi. Men det er viktig å innse det ikke alle av oss bærer risikoen likt.
Trening av rasistiske algoritmer
Ansiktsgjenkjenningsteknologi som er trent på og innstilt til kaukasiske ansikter systematisk feilidentifiserer og mismerker rasiserte individer: en rekke studier rapporterer at ansiktsgjenkjenningsteknologi er "feil og partisk, med betydelig høyere feilprosent når de brukes mot mennesker av farger».
Dette undergraver individualiteten og menneskeheten til rasiserte personer som mer sannsynlig blir feilidentifisert som kriminell. Teknologien - og identifikasjonsfeilene den gjør - gjenspeiler og forankrer videre mangeårige sosiale splittelser som er dypt sammensveiset med rasisme, sexisme, homofobi, nybygger-kolonialisme og andre kryssende undertrykkelser.
{vembed Y=vSuDE6wvQlU}
En France24-undersøkelse av raseskråning innen ansiktsgjenkjenningsteknologi.
Hvordan teknologi kategoriserer brukere
I sin bokskiftende bok fra 1993, Panoptic Sort, advokat Oscar Gandy advarte om at “kompleks teknologi [som] innebærer innsamling, prosessering og deling av informasjon om individer og grupper som genereres gjennom deres hverdag… brukes til å koordinere og kontrollere deres tilgang til varer og tjenester som definerer livet i den moderne kapitalistiske økonomien. ” Rettshåndhevelse bruker den for å plukke mistenkte fra allmennheten, og private organisasjoner bruker den for å avgjøre om vi har tilgang til ting som bank og sysselsetting.
Gandy advarte profetisk at hvis denne ikke blir sjekket, vil denne formen for "kybernetisk triage" eksponensielt vanskeliggjøre medlemmer av likestillingssøkende lokalsamfunn - for eksempel grupper som er rasiserte eller sosioøkonomisk vanskeligstilte - både når det gjelder hva som vil bli tildelt dem og hvordan de kan forstå seg selv.
Omtrent 25 år senere lever vi nå med den panoptiske typen steroider. Og eksempler på dets negative effekter på likestillingssøkende samfunn florerer, for eksempel den falske identifikasjonen av Williams.
Eksisterende skjevhet
Denne sorteringen ved hjelp av algoritmer infiltrerer de mest grunnleggende aspektene i hverdagen, og medfører både direkte og strukturell vold i kjølvannet.
Den direkte volden som Williams opplevde, er umiddelbart tydelig i hendelsene rundt arrestasjonen og forvaringen, og individuelle skader han opplevde er åpenbare og kan spores til politiets handlinger som valgte å stole på teknologiens "kamp" for å arrestere. Mer snikende er strukturell vold utført gjennom ansiktsgjenkjenningsteknologi og andre digitale teknologier som vurderer, samsvarer, kategoriserer og sorterer individer på måter som forsterker eksisterende diskriminerende mønstre.
Strukturell voldsskader er mindre åpenbare og mindre direkte, og forårsaker skader på likestillingssøkende grupper gjennom systematisk benektelse av makt, ressurser og muligheter. Samtidig øker det direkte risiko og skade for individuelle medlemmer av disse gruppene.
Prediktive politifagbruk algoritmisk behandling av historiske data for å forutsi når og hvor det sannsynligvis vil oppstå nye forbrytelser, tildeler politiets ressurser i samsvar med dette og legger inn forbedret politiovervåking i lokalsamfunn, vanligvis i lavere inntekter og rasiserte nabolag. Dette øker sjansene for at eventuell kriminell virksomhet - inkludert mindre alvorlig kriminell virksomhet som ellers ikke kan føre til politiets svar - blir oppdaget og straffet, og til slutt begrense livssjansene for menneskene som bor i det miljøet.
Og bevisene for ulikheter i andre sektorer fortsetter å øke. Hundrevis av studenter i Storbritannia protesterte 16. august mot de katastrofale resultatene av Ofqual, en feil algoritme den britiske regjeringen brukte for å bestemme hvilke studenter som ville kvalifisere seg for universitet. I 2019 er Facebooks mikrotargeting-annonsetjeneste hjalp dusinvis av arbeidsgivere i offentlig og privat sektor ekskludere folk fra å motta jobbannonser på grunnlag av alder og kjønn. Forskning utført av ProPublica har dokumentert rase-basert prisdiskriminering for produkter på nettet. Og søkemotorer gir jevnlig rasistiske og sexistiske resultater.
Foreviget undertrykkelse
Disse resultatene betyr noe fordi de viderefører og utdyper eksisterende ulikheter basert på egenskaper som rase, kjønn og alder. De har også betydning fordi de påvirker dypt hvordan vi blir kjent med oss selv og verden rundt oss, noen ganger av forhåndsvalg av informasjonen vi mottar på måter som forsterker stereotype oppfatninger. Selv teknologiselskaper selv erkjenner haster med å stoppe algoritmer fra å forevige diskriminering.
Til dags dato har suksessen med ad hoc-undersøkelser, utført av tech-selskapene selv, vært inkonsekvent. Noen ganger trekker selskaper som er involvert i å produsere diskriminerende systemer dem ut av markedet, for eksempel når Clearview AI kunngjorde at den ikke lenger vil tilby ansiktsgjenkjenningsteknologi i Canada. Men ofte følger slike avgjørelser kun av lovgivningsmessig kontroll eller offentlig roping etter medlemmer av likestillingssøkende samfunn er allerede blitt skadet.
Det er på tide å gi våre reguleringsinstitusjoner verktøyene de trenger for å løse problemet. Enkel beskyttelse av personvernet som henger sammen med å få individuelt samtykke for å gjøre det mulig å fange opp data og repurposed av selskaper, kan ikke skilles fra de diskriminerende resultatene av den bruken. Dette gjelder spesielt i en tid da de fleste av oss (inkludert teknologiselskaper selv) kan ikke helt forstå hva algoritmer gjør eller hvorfor de gir spesifikke resultater.
Personvern er en menneskerett
En del av løsningen innebærer å bryte ned de gjeldende regulatoriske siloene som behandler personvern og menneskerettigheter som separate problemer. Å stole på en samtykkebasert databeskyttelsesmodell flyr i møte med det grunnleggende prinsippet om at personvern og likhet begge er menneskerettigheter som ikke kan avtales bort.
Selv Canadas digitale charter - den føderale regjeringens siste forsøk på å svare på manglene i den nåværende tilstanden i det digitale miljøet - opprettholder disse konseptuelle skillene. Den behandler hat og ekstremisme, kontroll og samtykke og sterkt demokrati som separate kategorier.
For å adressere algoritmisk diskriminering må vi anerkjenne og ramme både personvern og likhet som menneskerettigheter. Og vi må lage en infrastruktur som er like oppmerksom og ekspert på begge. Uten slik innsats vil den glans av matematikk og vitenskap fortsette å kamuflere AIs diskriminerende skjevheter, og travestier som det påført Williams kan forventes å formere seg.
Om forfatterne
Jane Bailey, professor i jus og medleder i The eQuality Project, L'Université d'Ottawa / University of Ottawa; Jacquelyn Burkell, assisterende visepresident, forskning, Western University, og Valerie Steeves, professor, L'Université d'Ottawa / University of Ottawa
Denne artikkelen er publisert fra Den Conversation under en Creative Commons-lisens. Les opprinnelige artikkelen.
Bøker om ulikhet fra Amazons bestselgerliste
"Caste: Opprinnelsen til vår misnøye"
av Isabel Wilkerson
I denne boken undersøker Isabel Wilkerson historien til kastesystemer i samfunn over hele verden, inkludert i USA. Boken utforsker kastenes innvirkning på individer og samfunn, og tilbyr et rammeverk for å forstå og adressere ulikhet.
Klikk for mer info eller for å bestille
"The Color of Law: A Forgotten History of How Our Government Segregated America"
av Richard Rothstein
I denne boken utforsker Richard Rothstein historien til regjeringens politikk som skapte og forsterket rasesegregering i USA. Boken undersøker virkningen av disse retningslinjene på enkeltpersoner og lokalsamfunn, og tilbyr en oppfordring til handling for å håndtere pågående ulikhet.
Klikk for mer info eller for å bestille
"Summen av oss: Hva rasisme koster alle og hvordan vi kan blomstre sammen"
av Heather McGhee
I denne boken utforsker Heather McGhee de økonomiske og sosiale kostnadene ved rasisme, og tilbyr en visjon for et mer rettferdig og velstående samfunn. Boken inneholder historier om enkeltpersoner og lokalsamfunn som har utfordret ulikhet, samt praktiske løsninger for å skape et mer inkluderende samfunn.
Klikk for mer info eller for å bestille
"The Deficit Myth: Modern Monetary Theory and the Birth of the People's Economy"
av Stephanie Kelton
I denne boken utfordrer Stephanie Kelton konvensjonelle ideer om offentlige utgifter og det nasjonale underskuddet, og tilbyr et nytt rammeverk for å forstå økonomisk politikk. Boken inneholder praktiske løsninger for å adressere ulikhet og skape en mer rettferdig økonomi.
Klikk for mer info eller for å bestille
"The New Jim Crow: Mass Incarceration in the Age of Colorblindness"
av Michelle Alexander
I denne boken utforsker Michelle Alexander måtene strafferettssystemet opprettholder rasemessig ulikhet og diskriminering, spesielt mot svarte amerikanere. Boken inneholder en historisk analyse av systemet og dets innvirkning, samt en oppfordring til handling for reform.
