Hvordan algoritmer kan være mer rettferdig enn mennesker

Amazon begynte nylig å tilby samme dag levering i utvalgte storbyområder. Dette kan være bra for mange kunder, men utrullingen viser hvordan datastyrt beslutningsprosesser også kan gi en sterk dose diskriminering.

Fornuftig startet selskapet tjenesten i områder hvor leveringskostnadene ville være lavest, ved å identifisere postnummer på tett befolket sted hjem til mange eksisterende Amazon-kunder med inntektsnivåer høye nok til å gjøre hyppige kjøp av produkter tilgjengelig for levering på samme dag. Selskapet ga en nettside som la kunder legge inn sin postnummer for å se om levering på samme dag var til stede. Undersøkende journalister på Bloomberg News brukte denne siden til lag kart over Amazonas serviceområde for levering på samme dag.

Bloomberg-analysen viste at mange fattige byområder ble utelukket fra serviceområdet, mens mer velstående nærliggende områder var inkludert. Mange av disse ekskluderte fattige områder var overveiende bebodd av minoriteter. For eksempel var hele Boston dekket bortsett fra Roxbury; New York City dekning inkludert nesten alle fire bydeler, men helt utelukket Bronx; Chicago dekning forlot den fattige sørsiden, mens den strekker seg vesentlig til velstående nordlige og vestlige forsteder.

Selv om det er fristende å tro at data-drevne beslutninger er objektive, forskning og vitenskapelig diskusjon begynner å demonstrere det urettferdighet og diskriminering forblir. I min Nettkurs på datanetikk, lærer elevene det algoritmer kan diskriminere. Men det kan være litt av en sølvfôr: Som Bloomberg-forskningen antyder, kan baser avgjørelser på data også gjøre det lettere å oppdage når forstyrrelser oppstår.

Bias kan være utilsiktet

Unfairness slik som i Amazonas leveringspolitikk kan oppstå av mange grunner, inkludert skjulte forstyrrelser - som forutsetninger om at befolkningen fordeles jevnt. Algoritme designere sannsynligvis ikke har til hensikt å diskriminere, og kan ikke engang innse at et problem har krøpt inn.


innerself abonnere grafikk


Amazon fortalte Bloomberg det hadde ingen diskriminerende hensikt, og det er all grunn til å tro at kravet. Som svar på Bloomberg-rapporten, by tjenestemenn og andre politikere ringte på Amazon for å fikse dette problemet. Firmaet flyttet raskt for å legge til Den opprinnelige ekskluderte fattige urbane postnumre til tjenesteområdet.

Et lignende spørsmål har vært spurte om uber, som synes å gi bedre service til områder bebodd av høyere proporsjoner av hvite mennesker. Det er sannsynlig at det vil være flere detaljhandels- og serviceindustri eksempler på utilsiktet algoritmisk diskriminering oppdaget i fremtiden.

Be om for mye av algoritmer?

Vi bør stille et øyeblikk for å vurdere om vi er urolig krevende av algoritmiske beslutninger. Bedrifter som driver murstein og murbruk gjør stedbeslutninger hele tiden, og tar hensyn til kriterier som ikke er forskjellige fra Amazonas. Butikker forsøker å ha steder som er praktiske for et stort basseng av potensielle kunder med penger å bruke.

Som følge av dette velger få butikker seg å finne i fattige indre bydeler. Spesielt i sammenheng med dagligvarebutikker, har dette fenomenet blitt studert omfattende, og begrepet "mat ørken"Har blitt brukt til å beskrive byområder der beboerne ikke har lett tilgang til fersk mat. Dette plassering bias er mindre studert for butikkene generelt.

Som et indikativt eksempel så jeg på 55 Michigan-stedene Target, en stor omfattende detaljhandelskjede. Da jeg sorterte hver Michigan postnummer basert på om den gjennomsnittlige inntekten var i topp halv eller nederste halvdel, fant jeg ut at bare 16 i Target-butikkene (29 prosent) var i postnummer fra lavere inntektsgruppe. Mer enn dobbelt så mange, 39-butikker, ble plassert i postnummer fra den mer velstående halvdelen.

Identifisere diskriminering

Videre er det ingen Target butikker i byen Detroit, selv om det er flere i sine (rikere) forsteder. Likevel har det ikke vært et populært utbrudd som påstår at Target urettferdig diskriminerer fattige mennesker i forretningsbeslutninger. Det er to grunner til at bekymringene om Amazon er berettiget: stivhet og dominans.

Stivhet har å gjøre med både nettbutikkens beslutningsprosesser og med resultatet. Amazon bestemmer hvilke postnummer som er i tjenesteområdet. Hvis en kunde bor rett over gaten fra grensen satt av Amazon, er hun utenfor serviceområdet og kan ikke gjøre noe med det. Derimot kan noen som bor i en postnummer uten målbutikk, fortsatt handle hos Target - men det kan ta lengre tid å komme seg dit.

Det gjelder også hvor dominerende en forhandler er i forbrukernes sinn. Mens Target er bare en av mange fysiske butikkjeder, liker Amazon markedsdominans som en nettforhandler, og tiltrekker dermed mer oppmerksomhet. Slike dominans er en karakteristisk for dagens Vinneren tar alt webbedrifter.

Selv om deres stivhet og dominans kan gi oss større bekymring for nettbaserte bedrifter, er vi også bedre i stand til å oppdage diskriminering enn vi er for murstein og mørtelbutikker. For en tradisjonell kjedebutikk må vi gjette hvor langt forbrukerne er villige til å reise. Vi må kanskje også være oppmerksom på tid: Fem miles til neste motorveiutgang er ikke det samme som fem miles via overbelastede gater til den andre siden av byen. Videre kan reisetiden selv variere mye avhengig av tidspunktet på dagen. Etter å ha identifisert de sannsynlige områdene en butikk serverer, kan de ikke kartlegge seg pent inn i geografiske enheter som vi har statistikk om rase eller inntekt. Kort sagt, analysen er rotete og krever mye innsats.

I kontrast ville det ha tatt journalister på Bloomberg bare noen få timer for å utvikle et kart over Amazonas serviceområde og korrelere det med inntekt eller rase. Hvis Amazon hadde gjort dette internt, kunne de ha utført den samme analysen på bare få minutter - og kanskje lagt merke til problemene og fikset dem før samme dagstjeneste selv begynte.

Hvordan sammenligner mennesker mennesker?

La oss se på et helt annet eksempel for å se hvordan de samme punktene gjelder bredt. Nylig publiserte ProPublica en utmerket analyse av rasediskriminering ved en algoritme som forutser en kriminals sannsynlighet for å fornærme seg igjen. Algoritmen vurderer dusinvis av faktorer og beregner et sannsynlig estimat. ProPublicas analyse fant betydelig systematisk raseforspenning, selv om rase ikke var blant de spesifikke faktorene som ble vurdert.

Uten algoritmen ville en menneskelig dommer gjøre et lignende estimat, som en del av en domfældelses- eller paroleavgjørelse. Den menneskelige avgjørelsen kan vurdere et rikere sett med faktorer, som for eksempel kriminals rettssalen demeanor. Men vi vet fra studier i psykologi, Det Menneskelig beslutningsprosess er full av forstyrrelser, selv når vi prøver vårt beste for å være rettferdig.

Men eventuelle feil som skyldes forstyrrelser i dommernes avgjørelser vil trolig være forskjellig blant dommere, og til og med for ulike beslutninger av samme dommer. Samlet sett kan det være rasediskriminering på grunn av ubevisst partiskhet, men det er vanskelig å etablere dette. En amerikansk justisdepartementstudie fant sterkt bevis på ulikheter i dømmende hvite og svarte fanger, men kunne ikke klart avgjøre om selve rase var en faktor i disse beslutningene.

I motsetning til den nøyaktige samme algoritmen ProPublica så på, brukes i tusenvis av tilfeller over mange stater. Stivheten, og det store volumet, gjør jobben enklere å bestemme om den diskriminerer - og kan tilby måter å effektivt rette opp på problemet.

Bruk av informasjonsteknologi ser ut til å gjøre linjer lysere, forskjeller sterkere og data om alt dette mye lettere tilgjengelig. Det som kunne bli børstet under teppet i går, klamrer nå for oppmerksomhet. Da vi finner flere og flere bruksområder for datastyrte algoritmer, er det ennå ikke vanlig å analysere rettferdighet, spesielt før utrullingen av en ny datastyrt tjeneste. Å gjøre det, vil gå langt for å måle og forbedre rettferdigheten til disse stadig viktigere datastyrte beregningene.

Om forfatterenDen Conversation

HV Jagadish, Bernard A Galleriehøgskole Professor i elektroteknikk og datavitenskap, University of Michigan

Denne artikkelen ble opprinnelig publisert på Den Conversation. Les opprinnelige artikkelen.

Relaterte bøker

at InnerSelf Market og Amazon