Personer som søker om et lån fra et bank- eller kredittkortselskap, og blir avslått, skylder en forklaring på hvorfor det skjedde. Det er en god ide - fordi det kan hjelpe lære folk hvordan å reparere skadet kreditt - og det er en føderal lov, den Lik kreditt mulighet lov. Å få svar var ikke mye av et problem i år tidligere, da mennesker tok de beslutningene. Men i dag, ettersom kunstige intelligenssystemer i stadig større grad hjelper eller erstatter folk som tar kredittbeslutninger, blir de forklaringene blitt mye vanskeligere.

Tradisjonelt kan en lånsjef som avviste en søknad, fortelle en ville være låner, det var et problem med inntektsnivået eller ansettelseshistorien, eller uansett hva problemet var. Men datastyrt systemer som bruker komplekse maskinlæring Modeller er vanskelig å forklare, selv for eksperter.

Konsumkredittbeslutninger er bare en måte dette problemet oppstår. Lignende bekymringer eksistere i helsehjelp, online markedsføring Til og med strafferett. Min egen interesse i dette området begynte da en forskergruppe jeg var del av oppdaget kjønnsperspektiv i hvordan nettannonser ble målrettet, men kunne ikke forklare hvorfor det skjedde.

Alle disse industriene, og mange andre, som bruker maskinlæring til å analysere prosesser og ta beslutninger, har litt over et år for å få mye bedre å forklare hvordan deres systemer fungerer. I mai 2018, den nye EUs generelle databeskyttelsesforskrift trer i kraft, inkludert en seksjon som gir folk rett til å få en forklaring på automatiserte beslutninger som påvirker deres liv. Hvilken form bør disse forklaringene ta, og kan vi faktisk gi dem?

Identifisere viktige årsaker

En måte å beskrive hvorfor en automatisert avgjørelse kom ut som det gjorde, er å identifisere de faktorene som var mest innflytelsesrike i beslutningen. Hvor mye av en kredittavslagsbeslutning var fordi søkeren ikke gjorde nok penger, eller fordi han ikke hadde tilbakebetalt lån tidligere?

Min forskningsgruppe på Carnegie Mellon University, inkludert PhD-student Shayak Sen og deretter postdoc Yair Zick, skapte en måte å måle den relative innflytelsen av hver faktor. Vi kaller det den kvantitative innflytelsen.

I tillegg til å gi bedre forståelse av en individuell beslutning, kan målingen også legge merke til en gruppe beslutninger: Har en algoritme nektet kreditt primært på grunn av økonomiske bekymringer, for eksempel hvor mye en søker allerede skylder på annen gjeld? Eller var søkerens postnummer viktigere - noe som tyder på at mer grunnleggende demografi som rase kan ha kommet til spill?

Fange årsakssammenheng

Når et system tar beslutninger basert på flere faktorer, er det viktig å identifisere hvilke faktorer som medfører beslutninger og deres relative bidrag.

For eksempel, tenk på et kredittbeslutningssystem som tar bare to innganger, en søkeres gjeldsinntektsforhold og hennes løp, og har vist seg å godkjenne lån kun for kaukasiere. Å vite hvor mye hver faktor bidro til beslutningen, kan hjelpe oss å forstå om det er et legitimt system, eller om det er diskriminerende.

En forklaring kan bare se på inngangene og utfallet og observere korrelasjon - ikke-kaukasiere fikk ikke lån. Men denne forklaringen er for forenklet. Anta at de ikke-kaukasiere som ble nektet lån, også hadde mye lavere inntekter enn de hvite kandidatene som fikk søknader. Da kan denne forklaringen ikke fortelle oss om søkerens rase eller gjeldsinntekter forårsaket fornektelser.

Vår metode kan gi denne informasjonen. Å si forskjellen betyr at vi kan tømme om systemet er urettferdig diskriminerende eller ser på legitime kriterier, som søkernes økonomi.

For å måle innflytelsen av rase i en bestemt kredittavgjørelse, gjentar vi søknadsprosessen, og holder inntektsforholdet det samme, men endrer løpene til søkeren. Hvis endringen av løpet påvirker utfallet, vet vi at rase er en avgjørende faktor. Hvis ikke, kan vi konkludere med at algoritmen bare ser på den økonomiske informasjonen.

I tillegg til å identifisere faktorer som er årsaker, kan vi måle deres relative årsakssammenheng på en beslutning. Vi gjør det ved å variere faktoren (for eksempel løp) og måle hvor sannsynlig det er for utfallet å forandre seg. Jo høyere sannsynligheten er, desto større påvirker faktoren.

Samlende innflytelse

Vår metode kan også inkludere flere faktorer som fungerer sammen. Overvei et beslutningssystem som gir kreditt til søkere som oppfyller to av tre kriterier: kreditt score over 600, eierskap av en bil, og om søkeren har tilbakebetalt et boliglån fullt ut. Si en søker, Alice, med en kreditt score på 730 og ingen bil eller boliglån, nektes kreditt. Hun lurer på om hennes bileierskapsstatus eller hjemlønnsfristhistorie er hovedårsaken.

En analogi kan bidra til å forklare hvordan vi analyserer denne situasjonen. Tenk på en domstol hvor beslutninger fattes av flertallet av et panel med tre dommere, hvor man er konservativ, en liberal og den tredje en svingstemme, noen som kan side med noen av sine kolleger. I en 2-1 konservativ beslutning hadde swingdommeren større innflytelse på utfallet enn den liberale dommeren.

Faktorene i vår kreditteksempel er som de tre dommerne. Den første dommeren stemmer vanligvis for lånet, fordi mange søkere har en høy nok kreditt score. Den andre dommeren stemmer nesten alltid mot lånet fordi svært få søkere noensinne har betalt et hjem. Så avgjørelsen kommer ned til swingdommeren, som i Alice setter avslaget på lånet fordi hun ikke eier en bil.

Vi kan gjøre denne resonnementet nøyaktig ved å bruke kooperativ spillteori, et system for å analysere mer spesifikt hvordan ulike faktorer bidrar til et enkelt utfall. Spesielt kombinerer vi våre målinger av relativ årsakssammenheng med Shapley verdi, som er en måte å beregne hvordan man tilskriver innflytelse på flere faktorer. Sammen danner disse våre kvantitative innflytelsesmålinger.

Så langt har vi vurdert våre metoder på avgjørelsessystemer som vi opprettet ved å trene vanlige maskinlæringsalgoritmer med ekte verdens datasett. Evaluering av algoritmer på jobb i den virkelige verden er et tema for fremtidig arbeid.

En åpen utfordring

Vår metode for analyse og forklaring av hvordan algoritmer tar avgjørelser, er mest nyttige i innstillinger der faktorene lett forstås av mennesker - som for eksempel inntektsgrad og andre finansielle kriterier.

Men å forklare beslutningsprosessen av mer komplekse algoritmer er fortsatt en betydelig utfordring. Ta for eksempel et bildegjenkjenningssystem, som de som oppdage og spore svulster. Det er ikke veldig nyttig å forklare et bestemt bilde evaluering basert på individuelle piksler. Ideelt sett ønsker vi en forklaring som gir ekstra innsikt i beslutningen - for eksempel å identifisere spesifikke svulstegenskaper i bildet. Faktisk er utformingen av forklaringer for slike automatiserte beslutningsoppgaver å holde mange forskere opptatt.

Om forfatteren

Anupam Datta, lektor i datavitenskap og elektro- og datateknikk, Carnegie Mellon University

Denne artikkelen ble opprinnelig publisert på Den Conversation. Les opprinnelige artikkelen.

Relaterte bøker

at InnerSelf Market og Amazon