I straffesystemer, kredittmarkeder, sysselsetting arenaer, høyere utdanning opptak prosesser og til og med sosiale medier nettverk, data-drevne algoritmer Kjør nå beslutningstaking på måter som berører vårt økonomiske, sosiale og samfunnsliv. Disse programvare systemene rangere, klassifisere, assosiere eller filtrere informasjon, ved hjelp av menneskeskapte eller data-induserte regler som muliggjør konsistent behandling over store populasjoner.

Men mens det kan være effektivitetsgevinster fra disse teknikkene, kan de også havneforstyrrelser mot ugunstige grupper or styrke strukturell diskriminering. For eksempel er det rettferdig å avgjøre en persons parole på grunnlag av strafferett, basert på statistiske tendenser målt over en bred gruppe mennesker? Kunne diskriminering oppstå ved å anvende en statistisk modell utviklet for en stats befolkning til en annen, demografisk forskjellig befolkning?

Publikum trenger å forstå forspenningen og kraften til algoritmer som brukes i det offentlige sfære, blant annet av myndigheter. En innsats jeg er involvert i, kalt algoritmisk ansvarlighet, søker å gjøre påvirkningene av slike systemer tydeligere og mer forstått.

Eksisterende åpenhetsteknikker, når de brukes på algoritmer, kan gjøre det mulig for folk å overvåke, revidere og kritisere hvordan disse systemene fungerer - eller ikke, alt etter hva som er tilfelle. Dessverre virker offentlige etater uforberedt på forespørsler om algoritmer og deres bruk i beslutninger som påvirker både individer og offentligheten i stor grad.

Åpning av algoritmer til offentlig kontroll

I fjor føderale regjeringen begynte å studere Fordelene og ulemper med å bruke datastyrt dataanalyse for å avgjøre fengselsfeilens sannsynlighet for reoffending ved utgivelse. Scoring enkeltpersoner som lav-, medium- eller høyrisiko kan hjelpe til med bolig- og behandlingsbeslutninger, og identifisere personer som trygt kan sendes til et minimums sikkerhets fengsel eller til og med et "halvveis hus" eller som vil ha nytte av en bestemt type psykologisk omsorg.

Denne informasjonen kan gjøre rettsprosessen mer effektiv og billigere, og til og med redusere fengselstrengning. Behandling av lavrisikobrytere som høyrisikobedragere har blitt vist i noen studier å føre til at de internaliserer å være en "syk" kriminell og har behov for behandling for deres avvikende oppførsel. Å skille dem kan dermed redusere utviklingen av negative atferd som vil føre til tilbakefall ved frigjøring.

Data og algoritmer for scoring innsatte er reoffending risiko allerede brukt mye av stater for å administrere pretrial frihetsberøvelse, prøvetid, parole og til og med dømmekraft. Men det er lett for dem å gå ubemerket - de ser ofte ut som beskjeden byråkratisk papirarbeid.

Vanligvis blir algoritmene kokt ned til forenklede scoreark som fylles ut av offentlige ansatte med lite forståelse av de underliggende beregningene. For eksempel kan en saksbehandler vurdere en fange ved hjelp av et skjema hvor saksbehandleren markerer ned at fangen hadde blitt dømt for voldelig kriminalitet, var ung på tidspunktet for den første arresteringen, og ikke hadde uteksaminert fra videregående skole eller fått en GED. Disse faktorene og andre kjennetegn om personen og forbrytelsen resulterer i en poengsum som antyder om den innsatte kan være berettiget til parole gjennomgang.

Skjemaet selv, så vel som dets scoring system, beskriver ofte nøkkelfunksjoner om algoritmen, som de omtalte variablene og hvordan de kommer sammen for å danne en samlet risikoscore. Men det som også er viktig for algoritmisk gjennomsiktighet er å vite hvordan slike former ble utformet, utviklet og evaluert. Først da kan publikum vite om faktorene og beregningene som er involvert i å komme til poengsummen er rettferdige og rimelige, eller uinformerte og partisk.

Bruk av frihetsloven

Vårt primære verktøy for å få våre hender på disse skjemaene, og deres støttemateriale, er loven, og spesielt friheten til informasjonslovgivning. De er blant de mektigste mekanismene publikum har til rådighet for å sikre åpenhet i regjeringen. På føderalt nivå, den Frihetsloven (FOIA) tillater offentligheten å formelt be om - og regner med å motta i retur - dokumenter fra den føderale regjeringen. Analoge vedtekter eksisterer for hver stat.

Enacted i 1966 ble FOIA opprettet før den utbredte bruken av databehandling, og godt før store datamengder ble rutinemessig brukt i programvare systemer for å håndtere enkeltpersoner og foreta spådommer. Det har vært noen innledende forskning inn i om FOIA er i stand til å legge til rette for avsløring av programvare kildekode. Men det er et spørsmål om hvorvidt gjeldende lover svarer til behovene til 21-tallet-publikum: kan vi FOIA-algoritmer?

En case-studie i algoritmenes gjennomsiktighet

Jeg satte meg for å svare på dette spørsmålet på Philip Merrill College of Journalism ved University of Maryland, hvor jeg er assisterende professor. I høst av 2015, i samarbeid med min kollega Sandy Baniskys medieklasseklasse, guidet vi elevene om å sende inn FOIA-forespørsler til hver av 50-statene. Vi ba om dokumenter, matematiske beskrivelser, data, valideringsvurderinger, kontrakter og kildekoden relatert til algoritmer som brukes i straffesaker, for eksempel for parole og prøvetaking, kausjon eller straffedato.

Som et semesterlangt prosjekt var innsatsen nødvendigvis begrenset av tid, med mange hindringer og relativt få suksesser. Som med mange journalisters undersøkelser, selv å finne ut hvem som skal spørre - og hvordan - var en utfordring. Ulike byråer kan være ansvarlige for ulike områder av straffesystemet (straffesaker kan gjøres av domstoler, men paroleforvaltning utført av en avdeling for korrigeringer).

Selv etter å ha identifisert den rette personen, fant studenter at regjeringens tjenestemenn brukte forskjellig terminologi som gjorde det vanskelig å kommunisere hvilken informasjon de ønsket. Noen ganger måtte studentene jobbe hardt for å forklare "straffesalgoritmer" til en ikke-så-data-kunnskapsrik tjenestemann. I ettertid kunne det ha vært mer effektivt å be om "risikovurderingsverktøy", da det er et begrep som ofte brukes av statlige myndigheter.

Håndtere svarene

Noen stater, for eksempel Colorado, flat-out nektet vår forespørsel, og sa at algoritmer var inneholdt i programvare, som ikke var ansett som et "dokument" som åpner regjeringens lover krevde tjenestemenn å offentliggjøre. Ulike stater har forskjellige regler om å avsløre programvarebruk. Dette har noen ganger oppstått i domstolene, for eksempel en 2004 drakt mot byen Detroit over om formelen for beregning av vannavgifter belastet til en tilstøtende by bør bli offentliggjort.

I vår egen innsats mottok vi bare en matematisk beskrivelse av en straffelovsalgoritme: Oregon avslørt 16-variablene og deres vekt i en modell som brukes der for å forutsi tilbakevendende. Staten i North Dakota ga ut et Excel-regneark som viser ligningen som ble brukt for å bestemme datoer da innsatte ville være kvalifisert til å bli vurdert for parole. Fra Idaho og New Mexico mottok vi dokumenter med noen beskrivelser av tilbakevendelses-risikovurderinger som de brukte tilstandene, men ingen detaljer om hvordan de ble utviklet eller validert.

Nine stater baserte deres nekte på å avsløre detaljer om deres strafferettsalgoritmer på kravet om at informasjonen var eid av et selskap. Dette implikasjonen er at utgivelsen av algoritmen vil skade firmaet som utviklet det. Et vanlig tilbakevendingsrisikospørsmål, kalt LSI-R, viser seg å være et kommersielt produkt, beskyttet av opphavsrett. Stater som Hawaii og Maine hevdet at det hindret offentliggjøring av det.

Louisiana sa at kontrakten med utvikleren av en ny risikovurderingsteknikk hindret utgivelsen av den forespurte informasjonen i seks måneder. Staten Kentucky henviste sin kontrakt med a filantropisk fundament som grunnen til at det ikke kunne avsløre flere detaljer. Bekymringer om proprietær informasjon kan være legitime, men når regjeringen rutinemessig avtaler med private selskaper, hvordan balanserer vi disse bekymringene mot et forklarbart og faktisk legitimt rettssystem?

Gjør forbedringer

Kraftig trengte FOIA-reform er for tiden under overveielse av kongressen. Dette gir en mulighet for loven å bli modernisert, men de foreslåtte endringene gjør fortsatt lite for å imøtekomme den økende bruken av algoritmer i regjeringen. Algoritmisk gjennomsiktighetsinformasjon kan kodifiseres inn i rapporter som regjeringen genererer og offentliggjør regelmessig, som en del av virksomheten som vanlig.

Som et samfunn bør vi kreve at offentlige informasjonsoffiserer blir opplært slik at de er litterære og faktisk flytende i terminologien de kan møte når publikum ber om algoritmer. Den føderale regjeringen kan til og med skape en ny posisjon for en "algoritme czar", en ombudsmann hvis oppgave det ville være å kommunisere om og henvende seg til regjeringsautomatisering.

Ingen av dokumentene vi mottok i vår forskning, fortalte oss hvordan kriminelle rettighetsvurderingsskjemaer ble utviklet eller evaluert. Som algoritmer styrer mer og mer av våre liv, trenger borgere - og må kreve - større åpenhet.

Om forfatteren

Nicholas Diakopoulos, Tow Fellow, Tow Center for digital journalistikk ved Columbia University; Assistent Professor i journalistikk, University of Maryland. Hans forskning er i databehandling og datalogistik med vekt på algoritmisk ansvarlighet, fortellende datavisualisering og sosial databehandling i nyhetene.

Denne artikkelen ble opprinnelig publisert på Den Conversation. Les opprinnelige artikkelen.

Relaterte bøker

at InnerSelf Market og Amazon