Sortering etter algoritmer setter oss i bokser. Hvordan vet vi at de er de riktige? generert, CC BY

Samfunnet virker satt på et kurs til et punkt der våre liv er underlagt gransking av datalgoritmer. Dataene vi genererer blir pored over og analysert, enten av regjeringer for nasjonal sikkerhet eller selskaper for profitt, og dette er usannsynlig å forandre. Kraft og appell av dataanalyse, som en gang har funnet, vil ikke bli gitt opp enkelt.

Men i sannhet lurer jeg på om jeg er mer opptatt av at dataene våre blir samlet inn eller av det faktum at vi ikke vet noe om algoritmer som uttaler dom over oss.

Nivået på detaljer om våre liv og vaner som kan unpicked fra dataene vi etterlater har blitt diskutert før, og får en frisk luft som en del av debatten rundt Storbritannias utkast Utrednings Powers Bill. Vi vet i det minste noe om hvilke data som samles inn og hvor lang tid det er lagret for, hvorav noen styres av britisk og europeisk lov.

på tekst av utkastet regningen, for eksempel, vet vi at den britiske regjeringen vil "bare" kreve (uberettiget) tilgang til kommunikasjonsmetadata, overskriftene og emnene i e-post og telefonoppføringer. Men vi vet også bare hvordan avslørende metadata alene kan være: Ta en titt på MIT Media Labs Immersion-prosjekt for et kraftig eksempel på hvor mye detaljer det kan fastslås av det. Det er sikkert ikke i det hele tatt sammenlignbare med en spesifisert telefonregning, som hevdet.

Så for bedre eller verre, vi, publikum, har noen anelse om hva som blir registrert. Men vi har ingen anelse om hvilke analytiske verktøy og teknikker som brukes på disse dataene, og betydningen av dette bør ikke undervurderes.

Hva knuser tallene?

Vi kan lage utdannede gjetninger. Nasjonale sikkerhetsbyråer bruker sannsynligvis våre metadata til å generere sosiale nettverk mellom mennesker og steder, blant annet å knytte oss sammen. Disse relasjonsnettene analyseres deretter for å avgjøre om vi er interessert, bestemt av hvordan du sammenligner med andre interesserte, og hvordan du kobler til eksisterende interessenter eller de som er relatert til dem.

Forskere som bruker disse teknikkene forstår sine begrensninger, og at algoritmene som driver dem, kan inneholde feil eller underliggende forutsetninger som har en dyp effekt på deres produksjon. I dette tilfellet kan det bety at du er merket en terrorist eller ikke, eller om du kvalifiserer for et lån eller et boliglån.

Det er heller ikke helt klart hvor i fuzzy grenseområdene forbindelsen er definert. Har du rett og slett besøkt samme nettsted som en terrorist innebærer felles verdier, eller å ri på samme bussrute hver dag, foreslår du jevnlig å snakke med terrorister? Det er ganske mulig å besøke nettsteder som besøkes av kjente terrorister av mange legitime grunner. Hvis du får nyheter fra de samme nettstedene som terrorister, er du mer sannsynlig å være terrorist? Diskriminering og partiskhet kan bli introdusert ved datainnsamlingen, og så igjen når det tas beslutninger om hvordan man analyserer dataene. Algoritmer kan også diskriminere.

Uklare grenser

Muligheten for at algoritmer innfører uønsket bias er en veldig ekte. For eksempel blir de som brukes av sikkerhetstjenestene trent på datasett av kjente terrorister og kjente ikke-terrorister. Betyr dette at, som de fleste kjente terrorister er menn i alderen 20-30, er du mer sannsynlig å bli klassifisert som en terrorist for bare å være mann og alderen omtrent 20-30, uavhengig av dine andre attributter ?. Hvis ja, har dette en betydelig innvirkning på hvordan dataene brukes?

Problemet stammer fra det faktum at jeg og andre akademiske forskere som bruker komplisert nettverksanalyse, maskinlæring, mønstermatching eller kunstig intelligenssteknologi, bruker vår bruk av disse teknikkene peer-reviewed for å bestemme styrken av teknikkene og validiteten av konklusjonene; statens sikkerhetstjenester og organisasjoner i den private sektor gjør det ikke. Vi har ingen anelse om kvaliteten på deres metoder og hvordan de distribuerer dem. Er det en løsning på dette?

De fra et annet sikkerhetsområde, kryptografi, lærte lenge siden at den beste måten å forbedre kvaliteten og dermed sikkerheten til sine algoritmer var å gjøre dem offentlige. Kryptografiske implementeringer og cifre publiseres, og forskere oppfordres til å prøve å finne feil eller feil, og dermed forbedre sikkerheten for alle som bruker dem. I tillegg er all implementering av kryptogafiske algoritmer med lukket kilde (ikke-offentlig) generelt betraktes med mistanke. Hvis de skal uttale livsendrende dommer over oss - enten vi er merket som terrorister eller økonomisk uverdige - bør samme modell brukes på sikkerhetsalgoritmer.

Et argument mot et slikt trekk er at åpne og gjennomsiktige algoritmer kan føre til at terrorister endrer sin virkelige oppførsel for å unngå å bli oppdaget. Dette vil bety endring av ting som interaksjoner, foreninger, vaner og potensielle bevegelser. Men dette, hvis algoritmen fungerer som det skal, betyr at de i det vesentlige slutter å opptre som terrorister. Hvis vår fremtidige sikkerhet, frihet og sikkerhet skal være avhengig av disse algoritmene, må vi være sikre på nøyaktig hvordan - og det - de jobber.

Om forfatteren

Philip Garnett, foreleser, University of York.

Denne artikkelen ble opprinnelig publisert på Den Conversation. Les opprinnelige artikkelen.

Relatert bok:

at

Takk for besøket InnerSelf.com, der det er 20,000 + livsendrende artikler som fremmer "Nye holdninger og nye muligheter." Alle artikler er oversatt til 30+ språk. Bli medlem! til InnerSelf Magazine, utgitt ukentlig, og Marie T Russells Daily Inspiration. InnerSelf Magazine har blitt utgitt siden 1985.