Napoleon kunne ha lært av fortiden. maleri av Adolph Northen/wikipedia

Det er en klisjé at det å ikke kjenne historien får en til å gjenta den. Som mange også har påpekt, er det eneste vi lærer av historien at vi sjelden lærer noe av historien. Folk engasjerer seg i landkriger i Asia igjen og igjen. De gjentar også de samme datingfeilene, igjen og igjen. Men hvorfor skjer dette? Og vil teknologien sette en stopper for det?

En sak er glemsel og "nærsynthet”: vi ser ikke hvordan tidligere hendelser er relevante for nåværende, med utsikt over mønsteret som utspiller seg. Napoleon burde ha lagt merke til likhetene mellom hans marsj mot Moskva og den svenske kongen Karl XIIs mislykkede forsøk på å gjøre det samme omtrent et århundre før ham.

Vi er også dårlig til å lære når ting går galt. I stedet for å finne ut hvorfor en avgjørelse var feil og hvordan vi kan unngå at den noen gang skjer igjen, prøver vi ofte å ignorere den pinlige hendelsen. Det betyr at neste gang en lignende situasjon oppstår, ser vi ikke likheten – og gjentar feilen.

Begge avslører problemer med informasjon. I det første tilfellet klarer vi ikke å huske personlig eller historisk informasjon. I den andre unnlater vi å kode informasjon når den er tilgjengelig.

Når det er sagt, gjør vi også feil når vi ikke effektivt kan utlede hva som skal skje. Kanskje er situasjonen for kompleks eller for tidkrevende å tenke på. Eller vi er partiske til å feiltolke hva som skjer.

Teknologiens irriterende kraft

Men teknologien kan vel hjelpe oss? Vi kan nå lagre informasjon utenfor hjernen vår, og bruke datamaskiner til å hente den. Det burde gjøre det enkelt å lære og huske, ikke sant?

Lagring av informasjon er nyttig når den kan hentes godt frem. Men å huske er ikke det samme som å hente en fil fra en kjent plassering eller dato. Å huske innebærer å oppdage likheter og bringe ting til tankene.

En kunstig intelligens (AI) må også være i stand til spontant å bringe likheter til sinnet vårt – ofte uvelkomne likheter. Men hvis den er flink til å legge merke til mulige likheter (tross alt kan den søke på hele internett og alle våre personlige data), vil den også ofte legge merke til falske.

For mislykkede dater kan det merke seg at de alle involverte middag. Men det var aldri serveringen som var problemet. Og det var en ren tilfeldighet at det var tulipaner på bordet – ingen grunn til å unngå dem. Vi gjentar ofte datingfeil. 

Det betyr at den vil advare oss om ting vi ikke bryr oss om, muligens på en irriterende måte. Nedjustering av følsomheten betyr å øke risikoen for ikke å få en advarsel når det er nødvendig.

Dette er et grunnleggende problem og gjelder like mye for enhver rådgiver: den forsiktige rådgiveren vil gråte ulv for ofte, den optimistiske rådgiveren vil gå glipp av risiko.

En god rådgiver er noen vi stoler på. De har omtrent samme grad av forsiktighet som oss, og vi vet at de vet hva vi vil. Dette er vanskelig å finne i en menneskelig rådgiver, og enda mer i en AI.

Hvor stopper teknologien feil? Idiotsikring fungerer. Kuttemaskiner krever at du holder nede knappene og holder hendene unna knivene. En "dødmannsbryter" stopper en maskin hvis operatøren blir ufør.

Mikrobølgeovner slår av strålingen når døren åpnes. For å skyte opp missiler må to personer dreie nøkler samtidig på tvers av et rom. Her gjør nøye design det vanskelig å gjøre feil. Men vi bryr oss ikke nok om mindre viktige situasjoner, noe som gjør designet der langt mindre idiotsikkert.

Når teknologien fungerer bra, stoler vi ofte for mye på den. Flyselskappiloter har færre ekte flytimer i dag enn tidligere på grunn av den fantastiske effektiviteten til autopilotsystemer. Dette er dårlige nyheter når autopiloten svikter, og piloten har mindre erfaring å gå på for å rette opp situasjonen.

Den første av en ny type oljeplattform (Sleipnir A) sank fordi ingeniører stolte på programvareberegningen av kreftene som virket på den. Modellen var feil, men den presenterte resultatene på en så overbevisende måte at de så pålitelige ut.

Mye av teknologien vår er utrolig pålitelig. Vi legger for eksempel ikke merke til hvordan tapte pakker med data på internett stadig blir funnet bak kulissene, hvordan feilrettingskoder fjerner støy eller hvordan sikringer og redundans gjør apparater trygge.

Men når vi hoper oss på nivå etter nivå av kompleksitet, ser det veldig upålitelig ut. Vi legger merke til når Zoom-videoen henger, AI-programmet svarer feil eller datamaskinen krasjer. Spør likevel alle som brukte en datamaskin eller bil for 50 år siden hvordan de faktisk fungerte, og du vil merke at de var både mindre dyktige og mindre pålitelige.

Vi gjør teknologien mer kompleks inntil den blir for irriterende eller usikker å bruke. Ettersom delene blir bedre og mer pålitelige, velger vi ofte å legge til nye spennende og nyttige funksjoner i stedet for å holde oss til det som fungerer. Dette gjør til syvende og sist teknologien mindre pålitelig enn den kunne vært.

Det vil bli gjort feil

Dette er også grunnen til at AI er et tveegget sverd for å unngå feil. Automatisering gjør ofte ting tryggere og mer effektivt når det fungerer, men når det svikter gjør det problemet langt større. Autonomi betyr at smart programvare kan utfylle vår tenkning og avlaste oss, men når den ikke tenker som vi vil, kan den oppføre seg dårlig.

Jo mer kompleks det er, jo mer fantastiske kan feilene være. Alle som har jobbet med svært intelligente forskere vet hvor godt de kan rote til ting med stor oppfinnsomhet når deres sunne fornuft svikter dem – og AI har svært lite menneskelig sunn fornuft.

Dette er også en dyp grunn til å bekymre seg for AI som veileder beslutningstaking: de gjør nye typer feil. Vi mennesker kjenner menneskelige feil, noe som betyr at vi kan passe på dem. Men smarte maskiner kan gjøre feil vi aldri kunne forestille oss.

Dessuten er AI-systemer programmert og trent av mennesker. Og det er mange eksempler på slike systemer blir partisk og til og med bigott. De etterligner skjevhetene og gjentar feilene fra den menneskelige verden, selv når de involverte eksplisitt prøver å unngå dem.

Til slutt vil feil fortsette å skje. Det er grunnleggende grunner til at vi tar feil om verden, hvorfor vi ikke husker alt vi burde, og hvorfor teknologien vår ikke kan hjelpe oss med å unngå problemer.

Men vi kan jobbe for å redusere konsekvensene av feil. Angre-knappen og automatisk lagring har lagret utallige dokumenter på datamaskinene våre. Monumentet i London, tsunami steiner i Japan og andre monumenter fungerer for å minne oss om visse risikoer. God designpraksis gjør livene våre tryggere.

Til syvende og sist er det mulig å lære noe av historien. Målet vårt bør være å overleve og lære av våre feil, ikke hindre dem i å skje. Teknologi kan hjelpe oss med dette, men vi må tenke nøye gjennom hva vi faktisk vil ha med den – og designe deretter.

Om forfatteren

Anders Sandberg, James Martin Research Fellow, Future of Humanity Institute og Oxford Martin School, University of Oxford

Denne artikkelen er publisert fra Den Conversation under en Creative Commons-lisens. Les opprinnelige artikkelen.