Vi lever i en verden som er både stadig mer kompleks og automatisert. Så akkurat som vi må håndtere mer komplekse problemer, fører automatisering til en atrofi av menneskelige ferdigheter som kan gjøre oss mer sårbare når vi reagerer på uventede situasjoner eller når ting går galt.

Vurder siste minuttene av Air France Flight 447, som krasjet i Atlanterhavet i mai 2009 etter å ha forlatt Rio de Janeiro, Brasil, til Paris, Frankrike.

Dens flyopptaker avslørt fullstendig forvirring i cockpiten. Flyet ble vippet oppover på 15º med en automatisk stemme som repeterende kalte "stall, stall". Likevel var pilotene reeling, en utrope: "[...] vi forstår ingenting."

Dette er ikke stedet å gå inn i innsatsen til den ondskapsfulle flyten, bortsett fra å merke seg at ethvert system som er utformet for å håndtere automatisk med uforutsetninger, overveier mesteparten av tiden en forringet ferdighetsgrunnlag for minoriteten av situasjoner som designerne kunne ikke ikke forutse.

Uttaler til Vanity Fair, Nadine Sarter, en industriell ingeniør ved University of Michigan, husker en samtale med fem ingeniører involvert i å bygge et bestemt fly.

Jeg begynte å spørre: "Vel, hvordan fungerer dette eller det?" Og de kunne ikke være enige om svarene. Så jeg tenkte, hvis disse fem ingeniører ikke kan være enige, den dårlige pilot, hvis han noen gang møter den spesielle situasjonen ... vel, lykke til.

I virkeligheten har kompleksiteten til dømmende flygende svært intrikate høyteknologiske flyruter blitt outsourcet til en robot, med fly ingeniører til alle formål og formål borte fra cockpits. Bare eldre piloter og tidligere luftvåpenpiloter beholder de detaljerte ferdighetene.

Tilbake på terra firma, i en autonom kjøreverden kan det være hele fremtidige generasjoner uten praktisk erfaring i det hele tatt kjøring og navigering et kjøretøy.

Vi ser allerede en indikasjon på hva kan gå galt når mennesker forlater kontrollen til autonome systemer.

En undersøkelse av dødsulykke av en Tesla Model S med autopilot bemerket at selskapet ga informasjon om "systembegrensninger" til drivere. I så fall er det fortsatt opp til sjåførene å ta hensyn.

Men hvilken sjanse ville en person ha for å ta over noen kontroller hvis ting skulle begynne å gå galt i deres fremtid fullt autonome kjøretøy. Vil de til og med vite hvordan de kan se de tidlige tegnene på forestående katastrofe?

Å miste vei?

Kjører dette er en teknologisk determinisme som tror noe og all innovasjon er iboende bra. Mens nye teknologier ennå kan definere hva det er å være menneske, er utfordringen å gjenkjenne risikoen og hva du skal gjøre for å sikre at ting ikke går galt.

Det blir vanskeligere som vi har lagt til kompleksitet, spesielt med autonom kjøring av forstedene tog, luftdisplayer og leveringsdroner.

Systemdesignere har bygget større og mer sammenflettede systemer for å dele dataprosessbelastning, selv om dette gjør deres kreasjoner primære kandidater for nedbryting. De har utsikt over det faktum at når alt er tilkoblet, kan problemer spre seg like lett som løsninger, noen ganger mer.

Den voksende og enorme kompleksiteten i en automatisert verden utgjør lignende risiko.

Farepunkter

Etterpå er det nødvendig å kutte nettverk fri når det er feilpunkter, eller i det minste å forsegle deler av et enkelt nettverk når det er feilpunkter andre steder i den.

Denne "islanding" er en funksjon av smarte strømnettet som gir mulighet til å dele nettverket i fragmenter som er i stand til å selvopprettholde sin interne strømforbruk. Modellering har vist det færre forbindelser kan føre til mer sikkerhet.

Kunne fremkallende kompleksitetsvitenskapelig hjelp finne ut hvor faren poeng kan ligge i høyt sammenkoblede nettverk? Marten Scheffer og kolleger tenkte det. Han hadde sett likheter mellom oppførselen til (hans) naturlige systemer og økonomiske og finansielle systemer.

Hans tidligere arbeid på innsjøer, korallrev, hav, skog og grøntområder, fant man at miljøer som er utsatt for gradvise forandringer som klima, næringsbelastning og tap av habitat, kan nå tipping poeng som setter dem i en noen ganger irreversibel lavere tilstand.

Kan bankfolk og økonomer gripe med stabiliteten i finansmarkedene lære fra forskere i økologi, epidemiologi og klimatologi å utvikle markører av nærhet til kritiske terskler og systembrudd?

I februar 2016 kom alt sammen i form av et dokument om kompleksitetsteori og finansiell regulering medforfatter av et bredt spekter av eksperter, inkludert en økonom, banker, fysiker, klimatolog, økolog, zoolog, veterinær og epidemiolog.

De anbefalte en nettbasert integrasjon av data, metoder og indikatorer, fôring i stresstester for globale sosioøkonomiske og finansielle systemer i nær realtid. Den tidligere er lik det som er oppnådd i forbindelse med andre komplekse systemer som for eksempel været.

Vi kan begynne å se hvordan vårt eksempel på en autonom kjøreverden bretter seg over til spørsmål om nettstabilitet. Tenk deg et høyt sammenkoblet nettverk av autonome biler.

Det er et klart behov for å vite hvordan man kan oppdage og isolere potensielle feilpunkter i et slikt nettverk, før ting går galt med potensielt tragiske konsekvenser. Dette er mer enn bare å beskytte fører og passasjer fra systemfeil i et enkelt autonomt kjøretøy.

Det er på tide å tenke hvordan vi kan bruke disse tverrfaglige fremskrittene for å forstå stabiliteten i slike store nett for å unngå drastiske konsekvenser.

Om forfatteren

Peter Fisher, adjungerende professor, Globale, by- og samfunnsstudier, RMIT University

Denne artikkelen ble opprinnelig publisert på Den Conversation. Les opprinnelige artikkelen.

Relaterte bøker

at InnerSelf Market og Amazon