I 1956, under en årelang tur til London og tidlig i 20-årene, besøkte matematikeren og teoretisk biolog Jack D. Cowan Wilfred Taylor og hans merkelige nye «læremaskin". Da han kom, ble han forvirret av den "store apparatbanken" som konfronterte ham. Cowan kunne bare stå ved siden av og se «maskinen gjøre sitt». Det det så ut til å gjøre var å utføre et "assosiativt minneskjema" - det så ut til å være i stand til å lære å finne forbindelser og hente data.
Det kan ha sett ut som klumpete kretsblokker, loddet sammen for hånd i en masse ledninger og bokser, men det Cowan var vitne til var en tidlig analog form av et nevralt nettverk – en forløper til den mest avanserte kunstige intelligensen i dag, inkludert mye diskutert ChatGPT med sin evne til å generere skriftlig innhold som svar på nesten enhver kommando. ChatGPTs underliggende teknologi er et nevralt nettverk.
Mens Cowan og Taylor sto og så på at maskinen arbeidet, hadde de egentlig ingen anelse om nøyaktig hvordan den klarte å utføre denne oppgaven. Svaret på Taylors mysteriemaskinhjerne kan finnes et sted i dens "analoge nevroner", i assosiasjonene laget av maskinminnet og, viktigst av alt, i det faktum at dens automatiserte funksjon egentlig ikke kunne forklares fullt ut. Det ville ta flere tiår for disse systemene å finne sin hensikt og for den kraften å bli låst opp.
Begrepet nevrale nettverk omfatter et bredt spekter av systemer, men sentralt, ifølge IBM, disse "nevrale nettverkene - også kjent som kunstige nevrale nettverk (ANNs) eller simulated neural networks (SNNs) - er en undergruppe av maskinlæring og er i hjertet av dyplæringsalgoritmer". Det er avgjørende at selve begrepet og deres form og "struktur er inspirert av den menneskelige hjernen, og etterligner måten biologiske nevroner signaliserer til hverandre".
Det kan ha vært noe gjenværende tvil om verdien deres i de innledende stadiene, men ettersom årene har gått har AI-moter svingt sterkt mot nevrale nettverk. De blir nå ofte oppfattet som fremtiden til AI. De har store implikasjoner for oss og for hva det vil si å være menneske. Vi har hørt ekko av disse bekymringene nylig med oppfordringer om å sette nye AI-utviklinger på pause i en seks måneders periode for å sikre tillit til implikasjonene deres.
Det ville absolutt være en feil å avfeie det nevrale nettverket som utelukkende om blanke, iøynefallende nye gadgets. De er allerede godt etablert i livene våre. Noen er kraftige i sin praktiske funksjon. Så langt tilbake som i 1989 brukte et team ledet av Yann LeCun ved AT&T Bell Laboratories tilbakeformingsteknikker for å trene et system til å gjenkjenne håndskrevne postnumre. Den siste kunngjøring fra Microsoft at Bing-søk vil bli drevet av AI, noe som gjør det til din "copilot for nettet", illustrerer hvordan tingene vi oppdager og hvordan vi forstår dem i økende grad vil være et produkt av denne typen automatisering.
Å trekke på enorme data for å finne mønstre AI kan på samme måte trenes opp til å gjøre ting som bildegjenkjenning med hastighet – noe som resulterer i at de blir inkorporert i ansiktsgjenkjenning, for eksempel. Denne evnen til å identifisere mønstre har ført til mange andre applikasjoner, som f.eks forutsi aksjemarkedene.
Nevrale nettverk endrer også hvordan vi tolker og kommuniserer. Utviklet av den interessante tittelen Google Brain Team, Google Trans er en annen fremtredende anvendelse av et nevralt nettverk.
Du vil heller ikke spille sjakk eller Shogi med en. Deres forståelse av regler og deres tilbakekalling av strategier og alle registrerte trekk betyr at de er eksepsjonelt gode i spill (selv om ChatGPT ser ut til å sliter med Wordle). Systemene som plager menneskelige Go-spillere (Go er et notorisk vanskelig strategibrettspill) og sjakk-stormestere, er laget av nevrale nettverk.
Men rekkevidden deres går langt utover disse tilfellene og fortsetter å utvide seg. Et søk etter patenter begrenset til omtale av den eksakte frasen "nevrale nettverk" gir 135,828 XNUMX resultater. Med denne raske og pågående ekspansjonen kan sjansene for at vi fullt ut kan forklare påvirkningen av AI bli stadig tynnere. Dette er spørsmålene jeg har undersøkt i min forskning og min nye bok om algoritmisk tenkning.
Mystiske lag av "ukjennelighet"
Å se tilbake på historien til nevrale nettverk forteller oss noe viktig om de automatiserte beslutningene som definerer vår nåtid eller de som vil ha en muligens mer dyp innvirkning i fremtiden. Deres tilstedeværelse forteller oss også at vi sannsynligvis vil forstå beslutningene og virkningene av AI enda mindre over tid. Disse systemene er ikke bare svarte bokser, de er ikke bare skjulte biter av et system som ikke kan sees eller forstås.
Det er noe annet, noe forankret i målene og utformingen av disse systemene selv. Det er en langvarig jakt på det uforklarlige. Jo mer ugjennomsiktig, jo mer autentisk og avansert antas systemet å være. Det handler ikke bare om at systemene blir mer komplekse eller at kontrollen av immaterielle rettigheter begrenser tilgangen (selv om disse er en del av det). Det er i stedet å si at etosen som driver dem har en spesiell og innebygd interesse for "ukjennelighet". Mysteriet er til og med kodet inn i selve formen og diskursen til det nevrale nettverket. De kommer med dypt stablede lag – derav uttrykket dyp læring – og innenfor disse dybdene er de enda mer mystiske "skjulte lagene". Mysteriene til disse systemene er dypt under overflaten.
Det er en god sjanse for at jo større innvirkning kunstig intelligens kommer til å ha i livene våre, jo mindre vil vi forstå hvordan eller hvorfor. I dag er det et sterkt push for AI som kan forklares. Vi ønsker å vite hvordan det fungerer og hvordan det kommer til beslutninger og utfall. EU er så bekymret over de potensielt "uakseptable risikoene" og til og med "farlige" søknader at det for tiden går videre en ny AI-lov ment å sette en "global standard" for "utvikling av sikker, pålitelig og etisk kunstig intelligens".
De nye lovene vil være basert på et behov for forklaring, krever det "For høyrisiko AI-systemer er kravene til høykvalitetsdata, dokumentasjon og sporbarhet, åpenhet, menneskelig tilsyn, nøyaktighet og robusthet strengt nødvendige for å redusere risikoen for grunnleggende rettigheter og sikkerhet som AI utgjør." Dette handler ikke bare om ting som selvkjørende biler (selv om systemer som sikrer sikkerhet faller inn i EUs kategori høyrisiko AI), det er også en bekymring for at det vil dukke opp systemer i fremtiden som vil ha implikasjoner for menneskerettighetene.
Dette er en del av bredere krav om åpenhet i AI slik at aktivitetene kan kontrolleres, revideres og vurderes. Et annet eksempel ville være Royal Societys policy briefing om forklarbar AI der de påpeker at "politiske debatter over hele verden ser i økende grad krav om en form for AI-forklarbarhet, som en del av arbeidet med å bygge inn etiske prinsipper i design og distribusjon av AI-aktiverte systemer".
Men historien om nevrale nettverk forteller oss at vi sannsynligvis vil komme lenger bort fra det målet i fremtiden, i stedet for nærmere det.
Inspirert av den menneskelige hjernen
Disse nevrale nettverkene kan være komplekse systemer, men de har noen kjerneprinsipper. Inspirert av den menneskelige hjernen søker de å kopiere eller simulere former for biologisk og menneskelig tenkning. Struktur- og designmessig er de, som IBM forklarer også, som består av "nodelag, som inneholder et inngangslag, ett eller flere skjulte lag og et utgangslag". Innenfor dette kobles "hver node, eller kunstig nevron, til en annen". Fordi de krever inndata og informasjon for å lage utdata, "stoler de på treningsdata for å lære og forbedre nøyaktigheten over tid". Disse tekniske detaljene betyr noe, men det gjør også ønsket om å modellere disse systemene etter kompleksiteten til den menneskelige hjernen.
Å forstå ambisjonene bak disse systemene er avgjørende for å forstå hva disse tekniske detaljene har kommet til å bety i praksis. I en 1993 intervju, nevrale nettverksforskeren Teuvo Kohonen konkluderte med at et "selvorganiserende" system "er min drøm", som driver "noe som det nervesystemet vårt gjør instinktivt". Som et eksempel så Kohonen for seg hvordan et «selvorganiserende» system, et system som overvåket og styrte seg selv, «kunne brukes som et overvåkingspanel for enhver maskin … i hvert fly, jetfly, eller alle kjernekraftverk, eller alle bil". Dette, mente han, ville bety at i fremtiden "kan du umiddelbart se hvilken tilstand systemet er i".
Det overordnede målet var å ha et system som var i stand til å tilpasse seg omgivelsene. Det ville være øyeblikkelig og autonomt, og operere i stil med nervesystemet. Det var drømmen, å ha systemer som kunne klare seg selv uten behov for mye menneskelig innblanding. Kompleksiteten og ukjenthetene i hjernen, nervesystemet og den virkelige verden vil snart komme til å informere utviklingen og utformingen av nevrale nettverk.
"Noe skummelt med det"
Men når vi hopper tilbake til 1956 og den merkelige læringsmaskinen, var det den praktiske tilnærmingen som Taylor hadde tatt da han bygget den som umiddelbart fanget Cowans oppmerksomhet. Han hadde tydelig svettet over monteringen av bitene. Skredder, Cowan observerte under et intervju av hans egen del i historien om disse systemene, "gjorde det ikke i teorien, og han gjorde det ikke på en datamaskin". I stedet, med verktøy i hånden, "bygde han faktisk maskinvaren". Det var en materiell ting, en kombinasjon av deler, kanskje til og med en innretning. Og det var "alt gjort med analoge kretser" som tok Taylor, bemerker Cowan, "flere år å bygge den og leke med den". Et tilfelle av prøving og feiling.
Cowan ville forståelig nok ta tak i det han så. Han prøvde å få Taylor til å forklare denne læremaskinen for ham. Avklaringene kom ikke. Cowan kunne ikke få Taylor til å beskrive for ham hvordan tingen fungerte. De analoge nevronene forble et mysterium. Det mer overraskende problemet, mente Cowan, var at Taylor «ikke egentlig forsto selv hva som foregikk». Dette var ikke bare et kortvarig sammenbrudd i kommunikasjonen mellom de to forskerne med forskjellige spesialiteter, det var mer enn det.
I et intervju fra midten av 1990-talletNår han tenker tilbake på Taylors maskin, avslørte Cowan at "til i dag i publiserte artikler kan du ikke helt forstå hvordan det fungerer". Denne konklusjonen antyder hvordan det ukjente er dypt innebygd i nevrale nettverk. Uforklarligheten til disse nevrale systemene har vært tilstede selv fra de grunnleggende og utviklingsmessige stadiene som dateres tilbake nesten syv tiår.
Dette mysteriet består i dag og er å finne innenfor avanserte former for AI. Den ufattelige funksjonen til assosiasjonene laget av Taylors maskin førte til at Cowan lurte på om det var "noe skummelt over det".
Lange og sammenfiltrede røtter
Cowan refererte tilbake til hans korte besøk med Taylor da han ble spurt om mottakelsen av hans eget arbeid noen år senere. Inn på 1960-tallet var folk, reflekterte Cowan, "litt trege til å se poenget med et analogt nevralt nettverk". Dette var til tross for, husker Cowan, at Taylors arbeid fra 1950-tallet med "assosiativt minne" var basert på "analoge nevroner". Den nobelprisvinnende eksperten på nevrale systemer, Leon N. Cooper, konkluderte at utviklingen rundt anvendelsen av hjernemodellen på 1960-tallet, ble sett på som «som blant de dype mysteriene». På grunn av denne usikkerheten var det fortsatt en skepsis til hva et nevralt nettverk kan oppnå. Men ting begynte sakte å endre seg.
For rundt 30 år siden nevrovitenskapsmannen Walter J. Freeman, som ble overrasket over "bemerkelsesverdig" rekke applikasjoner som var funnet for nevrale nettverk, kommenterte allerede det faktum at han ikke så dem som "en fundamentalt ny type maskin". De var en sakte forbrenning, med teknologien som kom først og deretter påfølgende applikasjoner som ble funnet for den. Dette tok tid. Faktisk, for å finne røttene til nevrale nettverksteknologi kan vi dra enda lenger tilbake enn Cowans besøk til Taylors mystiske maskin.
Nevralnettforskeren James Anderson og vitenskapsjournalisten Edward Rosenfeld har notert at bakgrunnen for nevrale nettverk går tilbake til 1940-tallet og noen tidlige forsøk på, som de beskriver, «forstå de menneskelige nervesystemene og å bygge kunstige systemer som fungerer slik vi gjør, i det minste litt». Og så, på 1940-tallet, ble mysteriene til det menneskelige nervesystemet også mysteriene til beregningstenkning og kunstig intelligens.
Oppsummerer denne lange historien, datavitenskapsforfatteren Larry Hardesty har påpekt at dyp læring i form av nevrale nettverk «har gått inn og ut av moten i mer enn 70 år». Mer spesifikt, legger han til, disse "nevrale nettverkene ble først foreslått i 1944 av Warren McCulloch og Walter Pitts, to forskere fra University of Chicago som flyttet til MIT i 1952 som grunnleggende medlemmer av det som noen ganger kalles den første kognitive vitenskapsavdelingen".
andre steder, 1943 er noen ganger den gitte datoen som det første året for teknologien. Uansett, i omtrent 70 år tyder beretninger på at nevrale nettverk har beveget seg inn og ut av moten, ofte neglisjert, men noen ganger tatt tak og flyttet inn i mer vanlige applikasjoner og debatter. Usikkerheten vedvarte. Disse tidlige utviklerne beskriver ofte viktigheten av forskningen deres som oversett, inntil den fant sin hensikt ofte år og noen ganger tiår senere.
Fra 1960-tallet til slutten av 1970-tallet kan vi finne flere historier om de ukjente egenskapene til disse systemene. Selv da, etter tre tiår, var det nevrale nettverket fortsatt å finne en følelse av hensikt. David Rumelhart, som hadde bakgrunn i psykologi og var medforfatter av et sett med bøker utgitt i 1986 som senere skulle drive oppmerksomheten tilbake mot nevrale nettverk, fant seg selv i å samarbeide om utviklingen av nevrale nettverk med sin kollega Jay McClelland.
I tillegg til å være kolleger hadde de også nylig møtt hverandre på en konferanse i Minnesota hvor Rumelharts tale om "historieforståelse" hadde provosert en del diskusjon blant delegatene.
Etter den konferansen kom McClelland tilbake med en tanke om hvordan man kan utvikle et nevralt nettverk som kan kombinere modeller for å være mer interaktive. Det som betyr noe her er Rumelharts erindring av "timene og timene og timene med fiksing på datamaskinen".
Vi satte oss ned og gjorde alt dette i datamaskinen og bygde disse datamodellene, og vi forsto dem bare ikke. Vi forsto ikke hvorfor de fungerte eller hvorfor de ikke fungerte eller hva som var kritisk med dem.
I likhet med Taylor fant Rumelhart seg selv å fikle med systemet. De skapte også et fungerende nevralt nettverk, og viktigst av alt var de heller ikke sikre på hvordan eller hvorfor det fungerte slik det gjorde, og tilsynelatende lærte av data og fant assosiasjoner.
Etterligner hjernen - lag etter lag
Du har kanskje allerede lagt merke til at når du diskuterer opprinnelsen til nevrale nettverk, er bildet av hjernen og kompleksiteten dette fremkaller aldri langt unna. Den menneskelige hjernen fungerte som en slags mal for disse systemene. Spesielt i de tidlige stadiene ble hjernen – fortsatt en av de store ukjente – en modell for hvordan det nevrale nettverket kan fungere.
Så disse eksperimentelle nye systemene ble modellert på noe hvis funksjon i seg selv stort sett var ukjent. Nevrodataingeniøren Carver Mead har snakket avslørende av forestillingen om et "kognitivt isfjell" som han hadde funnet spesielt tiltalende. Det er bare toppen av bevissthetens isfjell som vi er klar over og som er synlig. Skalaen og formen til resten forblir ukjent under overflaten.
I 1998, James Anderson, som hadde jobbet en stund med nevrale nettverk, bemerket at når det kom til forskning på hjernen, "syner vår viktigste oppdagelse ut til å være en bevissthet om at vi egentlig ikke vet hva som skjer".
I en detaljert redegjørelse i Financial Times i 2018, bemerket teknologijournalisten Richard Waters hvordan nevrale nettverk "er modellert på en teori om hvordan den menneskelige hjernen fungerer, og sender data gjennom lag med kunstige nevroner til et identifiserbart mønster dukker opp". Dette skaper et knock-on problem, foreslo Waters, ettersom "i motsetning til de logiske kretsene som brukes i et tradisjonelt programvareprogram, er det ingen måte å spore denne prosessen for å identifisere nøyaktig hvorfor en datamaskin kommer opp med et bestemt svar". Waters konklusjon er at disse resultatene ikke kan fjernes. Anvendelsen av denne typen hjernemodell, som tar dataene gjennom mange lag, betyr at svaret ikke lett kan spores tilbake. Den flere lagdelingen er en god del av grunnen til dette.
Hardhet observerte også at disse systemene er "løst modellert på den menneskelige hjernen". Dette gir en iver etter å bygge inn stadig mer prosesseringskompleksitet for å prøve å matche hjernen. Resultatet av dette målet er et nevralt nett som "består av tusenvis eller til og med millioner av enkle prosesseringsnoder som er tett sammenkoblet". Data beveger seg gjennom disse nodene i bare én retning. Hardesty observerte at en "individuell node kan være koblet til flere noder i laget under den, som den mottar data fra, og flere noder i laget over den, som den sender data til".
Modeller av den menneskelige hjernen var en del av hvordan disse nevrale nettverkene ble unnfanget og designet fra begynnelsen. Dette er spesielt interessant når vi tenker på at hjernen selv var et mysterium for tiden (og på mange måter fortsatt er det).
"Tilpasning er hele spillet"
Forskere som Mead og Kohonen ønsket å lage et system som virkelig kunne tilpasse seg verdenen det befant seg i. Den ville svare på forholdene. Mead var tydelig på at verdien i nevrale nettverk var at de kunne legge til rette for denne typen tilpasning. På den tiden, og reflekterer over denne ambisjonen, Mjød lagt til at å produsere tilpasning "er hele spillet". Denne tilpasningen er nødvendig, mente han, "på grunn av naturen til den virkelige verden", som han konkluderte med er "for variabel til å gjøre noe absolutt".
Dette problemet måtte man regne med, spesielt ettersom han mente at dette var noe "nervesystemet fant ut for lenge siden". Ikke bare jobbet disse innovatørene med et bilde av hjernen og dens ukjente, de kombinerte dette med en visjon om den "virkelige verden" og usikkerheten, ukjentheten og variasjonen som dette medfører. Systemene, mente Mead, trengte å være i stand til å reagere og tilpasse seg omstendighetene uten instruksjon.
Omtrent på samme tid på 1990-tallet, Stephen Grossberg – en ekspert på kognitive systemer som arbeider på tvers av matematikk, psykologi og biomedisinsk ingeniørfag – argumenterte også for det tilpasning kom til å bli det viktige skrittet på lengre sikt. Grossberg, mens han jobbet med nevrale nettverksmodellering, tenkte for seg selv at det hele handler "om hvordan biologiske måle- og kontrollsystemer er utformet for å tilpasse seg raskt og stabilt i sanntid til en raskt fluktuerende verden". Som vi så tidligere med Kohonens "drøm" om et "selvorganiserende" system, blir en forestilling om den "virkelige verden" konteksten der respons og tilpasning blir kodet inn i disse systemene. Hvordan den virkelige verdenen blir forstått og forestilt, former utvilsomt hvordan disse systemene er designet for å tilpasse seg.
Skjulte lag
Etter hvert som lagene multipliserte, økte dyp læring nye dybder. Det nevrale nettverket trenes ved hjelp av treningsdata som, Hardesty forklart, "mates til bunnlaget - inngangslaget - og det passerer gjennom de påfølgende lagene, blir multiplisert og lagt sammen på komplekse måter, til det til slutt ankommer, radikalt transformert, til utgangslaget". Jo flere lag, jo større transformasjon og større avstand fra input til output. Utviklingen av Graphics Processing Units (GPUer), for eksempel i spill, la Hardesty til, "aktiverte ettlagsnettverkene på 1960-tallet og to- til trelagsnettverkene på 1980-tallet til å blomstre ut til ti, 15 eller til og med 50 -lagsnettverk av i dag”.
Nevrale nettverk blir dypere. Faktisk er det denne tilføyelsen av lag, ifølge Hardesty, som er "hva "dyp" i "dyp læring" refererer til". Dette betyr noe, foreslår han, fordi "for øyeblikket er dyp læring ansvarlig for de best-ytende systemene på nesten alle områder av kunstig intelligensforskning".
Men mysteriet blir enda dypere. Etter hvert som lagene av nevrale nettverk har hopet seg høyere, har deres kompleksitet vokst. Det har også ført til veksten i det som omtales som "skjulte lag" innenfor disse dypet. Diskusjonen om det optimale antallet skjulte lag i et nevralt nettverk pågår. Medieteoretikeren Beatrice Fazi har skrevet at "på grunn av hvordan et dypt nevralt nettverk fungerer, som er avhengig av skjulte nevrale lag klemt mellom det første laget av nevroner (inndatalaget) og det siste laget (utgangslaget), er dyplæringsteknikker ofte ugjennomsiktige eller uleselige selv for programmerere som opprinnelig satte dem opp».
Etter hvert som lagene øker (inkludert de skjulte lagene) blir de enda mindre forklarlige – selv, som det viser seg, igjen, for de som lager dem. Med et lignende poeng, den fremtredende og tverrfaglige nye medie-tenkeren Katherine Hayles bemerket også at det er grenser for «hvor mye vi kan vite om systemet, et resultat som er relevant for det 'skjulte laget' i nevrale nett- og dyplæringsalgoritmer».
Forfølger det uforklarlige
Til sammen er disse lange utviklingene en del av teknologisosiologen Taina Bucher har kalt «det ukjentes problematiske». Harry Collins utvider sin innflytelsesrike forskning på vitenskapelig kunnskap til feltet AI har påpekt det Målet med nevrale nett er at de kan være produsert av et menneske, i det minste i utgangspunktet, men «når programmet først er skrevet lever det sitt eget liv, som det var; uten stor innsats kan nøyaktig hvordan programmet fungerer forbli mystisk”. Dette har ekko av de langvarige drømmene om et selvorganiserende system.
Jeg vil legge til dette at det ukjente og kanskje til og med det ukjente har blitt forfulgt som en grunnleggende del av disse systemene fra deres tidligste stadier. Det er en god sjanse for at jo større innvirkning kunstig intelligens kommer til å ha i livene våre, jo mindre vil vi forstå hvordan eller hvorfor.
Men det passer ikke mange i dag. Vi ønsker å vite hvordan AI fungerer og hvordan den kommer til beslutninger og utfall som påvirker oss. Ettersom utviklingen innen AI fortsetter å forme vår kunnskap og forståelse av verden, hva vi oppdager, hvordan vi blir behandlet, hvordan vi lærer, konsumerer og samhandler, vil denne impulsen til å forstå vokse. Når det kommer til forklarlig og gjennomsiktig AI, forteller historien om nevrale nettverk oss at vi sannsynligvis vil komme lenger bort fra det målet i fremtiden, i stedet for nærmere det.
David Beer, Professor i sosiologi, University of York
Denne artikkelen er publisert fra Den Conversation under en Creative Commons-lisens. Les opprinnelige artikkelen.
