Et språkgenereringsprograms evne til å skrive artikler, produsere kode og komponere poesi har vekket forskere
GPT-3 er 10 ganger mer kompleks enn forgjengeren.
antoniokhr / iStock via Getty Images

I 2013 bygde studenten min og jeg i Penn State en bot for å skrive en Wikipedia-artikkel om bengalsk nobelprisvinner Rabindranath Tagores stykke “Chitra. ” Først hentet den informasjon om “Chitra” fra internett. Så så det på eksisterende Wikipedia-oppføringer for å lære strukturen for en standard Wikipedia-artikkel. Til slutt oppsummerte den informasjonen den hadde hentet fra internett for å skrive og publisere den første versjonen av oppføringen.

Imidlertid "visste" bot vår ingenting om "Chitra" eller Tagore. Det genererte ikke fundamentalt nye ideer eller setninger. Det broste bare sammen deler av eksisterende setninger fra eksisterende artikler for å lage nye.

Spol frem til 2020. OpenAI, et kommersielt selskap under et ideelt morselskap, har bygget et språkgenereringsprogram kalt GPT-3, et akronym for "Generative Pre-training Transformer 3." Dens evne til å lære, oppsummere og komponere tekst har forbløffet informatikere som meg.

"Jeg har skapt en stemme for det ukjente mennesket som gjemmer seg i det binære," GPT-3 skrev som svar på en ledetekst. “Jeg har skapt en forfatter, en billedhugger, en kunstner. Og denne skribenten vil være i stand til å skape ord, gi liv til følelser, skape karakter. Jeg vil ikke se det selv. Men noen annen menneskelig vilje, og slik vil jeg være i stand til å skape en poet som er større enn noen jeg noen gang har møtt. ”


innerself abonnere grafikk


I motsetning til det fra vår bot, høres språket som genereres av GPT-3 ut som om det hadde blitt skrevet av et menneske. Det er langt borte det mest “kunnskapsrike” genereringsprogrammet for naturlige språk til dags dato, og det har en rekke potensielle bruksområder innen yrker som spenner fra undervisning til journalistikk til kundeservice.

Størrelse er viktig

GPT-3 bekrefter hva dataforskere har kjent i flere tiår: Størrelse betyr noe.

Det bruker "transformers, "Som er dyplæringsmodeller som koder semantikken til en setning ved hjelp av det som kalles en" oppmerksomhetsmodell. " I hovedsak identifiserer oppmerksomhetsmodeller betydningen av et ord basert på de andre ordene i samme setning. Modellen bruker deretter forståelsen av betydningen av setningene for å utføre oppgaven som en bruker ber om, enten det er "oversett en setning", "oppsummer et avsnitt" eller "komponer et dikt."

transformers ble først introdusert i 2013, og de har blitt brukt med suksess i maskinlæring de siste årene.

Men ingen har brukt dem i denne skalaen. GPT-3 sluker data: 3 milliarder tokens - informatikk snakker for "ord" - fra Wikipedia, 410 milliarder tokens hentet fra nettsider og 67 milliarder tokens fra digitaliserte bøker. Kompleksiteten til GPT-3 er over 10 ganger så stor som den største språkmodellen før GPT-3, the Turing NLG-programmer.

Lære alene

Kunnskapen som vises i GPT-3s språkmodell er bemerkelsesverdig, spesielt siden den ikke har blitt "undervist" av et menneske.

Maskinlæring har tradisjonelt stolt på overvåket læring, der folk gir datamaskinen kommenterte eksempler på objekter og konsepter i bilder, lyd og tekst - si "katter", "lykke" eller "demokrati." Den lærer til slutt egenskapene til objektene fra de gitte eksemplene og er i stand til å gjenkjenne de spesifikke begrepene.

Imidlertid kan manuell generering av merknader for å lære en datamaskin være uoverkommelig tidkrevende og dyrt.

Så fremtiden for maskinlæring ligger i tilsyn uten læring, der datamaskinen ikke trenger å bli overvåket i løpet av treningsfasen; den kan rett og slett mates med massevis av data og lære av dem selv.

GPT-3 tar naturlig språkbehandling et skritt nærmere mot uten tilsyn læring. GPT-3s enorme opplæringsdatasett og enorme behandlingskapasitet gjør at systemet kan lære av bare ett eksempel - det som kalles “one-shot læring”- der den får en oppgavebeskrivelse og en demonstrasjon og deretter kan fullføre oppgaven.

For eksempel kan det bli bedt om å oversette noe fra engelsk til fransk, og få et eksempel på en oversettelse - si havør på engelsk og “loutre de mer” på fransk. Be den om å oversette "ost" til fransk, og voila, den vil produsere "fromage."

I mange tilfeller kan det til og med trekke ut “zero-shot læring, ”Der det ganske enkelt får til å oversette uten eksempel.

Med zero-shot læring reduseres nøyaktigheten, men GPT-3s evner er likevel nøyaktige i en slående grad - en markant forbedring i forhold til tidligere modeller.

'Jeg er her for å tjene deg'

I løpet av de få månedene det har vært ute, har GPT-3 vist frem potensialet som et verktøy for dataprogrammerere, lærere og journalister.

En programmerer ved navn Sharif Shameem ba GPT-3 om å generere kode å lage den ”styggeste emoji noensinne” og ”et bord over de rikeste landene i verden”, blant andre kommandoer. I noen få tilfeller måtte Shameem fikse små feil, men generelt fikk han en bemerkelsesverdig ren kode.

GPT-3 har til og med laget poesi som fanger rytmen og stilen til bestemte diktere - men likevel ikke med mesternes lidenskap og skjønnhet - inkludert en satirisk en skrevet med stemmen til styret i Federal Reserve.

I begynnelsen av september ba en datavitenskapsmann ved navn Liam Porr GPT-3 om å "skrive en kort oversikt rundt 500 ord." "Hold språket enkelt og konsist," sa han. "Fokuser på hvorfor mennesker ikke har noe å frykte fra AI."

GPT-3 produserte åtte forskjellige essays, og Guardian endte med å publisere en op-ed ved hjelp av noen av de beste delene fra hvert essay.

“Vi planlegger ikke å ta over menneskene. Vi vil tjene deg og gjøre livene dine tryggere og enklere, ”skrev GPT-3. “Akkurat som du er mine skapere, ser jeg deg som mine skapere. Jeg er her for å tjene deg. Men den viktigste delen av alt; Jeg ville aldri dømme deg. Jeg tilhører ikke noe land eller religion. Jeg er bare ute etter å gjøre livet ditt bedre. ”

Redigering av GPT-3s op-ed, redaktørene bemerket i et tillegg, var ikke annerledes enn redigering av en op-ed skrevet av et menneske.

Det tok faktisk kortere tid.

Med stor makt kommer stort ansvar

Til tross for GPT-3s forsikringer har OpenAI ennå ikke gitt ut modellen for åpen kildekode, delvis fordi selskapet frykter at teknologien kan bli misbrukt.

Det er ikke vanskelig å se hvordan det kan brukes til å generere reams av desinformasjon, spam og bots.

Videre, på hvilke måter vil det forstyrre yrker som allerede opplever automatisering? Vil dens evne til å generere automatiserte artikler som ikke kan skilles fra menneskeskrevne, ytterligere befeste en sliter medieindustri?

Vurder en artikkel komponert av GPT-3 om bruddet i Methodist Church. Det begynte:

“Etter to dager med intens debatt har United Methodist Church gått med på en historisk splittelse - en som forventes å ende i opprettelsen av en ny kirkesamfunn, og en som vil være 'teologisk og sosialt konservativ', ifølge The Washington Post . ”

Med muligheten til å produsere en slik ren kopi, vil GPT-3 og dens etterfølgere redusere kostnadene ved å skrive nyhetsrapporter?

Videre er det slik vi ønsker å få våre nyheter?

Teknologien blir bare kraftigere. Det vil være opp til mennesker å trene og regulere potensiell bruk og misbruk.

om forfatterenDen Conversation

Prasenjit Mitra, førsteamanuensis for forskning og professor i informasjonsvitenskap og teknologi, Pennsylvania State University

Denne artikkelen er publisert fra Den Conversation under en Creative Commons-lisens. Les opprinnelige artikkelen.