En ny form for feilinformasjon er klar til å spre seg gjennom nettbaserte lokalsamfunn som 2018 midtveisvalgskampanjer oppvarmes. Kalt "deepfakes" etter pseudonym online konto som populariserte teknikken - som kan ha valgt navn fordi prosessen bruker en teknisk metode kalt "dyp læring" - disse falske videoene ser veldig realistiske ut.

Så langt har folk brukt dybfaglige videoer i pornografi og satire for å få det til å se ut som kjente mennesker gjør ting de vanligvis ikke ville ha.

Men det er nesten sikkert deepfakes vil vises i kampanjesesongen, som påstår å skildre kandidater sier ting eller å gå steder den virkelige kandidaten ikke ville.

Det er Barack Obama - eller er det?

{youtube}cQ54GDm1eL0{/youtube}

Fordi disse teknikkene er så nye, har folk problemer med å fortelle forskjellen mellom ekte videoer og deepfake-videoene. Mitt arbeid, med min kollega Ming-Ching Chang og vår Ph.D. student Yuezun Li, har funnet en måte å pålidelig fortell ekte videoer fra deepfake videoer. Det er ikke en permanent løsning, fordi teknologien vil bli bedre. Men det er en start, og tilbyr håp om at datamaskiner vil kunne hjelpe folk å fortelle sannheten fra fiksjon.

Hva er en "deepfake", uansett?

Å lage en dyp video er mye som å oversette mellom språk. Tjenester som Google Trans bruk maskinlæring - dataanalyse av titusenvis av tekster på flere språk - til oppdag tekstbruksmønstre som de bruker til å opprette oversettelsen.

Deepfake-algoritmer fungerer på samme måte: De bruker en type maskinlæringssystem kalt a dype nevrale nettverk å undersøke ansiktsbevegelsene til en person. Da syntetiserer de bilder av andres ansikt som gjør analoge bevegelser. Å gjøre så effektivt skaper en video av målpersonen som synes å gjøre eller si ting kildemannen gjorde.

Hvor dyptgående videoer er laget.

{youtube}8LhI-e2B8Lg{/youtube}

Før de kan fungere ordentlig, trenger dype nevrale nettverk mye kildedata, for eksempel bilder av personer som er kilden eller målet for etterligning. Jo flere bilder som brukes til å trene en deepfake-algoritme, desto mer realistiske blir den digitale imitasjonen.

Registrering blinker

Det er fortsatt feil i denne nye typen algoritme. En av dem har å gjøre med hvordan de simulerte ansiktene blinker - eller ikke. Helse voksne mennesker blinker et sted mellom hver 2 og 10 sekunder, og et enkelt blink tar mellom en tiende og fire tiendedeler av et sekund. Det er det som ville være normalt å se i en video av en person som snakker. Men det er ikke det som skjer i mange deepfake-videoer.

En ekte person blinker mens du snakker.

{youtube}https://www.youtube.com/watch?v=-MMXXEA3UaM{/youtube}

Et simulert ansikt blinker ikke som en ekte person gjør.

{youtube}EttSA9-YIuI{/youtube}

Når en deepfake-algoritme er utdannet på ansiktsbilder av en person, er det avhengig av bildene som er tilgjengelige på internett som kan brukes som treningsdata. Selv for folk som fotograferes ofte, er det få bilder tilgjengelig som viser øynene deres. Ikke bare er bildene sånn sjeldne - fordi folks øyne er åpne mesteparten av tiden - men fotografer publiserer vanligvis ikke bilder der hovedfagets øyne er stengt.

Uten å trene bilder av folk som blinker, er dypfagalgoritmer mindre sannsynlig å skape ansikter som blinker normalt. Når vi beregner den totale hastigheten på blinking, og sammenligner det med det naturlige området, fant vi ut at tegn i dype videoer blinker mye mindre hyppige i forhold til ekte mennesker. Vår forskning bruker maskinlæring til undersøke øyeåpning og lukking i videoer.

Dette gir oss en inspirasjon til å oppdage dypfake videoer. Deretter utvikler vi en metode for å oppdage når personen i videoen blinker. For å være mer spesifikk skanner den hver ramme av en aktuell video, oppdager ansiktene i den og lokaliserer deretter øynene automatisk. Den bruker deretter et annet dypt neuralt nettverk for å avgjøre om det oppdagede øyet er åpent eller nært, ved bruk av øyets utseende, geometriske egenskaper og bevegelse.

Vi vet at vårt arbeid utnytter en feil i den typen data som er tilgjengelig for å trene dypfagalgoritmer. For å unngå å falle bytte til en lignende feil har vi trent vårt system på et stort bibliotek med bilder av både åpne og lukkede øyne. Denne metoden ser ut til å fungere bra, og som et resultat har vi oppnådd en deteksjonsrate på over 95-prosent.

Dette er ikke det siste ordet om å oppdage deepfakes, selvfølgelig. Teknologien er forbedrer seg raskt, og konkurransen mellom å generere og oppdage falske videoer er analog med et sjakkspill. Spesielt kan blinking legges til dybfaglige videoer ved å inkludere ansiktsbilder med lukkede øyne eller bruke videosekvenser for trening. Folk som ønsker å forvirre offentligheten, blir bedre til å lage falske videoer - og vi og andre i teknologilivet må fortsette å finne måter å oppdage dem på.

Om forfatteren

Siwei Lyu, lektor i datavitenskap; Direktør, Computer Vision og Machine Learning Lab, University at Albany, State University of New York

Denne artikkelen ble opprinnelig publisert på Den Conversation. Les opprinnelige artikkelen.

Relaterte bøker

at InnerSelf Market og Amazon