Hva er dypfake videoer og oppdage dem i blinket av et øye

Hva er deepfake videoer og oppdage dem blinke av et øye

En ny form for feilinformasjon er klar til å spre seg gjennom nettbaserte lokalsamfunn som 2018 midtveisvalgskampanjer oppvarmes. Kalt "deepfakes" etter pseudonym online konto som populariserte teknikken - som kan ha valgt navn fordi prosessen bruker en teknisk metode kalt "dyp læring" - disse falske videoene ser veldig realistiske ut.

Så langt har folk brukt dybfaglige videoer i pornografi og satire for å få det til å se ut som kjente mennesker gjør ting de vanligvis ikke ville ha.

Men det er nesten sikkert deepfakes vil vises i kampanjesesongen, som påstår å skildre kandidater sier ting eller å gå steder den virkelige kandidaten ikke ville.

Det er Barack Obama - eller er det?

Fordi disse teknikkene er så nye, har folk problemer med å fortelle forskjellen mellom ekte videoer og deepfake-videoene. Mitt arbeid, med min kollega Ming-Ching Chang og vår Ph.D. student Yuezun Li, har funnet en måte å pålidelig fortell ekte videoer fra deepfake videoer. Det er ikke en permanent løsning, fordi teknologien vil bli bedre. Men det er en start, og tilbyr håp om at datamaskiner vil kunne hjelpe folk å fortelle sannheten fra fiksjon.

Hva er en "deepfake", uansett?

Å lage en dyp video er mye som å oversette mellom språk. Tjenester som Google Trans bruk maskinlæring - dataanalyse av titusenvis av tekster på flere språk - til oppdag tekstbruksmønstre som de bruker til å opprette oversettelsen.


Få det siste fra InnerSelf


Deepfake-algoritmer fungerer på samme måte: De bruker en type maskinlæringssystem kalt a dype nevrale nettverk å undersøke ansiktsbevegelsene til en person. Da syntetiserer de bilder av andres ansikt som gjør analoge bevegelser. Å gjøre så effektivt skaper en video av målpersonen som synes å gjøre eller si ting kildemannen gjorde.

Hvor dyptgående videoer er laget.

Før de kan fungere ordentlig, trenger dype nevrale nettverk mye kildedata, for eksempel bilder av personer som er kilden eller målet for etterligning. Jo flere bilder som brukes til å trene en deepfake-algoritme, desto mer realistiske blir den digitale imitasjonen.

Registrering blinker

Det er fortsatt feil i denne nye typen algoritme. En av dem har å gjøre med hvordan de simulerte ansiktene blinker - eller ikke. Helse voksne mennesker blinker et sted mellom hver 2 og 10 sekunder, og et enkelt blink tar mellom en tiende og fire tiendedeler av et sekund. Det er det som ville være normalt å se i en video av en person som snakker. Men det er ikke det som skjer i mange deepfake-videoer.

En ekte person blinker mens du snakker.

Et simulert ansikt blinker ikke som en ekte person gjør.

Når en deepfake-algoritme er utdannet på ansiktsbilder av en person, er det avhengig av bildene som er tilgjengelige på internett som kan brukes som treningsdata. Selv for folk som fotograferes ofte, er det få bilder tilgjengelig som viser øynene deres. Ikke bare er bildene sånn sjeldne - fordi folks øyne er åpne mesteparten av tiden - men fotografer publiserer vanligvis ikke bilder der hovedfagets øyne er stengt.

Uten å trene bilder av folk som blinker, er dypfagalgoritmer mindre sannsynlig å skape ansikter som blinker normalt. Når vi beregner den totale hastigheten på blinking, og sammenligner det med det naturlige området, fant vi ut at tegn i dype videoer blinker mye mindre hyppige i forhold til ekte mennesker. Vår forskning bruker maskinlæring til undersøke øyeåpning og lukking i videoer.

Dette gir oss en inspirasjon til å oppdage dypfake videoer. Deretter utvikler vi en metode for å oppdage når personen i videoen blinker. For å være mer spesifikk skanner den hver ramme av en aktuell video, oppdager ansiktene i den og lokaliserer deretter øynene automatisk. Den bruker deretter et annet dypt neuralt nettverk for å avgjøre om det oppdagede øyet er åpent eller nært, ved bruk av øyets utseende, geometriske egenskaper og bevegelse.

Vi vet at vårt arbeid utnytter en feil i den typen data som er tilgjengelig for å trene dypfagalgoritmer. For å unngå å falle bytte til en lignende feil har vi trent vårt system på et stort bibliotek med bilder av både åpne og lukkede øyne. Denne metoden ser ut til å fungere bra, og som et resultat har vi oppnådd en deteksjonsrate på over 95-prosent.

Dette er ikke det siste ordet om å oppdage deepfakes, selvfølgelig. Teknologien er forbedrer seg raskt, og konkurransen mellom å generere og oppdage falske videoer er analog med et sjakkspill. Spesielt kan blinking legges til dybfaglige videoer ved å inkludere ansiktsbilder med lukkede øyne eller bruke videosekvenser for trening. Folk som ønsker å forvirre offentligheten, blir bedre til å lage falske videoer - og vi og andre i teknologilivet må fortsette å finne måter å oppdage dem på.Den Conversation

Om forfatteren

Siwei Lyu, lektor i datavitenskap; Direktør, Computer Vision og Machine Learning Lab, University at Albany, State University of New York

Denne artikkelen ble opprinnelig publisert på Den Conversation. Les opprinnelige artikkelen.

Relaterte bøker

{amazonWS: searchindex = Bøker; søkeord = Deepfake Videos; maxresults = 3}

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

følg InnerSelf på

facebook-ikonettwitter-iconrss-ikonet

Få den siste via e-post

{Emailcloak = off}

FRA REDAKTØRENE

Hvorfor Donald Trump kunne være historiens største taper
by Robert Jennings, InnerSelf.com
Oppdatert 2. juli 20020 - Hele coronavirus-pandemien koster en formue, kanskje 2 eller 3 eller 4 formuer, alle av ukjent størrelse. Å ja, og hundretusener, kanskje en million mennesker vil dø ...
Blue-Eyes vs Brown Eyes: How Racism is Teached
by Marie T. Russell, InnerSelf
I denne episoden fra Oprah Show fra 1992 lærte den prisbelønte antirasismeaktivisten og pedagog Jane Elliott publikum en tøff leksjon om rasisme ved å demonstrere hvor lett det er å lære fordommer.
En forandring vil komme...
by Marie T. Russell, InnerSelf
(30. mai 2020) Mens jeg ser på nyhetene om hendelsene i Philadephia og andre byer i landet, har jeg lyst til det som skjer. Jeg vet at dette er en del av den større endringen som tar ...
En sang kan oppløfte hjertet og sjelen
by Marie T. Russell, InnerSelf
Jeg har flere måter jeg bruker for å fjerne mørket fra tankene når jeg finner ut at det har sneket seg inn. Den ene er hagearbeid eller bruker tid i naturen. Den andre er stillhet. En annen måte er lesing. Og en som ...
Mascot for Pandemic and Theme Song for Social Distancing and Isolation
by Marie T. Russell, InnerSelf
Jeg kom over en sang nylig, og da jeg hørte på tekstene, tenkte jeg at det ville være en perfekt sang som en "temasang" i disse tider med sosial isolasjon. (Tekst under videoen.)