Superforecasters: hvilke pandemiplanleggere kan lære av verdens beste prediktorerEksperter fikk det katastrofalt galt, ifølge Dominic Cummings, Storbritannias statsminister Boris Johnsons tidligere sjefrådgiver. Cummings har hevdet at den britiske regjeringens offisielle vitenskapelige råd i mars 2020 misforsto enormt hvordan pandemien ville spille ut, noe som førte til en forsinkelse i å låse ned som kostet tusenvis av liv.

Ifølge Cummings var det visse spesialister med mindre kunnskap om pandemier eller medisin - som datavitenskapsmann Ben Warner, kunstig intelligensforsker Demis Hassabis fra DeepMind og matematiker Tim Gowers - som ga mer nøyaktige prognoser på dette punktet.

Cummings er også kjent for å være en vifte of Superprognoser av Philip Tetlock, en bok om mennesker som forutsier fremtidige hendelser mer pålitelig enn de fleste. Noen supervarslere har fått skryt for deres spådommer om pandemien, mens andre også har gjort det kritisk til ekspertenes ta opp.

Så burde regjeringer i større grad bruke supervarslere i stedet for å stole på vitenskapelige eksperter? Bevisene er ikke helt så klare. Men det ser ut til å være ting regjeringer kunne lære av superprognoser.

I en berømt amerikansk studie på superforecasters som ble publisert i 2014, var de et elitemannskap. Bare de to beste% av konkurrentene presterte bra nok i en geopolitisk prognosturnering for å vinne tittelen. Deres oppgave var å tildele sannsynlighet til mulige svar på dusinvis av spørsmål.


innerself abonnere grafikk


Forskerne gir noen illustrative eksempler. Hvem ville være Russlands president i 2012? Vil Nord-Korea detonere et annet atomvåpen i løpet av de neste tre månedene? Hvor mange flyktninger vil flykte fra Syria neste år?

Selvfølgelig, bare fordi noen gjør det bra ett år, beviser det ikke at de er dyktigere enn noen andre. Kanskje de bare var heldige. Vi må se på hvor bra de gjorde de neste årene for å evaluere hvor “super” de egentlig er.

Imponerende, disse supervarslerne opprettholdt sin kant mens turneringen gikk i tre år til. Etter å ha blitt kombinert til "superforecasting-team" som bare inneholder andre toppartister, økte deres prestasjoner faktisk med en betydelig margin. Forskerne fant også at å jobbe i team og ta relevant trening forbedret ytelsen for andre prognosemakere, sammenlignet med prognosemenn i en kontrolltilstand.

Lag og trening

Uansett om vi tar Cummings på hans ord om at Storbritannias pandemiplanering led av en ”klassisk gruppetankeboble”, vet vi at lag ikke alltid tar kloke beslutninger. Hva var det som gjorde at lagene ble mer vellykkede i den amerikanske studien?

Det er vanskelig å si sikkert, men forskerne oppfordret teamene spesielt til å stille presise spørsmål for å oppmuntre til klarere tenkning om bevisene som støtter en bestemt prognose, for å "se etter bevis som motsier din nåværende prediksjon", og å konstruktivt innføre alternative synspunkter. .

En slik debatt kan godt forbedre kollektiv dømmekraft og beskytte mot gruppetanke. Teammedlemmer ble heller ikke pålagt å komme til enighet. Selv om de delte informasjon og meninger, gjorde de fremdeles individuelle spådommer som ble kombinert med algoritme. Spesielt superforecaster-team var høyt engasjert, ofte dele informasjon med og stille spørsmål fra andre teammedlemmer.

En annen studie tok en nærmere titt på hvilke spesifikke treningsteknikker som så ut til å hjelpe mest. Tre teknikker var spesielt forbundet med høyere nøyaktighet. Den første var bruk av såkalte sammenligningsklasser.

Hvis jeg for eksempel prøver å forutsi sannsynligheten for at Benedict Cumberbatch og Sophie Hunter fremdeles vil være sammen om fem år, kan det være nyttig å tenke på andre "klasser" som er relevante - for eksempel klassen med kjendisekteskap, eller til og med ekteskap generelt. Dette gjør at jeg kan se på historien for å informere spådommene mine: Hvor stor prosentandel av kjendisekteskap slutter i en gitt femårsperiode?

Det andre var å bruke matematiske og statistiske modeller, når de var tilgjengelige, for å hjelpe til med å informere synspunkter. Det tredje var å "velge de riktige spørsmålene" - en anbefaling om å bruke mer tid på å forutsi svar på spørsmål der du vet mer enn andre om emnet, eller som ytterligere forskning kan lønne seg til. Forskerne understreket imidlertid at alle komponenter i treningen kan ha bidratt helhetlig til bedre ytelse.

Forskning har også vist det nøyaktighet forbedres når vi holder rede på tidligere resultater - men hva slags tilbakemelding er viktig. Skje utfall du trodde ville skje 20% av tiden, faktisk skje 20% av tiden? Hva med utfall du trodde ville skje 90% av tiden? Ytelsen forbedres for de som mottar denne typen informasjon.

Kan regjeringer gjøre det bedre?

Kunne den britiske regjeringen ha gjort det bedre på COVID-19 ved å be om innspill fra team av supervarslere? Det er mulig. Superforecasters kl God dom åpen og praktiserte prognosemenn på Metaculus (som jeg har deltatt i) ser ut til å ha gjort det bra på COVID-19, med Metaculus som hevder å ha utkonkurrerte eksperter i juni 2020. Når det er sagt, i en nylig serie av COVID-19-relaterte spådommer, var ikke trente prognoser alltid nøyaktigere enn eksperter. Forskerne bak undersøkelsen eksperimenterer med måter å kombinere spådommer fra domeneeksperter og trente prognosemenn i en "konsensusvarsel".

Det virker også plausibelt at selv opplæringen som hjalp de ikke-supers med å lage bedre prognoser, hadde vært nyttig. For eksempel hevdet Cummings at selv om det var mye oppmerksomhet mot epidemiologiske modeller, ble bevis som stred mot modellens antagelser - som data rapportert av intensivavdelinger - ignorert. Det virker absolutt plausibelt at noen som er opplært til å "lete etter bevis som strider mot din nåværende spådom", kan ha oppdaget dette tidligere.

Selvfølgelig er ikke alle anbefalinger fra litteraturen praktiske i myndighetsmiljøer. I teorien kunne regjeringer teste slike anbefalinger for seg selv og vedta de som virket gunstige. Dessverre kan du ikke forbedre det du ikke måler.

In Superprognoser, Presiserer Tetlock at enhver organisasjon som er seriøs med å forbedre sine prognoser, må legge konkrete tall til dem, i det minste internt. En setning som "alvorlig mulighet" kan bety en 20% sjanse for en person og en 80% sjanse for en annen.

Dette er nesten helt sikkert det Cummings refererte til da han sa: "En fyr som heter Phil Tetlock skrev en bok, og i den boken sa han at du ikke skulle bruke ord som rimelige og sannsynlige og sannsynlige, fordi det forvirrer alle." Kanskje det ikke skulle overraske oss om organisasjoner som ikke lager prognoser på en måte som de kan evalueres, ikke er rustet til å lære hvordan de kan bli bedre. For å forbedre deg må du først prøve.

Om forfatteren

Gabriel Recchia, forskningsassistent, Winton Center for Risk and Evidence Communication, University of Cambridge

Relaterte bøker:

Kroppen holder poengsummen: Hjernens sinn og kropp i helbredelsen av traumer

av Bessel van der Kolk

Denne boken utforsker sammenhengene mellom traumer og fysisk og mental helse, og tilbyr innsikt og strategier for helbredelse og bedring.

Klikk for mer info eller for å bestille

Pust: The New Science of a Lost Art

av James Nestor

Denne boken utforsker vitenskapen og praksisen med å puste, og tilbyr innsikt og teknikker for å forbedre fysisk og mental helse.

Klikk for mer info eller for å bestille

Planteparadokset: De skjulte farene i "sunn" mat som forårsaker sykdommer og vektøkning

av Steven R. Gundry

Denne boken utforsker koblingene mellom kosthold, helse og sykdom, og tilbyr innsikt og strategier for å forbedre generell helse og velvære.

Klikk for mer info eller for å bestille

Immunitetskoden: Det nye paradigmet for ekte helse og radikal antialdring

av Joel Greene

Denne boken tilbyr et nytt perspektiv på helse og immunitet, og trekker på prinsipper for epigenetikk og tilbyr innsikt og strategier for å optimalisere helse og aldring.

Klikk for mer info eller for å bestille

Den komplette guiden til faste: Helbred kroppen din gjennom periodisk, vekslende dag og forlenget faste

av Dr. Jason Fung og Jimmy Moore

Denne boken utforsker vitenskapen og praksisen med faste og tilbyr innsikt og strategier for å forbedre generell helse og velvære.

Klikk for mer info eller for å bestille

Denne artikkelen opprinnelig dukket opp på Den Conversation