For å forstå om en ny behandling for en sykdom er virkelig bedre enn eldre behandlinger, ser leger og forskere på det beste tilgjengelige beviset. Helsepersonell vil ha et "siste ord" som bevis for å avgjøre spørsmål om hva de beste behandlingsmåten er.

Men ikke alle medisinske bevis er skapt like. Og det er et klart bevishierarki: Ekspertuttalelse og saksrapporter om individuelle hendelser er på laveste nivå, og velutførte randomiserte kontrollerte forsøk er nær toppen. Øverst på dette hierarkiet er meta-analyser - studier som kombinerer resultatene fra flere studier som stiller det samme spørsmålet. Og veldig, veldig Øverst på dette hierarkiet er meta-analyser utført av en gruppe kalt Cochrane Collaboration.

For å være medlem av Cochrane Collaboration, må enkelte forskere eller forskergrupper overholde meget strenge retningslinjer for hvordan meta-analyser skal rapporteres og gjennomføres. Derfor vurderes Cochrane vurderinger generelt å være de beste meta-analysene.

Imidlertid har ingen noen gang spurt om resultatene i meta-analyser utført av Cochrane Collaboration er forskjellige fra meta-analyser fra andre kilder. I teorien, hvis du sammenlignet en Cochrane- og ikke-Cocrane meta-analyse, begge publisert innenfor en lignende tidsramme, ville du ha en tendens til å forvente at de ville ha valgt de samme studiene for å analysere, og at deres resultater og tolkning ville mer eller mindre samsvare.

Vårt team ved Boston Universitys folkehelseskole bestemte seg for å finne ut. Og overraskende, det er det ikke hva vi fant.

Hva er en meta-analyse, uansett?

Tenk deg at du har fem små kliniske studier som alle fant en generelt positiv fordel for, la oss si, ta aspirin for å hindre hjerteinfarkt. Men fordi hver av studiene bare hadde et lite antall studiefag, kunne ingen selvsikker si at de gunstige effektene ikke bare skyldtes tilfeldighetene. I statistisk snakk vil slike studier anses å være "underpowered".

Det er en god måte å øke den statistiske kraften til disse studiene: kombinere de fem mindre studiene til en. Det er det en meta-anaysis gjør. Kombinere flere mindre studier i en analyse og ta gjennomsnittet av disse studiene kan noen ganger tippe skalaene og la det medisinske samfunnet vite med sikkerhet om en gitt intervensjon virker, eller ikke.

Meta-analyser er effektive og billige fordi de ikke krever å kjøre nye forsøk. Det er snarere et spørsmål om å finne alle relevante studier som allerede er publisert, og dette kan være overraskende vanskelig. Forskere må være vedvarende og metodiske i deres søk. Å finne studier og avgjøre om de er gode nok til å stole på er hvor kunsten og feilen i denne vitenskapen blir et kritisk problem.

Det er egentlig en viktig grunn til at Cochrane Collaboration ble grunnlagt. Archie Cochrane, en helsetjenesterforsker, anerkjente kraften i meta-analyser, men også den enorme betydningen av å gjøre dem riktig. Cochrane-samarbeidsmeta-analysene må overholde meget høye standarder for åpenhet og metodisk rigor og reproduserbarhet.

Dessverre kan få begå tid og krefter for å bli med i Cochrane Collaboration, og det betyr at det store flertallet av meta-analyser ikke utføres av Samarbeidet, og er ikke bundet til å overholde sine standarder. Men betyr dette faktisk noe?

Hvor forskjellig kan to meta-analyser være?

For å finne ut, begynte vi ved å identifisere 40-par meta-analyser, en fra Cochrane og en ikke, som dekket samme inngrep (f.eks. Aspirin) og utfall (f.eks. Hjerteinfarkt), og deretter sammenlignet og kontrasterte dem.

Først fant vi at nesten 40 prosent av Cochrane og ikke-Cochrane meta-analysene var uenige i sine statistiske svar på bunnlinjen. Det betyr at typiske lesere, leger eller helsepolitikere for eksempel vil komme med en fundamentalt forskjellig tolkning av om intervensjonen var effektiv eller ikke, avhengig av hvilke meta-anlyser de skjedde å lese.

For det andre syntes disse forskjellene å være systematiske. Ikke-Cochrane-vurderingene pleide å antyde at intervensjonene de testet, var mer potente, mer sannsynlig å kurere tilstanden eller avverge noen medisinsk komplikasjon enn Cochrane-vurderingene foreslo. Samtidig var ikke-Cochrane-vurderingene mindre nøyaktige i deres nøyaktighet, noe som innebar at det var en større sjanse for at funnene bare skyldtes tilfeldighetene.

En meta-analyse er ikke mer enn bare et fancy vektet gjennomsnitt av komponentstudiene. Vi var overrasket over å finne at omtrent 63 prosent av de inkluderte studiene var unike for ett eller annet sett med meta-analyser. Med andre ord, til tross for at de to settene meta-analyser antagelig ville se etter de samme papirene, ved hjelp av lignende søkekriterier, over en tilsvarende tidsperiode og fra lignende databaser, hadde bare omtrent en tredjedel av papirene de to settene inkludert var det samme.

Det synes sannsynlig at de fleste eller alle disse forskjellene kommer ned til det faktum at Cochrane insisterer på tøffere kriterier. En meta-analyse er bare like god som studiene den inneholder, og å ta gjennomsnittet av dårlig forskning kan føre til dårlig resultat. Som ordtaket går, "søppel inn, søppel ut."

Interessant, analysene som rapporterte mye høyere effekt størrelser pleide å bli sitert igjen i andre papirer med en mye høyere rate enn analysene rapporterer den lavere effektstørrelsen. Dette er en statistisk utførelsesform av det gamle journalistiske ordtaket "Hvis det bløder, fører det." Store og dristige effekter får mer oppmerksomhet enn resultater som viser marginale eller uavhengige utfall. Det medisinske samfunnet er jo bare menneskelig.

Hvorfor gjør dette noe?

På sitt mest grunnleggende nivå viser dette at Archie Cochrane var helt riktig. Metodisk konsistens og strenghet og åpenhet er avgjørende. Uten det er det en risiko for å konkludere med at noe fungerer når det ikke gjør det, eller til og med overhyping fordeler.

Men på et høyere nivå viser dette oss, enda en gang, hvor vanskelig det er å skape en samlet tolkning av medisinsk litteratur. Meta-analyser brukes ofte som det siste ordet på et gitt emne, som voldgiftsbitere.

Klart denne rollen utfordres av det faktum at to meta-analyser, tilsynelatende på samme emne, kan nå forskjellige konklusjoner. Hvis vi ser meta-analysen som "gullstandarden" i vår nåværende epoke med "bevisbasert medisin", hvordan er den gjennomsnittlige legen eller politimannen eller til og med tålmodig å reagere når to gullstandarder motsetter hverandre? Advarsel.

Om forfatteren

Christopher J. Gill, lektor, avdeling for global helse; Infectious Diseases Specialist, Boston University.

Denne artikkelen ble opprinnelig publisert på Den Conversation. Les opprinnelige artikkelen.

Relatert bok:

at InnerSelf Market og Amazon