Er du interessert i kritisk tolkning av forskningsresultater – eller har en statistikk-nerd i deg – har jeg en anbefaling å komme med.
I et tidligere innlegg – Fettråd og vitenskapelige kortsyn – nevnte jeg en artikkel av epidemiolog Kenneth J. Rothman fra 2014 som handler om utbredte misforståelser om forskning, og spesielt epidemiologi og statistikk.
Tittelen på artikkelen er Six Persistent Research Misconceptions. Siden jeg stadig vekk ser at disse misforståelsene dukker opp i artikler og debatter, synes jeg den fortjener et eget innlegg.
Rothman har bl.a. skrevet tunge, men anerkjente lærebøker om epidemiologi (anbefaler denne!), men i denne artikkelen gjør han det leservennlig og tilgjengelig for ikke-statistikere og andre (den er rettet mot medisinere).
Rothmans første misforståelse omtalte jeg i det tidligere nevnte innlegget:
- Det finnes et hierarki med studietyper, hvor randomiserte studier gir mest validitet, etterfulgt av kohortstudier og case-kontroll-studier.
Rothman skriver:
Randomized trials, though often considered the “gold standard” of study types, are not perfect, even in concept. Furthermore, the premise that the comparative validity of study results can be inferred from the type of study is wrong.
Han påpeker for eksempel at randomiserte studier ikke alltid tar hensyn til om deltakerne etterlever intervensjonen. Hvis de ikke følger rådene de får, vil selvsagt effekten av rådene bli underestimert.
Det er også vanlig å illustrere hierarkiet av studietyper i en pyramide, hvor metaanalyser og kunnskapsoppsummeringer rager øverst, deretter randomiserte kontrollerte studier, kohortstudier (observasjonsstudier) og så videre, for eksempel slik:
Slike hierarkier har alltid vært omdiskutert. I tidsskriftet Evidence-Based Medicine ble det tidligere i år foreslått en ny pyramide som viser at skillelinjene mellom ulike typer evidens er mindre skarpe enn det som ofte blir antatt.
I boken Modern Epidemiology (og i artikkelen «Causation and Causal Inference in Epidemiology«) – skriver Rothman og Greenland mer om misoppfatningen om at randomiserte kontrollerte studier gir urokkelige, absolutte sannheter, mens observasjonsstudier ikke kan brukes som «bevis». De mener at selv de mest nøye kontrollerte, kliniske studier heller aldri kan vise mer enn sammenhenger
… all relations are suggestive … even the most careful and
detailed mechanistic dissection of individual events cannot provide more than associations, albeit at a finer level. Laboratory studies often involve a degree of observer control that cannot be approached in epidemiology; it is only this control, not the level of observation, that can strengthen the inferences from laboratory studies. And again, such control is no guarantee against error.
2. Den andre misforståelsen Rothman tar opp er at det sentrale når man vil generalisere resultater fra en studie er at deltakerne i studien er representative for målgruppen:
This misconception is tied to the view that scientific generalization involves the mechanical extrapolation of results from a sample to its source population. But that describes statistical generalization; scientific generalization is different: it is the process of constructing a correct statement about the way nature works.
Rothman nevner som et eksempel Richard Doll og Austin Bradford Hills banebrytende klassiske kohortstudie av britiske leger og deres røykevaner. De fant en sterk korrelasjon mellom røyking og risiko for å dø av lungekreft og hjertesykdom. Denne populasjonen var ikke representative for den generelle befolkningen, men resultatene kunne likevel generaliseres, skriver Rothman.
De andre misoppfatningene er:
3. Dersom et produkt av to faktorer i en regresjonsmodell ikke er statistiak signifikant, er det ingen biologisk interaksjon mellom de to faktorene.
4. Når en kategoriserer en kontinuerlig variabel er det fornuftig å dele den inn i prosent-definerte grenser, som kvartiler (25 %) eller kvintiler (20 %).
5. Man bør alltid oppgi p-verdier eller konfidensintervall som har vært korrigert for flere tester.
Det er kjent at jo flere statistiske tester man gjør, øker sjansen for å få falsk positive funn. Ved å korrigere for dette reduseres sjansen, men samtidig øker sjansen for å få falsk negative funn – dvs. at man ikke finner en statistisk signifikant sammenheng eller effekt, når det egentlig er en sammenheng. Ifølge Rothman kan det være fornuftig å korrigere for flere statistiske tester dersom man for eksempel skal studere klarsynthet, mens det er vanskeligere å forsvare om man studerer fysiologiske effekter av et legemiddel.
… it is absurd to make adjustments that reduce type I errors at the expense of increasing type II errors without some evaluation of the estimated relative cost and frequency of each type of error.
6. Testing av statistisk signifikans (dvs. p-verdier) er nyttig og viktig for tolkning av data.
Som American Statistical Association tidligere år bemerket i en rapport: p-verdier i seg selv kan ikke si hvorvidt resultatene er viktige. Dette er egentlig elementær kunnskap, men blir svært ofte glemt og misforstått.
Ifølge Rothman har signifikanstesting skapt mer feiltolkning av forskning enn klarheter. En mye mer fruktbar tilnærming er simpelthen å måle effektstørrelser og presisjon. Dersom man kun ser på statistisk signifikans kan imidlertid sterke, men ikke-signifikante effekter, tolkes som «ingen effekt», mens små og ubetydelige forskjeller kan tolkes som viktige bare fordi de er statistisk signifikante:
Significance tests are a poor classification scheme for study results; strong effects may be incorrectly interpreted as null findings because authors fallaciously interpret lack of statistical significance to imply lack of effect, or weak effects may be incorrectly interpreted as important because they are statistically significant.
Les hele artikkelen her: Six Persistent Research Misconceptions!
Sunn Skepsis 