De fleste forskningsfunn er feil
Mesteparten av forskningen som gjøres, viser ikke stort. Kanskje er mindre enn ti prosent verdt å ta vare på.
Hvor ble det av genterapien? Temaet var stort rundt årtusenskiftet, med positiv og lovende forskning på alle kanter. Senere har det blitt veldig stille.
Det er ikke lenge siden egg var usunt, og margarin sunt. På psykisk helse-feltet er det bare få år siden antidepressiva var regnet som meget effektive. Antipsykotika ble delt i to grupper – nå ser det ut til at de de tilhører samme gruppe.
Verdens største medisinske database heter MEDLINE og inneholder mer enn 18 000 000 studier. Her er det mulig å finne bevis for det meste. Tast inn «asthma» og en eller annen miljøfaktor, og se hva du finner.
Feil design
Fra mange hold kommer oversikter som viser at forskning som en hovedregel, ikke skal leses:
- Ved McMaster-universitetet i Canada sitter en gruppe informasjonsspesialister og leser de 130 mest respekterte tidsskriftene i verden, fortløpende. Bare åtte prosent blir funnet å være sikre nok til å fortjene videre vurdering. Når artiklene i tillegg vurderes for relevans, blir det enda færre igjen.
- Oxford-miljøet rundt kunnskapsbasert praksis har konkludert med at bare fem prosent av alle studier har en holdbar konklusjon. Da har de kun inkludert de studiene som ofte blir sett på som de sikreste – såkalte RCT-studier.
- En mer moderat gjennomgang, kalt «Why most research findings are false», konkluderer med at mellom en femtedel og en fjerdedel av RCT-studiene holder mål.
Bildet bekreftes av de flere tusen oversiktene over forskning på enkeltområder, som ligger i Cochrane-databasen – verdens største nettverk for å finne og kritisk vurdere forskning. Årsakene er mange, men nøkkelen ligger i svakheter ved selve studiene:
- Måten studiene er laget på – designet – er ikke robust. Dermed blir det mange muligheter for feil.
- Studiene inkluderer ikke en kontrollgruppe – ikke noe sikkert å sammenligne med.
- Informasjonen som oppgis i studiene er for knapp, eller deltakerne for få.
Forhåndsvurdert forskning
Som en tommelfingerregel skal en derfor ikke stole på forskning. Det er to alternativer:
- Vurdere kvaliteten på forskningen selv – dette er noe alle kan lære
- Kun lese forskning som er nøye kvalitetsvurdert – forhåndsvurdert forskning
Forhåndvurdert forskning finner du på Helsebiblioteket i UpToDate, BMJ Best Practice, Cochrane-databasen, Clinical Evidence og kilder fra McMaster-universitetet. Se boksene lengre opp på denne siden for å gå inn i disse mer pålitelige ressursene. Den gode nyheten er at det blir mye mindre å lese!
Når forskning generelt fortjener et meget kritisk blikk, har det flere konsekvenser:
- For fagfolk – studier som ikke er kritisk vurdert av en selv eller andre, bør ikke leses
- For befolkningen – virkeligheten er mer ukjent – og åpen – enn forskning av ymse slag, påstår
- For journalister – bare helt få, bestemte studier fortjener omtale
- For forskere – troen på egen forskning, blir fort for stor
Forskere flest er samvittighetsfulle og nøyaktige, og juks forekommer meget sjelden. Men virkeligheten er så mangslungen at det er vanskelig å fravriste den selv foreløpige svar. Vi vet mye mindre enn forskning lett lar oss få inntrykk av.
Litteratur
- Ionnanidis JP. Why most published research findings are false. PLoS Med. 2005 August; 2(8): e124.
- McMaster PLUS
- McKibbon KA, Wilczynski NL, Haynes RB. What do evidence-based secondary journals tell us about the publication of clinically important articles in primary healthcare journals? BMC Medicine 2004, 2:33
- Glasziou P. The EBM journal selection process: how to find the 1 in 400 valid and highly relevant new research articles. Evid Based Med 2006;11:101
- Nettkurs i kunnskapsbasert praksis (kunnskapsbasertpraksis.no)
- Eiring Ø m.fl. Helsetjenesten har en informasjonsutfordring. Dagsavisen 25. november 2008

