De schijn van vooruitgang

De afgelopen jaren is er veel geschreven over de enorme vooruitgang in de neurowetenschappen. Berust deze vooruitgang op gedegen wetenschappelijk onderzoek?

De afgelopen decennia heeft neurowetenschappelijk onderzoek steeds meer grip gekregen op de publieke opinie en maatschappelijke besluitvorming. Is dat terecht? Volgens sommige wetenschappers wordt de impact van neurowetenschappelijk onderzoek deels bepaald door factoren die helemaal niets met de kwaliteit van het onderzoek zelf te maken hebben. Zo stellen McCabe & Castel (2008) bijvoorbeeld dat mensen meer onder de indruk zijn van de wetenschappelijke bewijsvoering van een studie wanneer deze wordt vergezeld van een of meerdere hersenscans (“Seeing is believing: The effect of brain images on judgments of scientific reasoning”). Wat maakt nu precies dat een hersenscan zoveel overtuigingskracht heeft?

Een hersenscan is geen foto

Veel mensen lijken er van uit te gaan dat een hersenscan vergelijkbaar is met een foto, in die zin dat het een directe representatie is van de werkelijkheid. Net zoals een foto van een boom een afbeelding is van een echte boom, is een hersenscan een afbeelding van wat er ‘echt’ gebeurt in de hersenen. Deze vergelijking gaat echter mank. Een belangrijk verschil tussen een foto en een hersenscan is namelijk dat er een veel bredere kloof bestaat tussen een hersenscan en dat wat het moet aantonen. Er zijn een groot aantal interpretatiemomenten en methodologische stappen nodig om op basis van een hersenscan tot een bepaalde conclusie te komen. Van een foto kun je zeggen dat deze niet overeenkomt met de werkelijkheid, en dus mislukt is. Bij een hersenscan ligt dat een stuk ingewikkelder. In dat geval kun je niet afgaan op wat je ziet met het blote oog, maar moet je vertrouwen op bepaalde theorieën over hoe het brein werkt en wat de activatie van een bepaald hersengebied precies betekent.

Dode zalm

Dit wil uiteraard niet zeggen dat we helemaal geen hulpmiddelen hebben om de uitkomsten van neurowetenschappelijk onderzoek te controleren en dus volledig in het duister tasten. Wanneer er hersenactiviteit wordt gemeten bij een dode Atlantische zalm die ‘meedoet’ aan een fMRI experiment waarbij het emotionele perspectief van een andere persoon dient te worden ingenomen, snappen de meeste mensen gelukkig dat er iets ernstig mis moet zijn met de data analyse (zie deze PDF voor dit hilarische experiment).

Het power-probleem

Een belangrijke maatstaf voor de kwaliteit van neurowetenschappelijk onderzoek schuilt in de statistische onderbouwing. Helaas laten veel studies juist op dit vlak nogal wat steken vallen. Onderzoek wijst bijvoorbeeld uit dat de meeste neurowetenschappelijk studies veel te weinig ‘power’ hebben. De power van een studie is het vermogen om een bepaald effect te ontdekken, bijvoorbeeld dat roken een verhoogd risico geeft op kanker. Volgens een recent artikel in Nature Reviews Neuroscience (Button et al. 2013 “Power failure: why small sample size undermines the reliability of neuroscience”) had de doorsnee neurowetenschappelijke studie in 2013 een power van 18 procent. Dat betekent dat we kunnen verwachten dat er van de 100 studies 18 zullen zijn die het effect ook daadwerkelijk zullen ontdekken. De auteurs komen mede op basis van deze cijfers tot de conclusie dat de kans groot is dat veel studies waarschijnlijk melding maken van een effect dat helemaal niet bestaat.

Statistisch gezien kan het power probleem vrij gemakkelijk worden opgelost, bijvoorbeeld door de onderzoekspopulatie te vergroten. Het wordt echter in stand gehouden en versterkt door allerlei vormen van vooringenomenheid (‘bias’) die veel moeilijker zijn aan te pakken: toegenomen publicatiedruk, het niet publiceren van negatieve resultaten, selectieve data-analyse, belangenverstrengeling, etc. En dit alles hangt weer samen met de sterk toegenomen prestatiedruk in de academische wereld.

Hoe verder?

De hierboven genoemde problematiek leidt tot een enorme verspilling van tijd en geld. Niet alleen in de neurowetenschappen, maar ook in de biomedische wetenschap meer in het algemeen. Bovendien roept het allerlei ethische vragen op, bijvoorbeeld over het gebruik van proefdieren in wetenschappelijk studies. Doordat deze studies vaak een te lage power hebben en de kans dat ze een daadwerkelijk effect aantonen minimaal is, worden veel proefdieren voor niets opgeofferd.

De laatste decennia is er veel geschreven over de enorme vooruitgang in de neurowetenschappen. Het wordt hoog tijd om eens grondig uit te zoeken in hoeverre deze vooruitgang nu op gedegen wetenschappelijk onderzoek berust. Niet voor niet luidt het eerste principe van de Nederlandse Gedragscode Wetenschapsbeoefening: “Wetenschappelijke activiteiten geschieden met zorgvuldigheid. Toenemende prestatiedruk mag daaraan geen afbreuk doen.”

Dit opiniestuk verscheen eerder in de Volkskrant.
Beeld: Simon Fraser University/Flickr