Wankelende wetenschap

Wankelende wetenschap
20 apr
2016

Wetenschap heeft een enorme reputatie in onze samenleving. Het is zo’n beetje het enige instituut dat nog algemeen vertrouwd wordt, ook na de affaires met Diederik Stapel en anderen. Kom daar eens om in de politiek of in de kerk. Des te schokkender is het dat meer en meer naar buiten komt over de onbetrouwbaarheid van veel (waarschijnlijk zelfs het meeste) wetenschappelijk onderzoek.

Het NRC berichtte erover in een speciale bijlage op 9 april.1 Vooral met de replicatie van onderzoek blijkt veel aan de hand. Replicaties worden zelden uitgevoerd en als ze uitgevoerd worden, bevestigen ze meestal niet de resultaten die geclaimd worden. In de krant worden met name sociologie, biomedisch onderzoek, biologie, en psychologie genoemd als ‘boosdoeners’. En het gaat dan niet alleen om artikelen die in obscure journals worden gepubliceerd, maar net zo goed om toppublicaties. Alleen de natuurkunde ontspringt de dans.

Dit probleem is niet alleen opgemerkt in Nederland. In een boeiend artikel in het Amerikaanse tijdschrift First Things, gaat William Wilson uitgebreid in op deze en andere problemen.2 Het wordt tijd, zegt hij, dat we wetenschap gaan zien als een normale menselijke activiteit, waarin in principe net zoveel fouten gemaakt worden als in andere menselijke activiteiten. Het is een verbluffend artikel, waarin Wilson glashelder duidelijk maakt wat er allemaal mis kan gaan in wetenschap – en wat er vaak inderdaad ook misgáát. Iedereen met interesse voor wetenschap zou het moeten lezen. Hier som ik alleen zijn belangrijkste observaties op.

1. Er zijn serieuze statistische problemen bij het meeste onderzoek, waardoor de kans op valse positieven erg groot is. Dit leidt ertoe dat, volgens deskundige John Loannidis, het meeste gepubliceerde wetenschappelijk onderzoek simpelweg niet klopt.
2. Journals hebben een duidelijke voorkeur voor artikelen die positieve resultaten bevatten. Daarom worden negatieve resultaten veel te weinig gepubliceerd, waardoor fouten vaak niet worden opgemerkt en kunnen ‘voortwoekeren’.
3. Vooral bij onderzoek met mensen en dieren is de kans groot dat onderzoekers hun onderzoeksobjecten beïnvloeden met veelal onbewuste en onbedoelde signalen, die ‘verraden’ naar welke uitkomst zij op zoek zijn.
4. Onderzoek van Daniele Fanelli laat zien dat selectie en bijkleuren van resultaten op grote schaal voorkomt. Dit is niet direct fraude, want er worden geen data verzonnen. Maar het leidt wel tot onbetrouwbare uitkomsten.
5. Hetzelfde onderzoek liet zien dat regelrechte fraude (het verzinnen of veranderen van data) meer voorkomt dan wetenschappers vaak willen toegeven: in 10-20% van de gevallen.
6. Hoewel het, zoals gezegd, met de natuurkunde beter is gesteld dan met andere wetenschappen, moeten we niet vergeten dat ook deze wetenschap kwetsbaar is voor de genoemde problemen. Zie bijvoorbeeld het BICPEP2-experiment in Antarctica.
7. Peer review – het belangrijkste instrument van de wetenschap om fouten te corrigeren – blijkt niet goed te werken. Bijvoorbeeld: een artikel voor het toptijdschrift British Medical Journal, dat bewust vol fouten was gestopt, werd door maar liefst 221 reviewers niet herkend als een frauduleus artikel. Gemiddeld haalden zij er nog geen twee van de acht grote fouten uit, terwijl niemand alle fouten vond. Dit gebeurde zelfs toen reviewers vooraf waren gewaarschuwd dat er iets mis was met het artikel. Slechts 30% van de reviewers vond dat het niet geplaatst moest worden.
8. Een ander probleem met peer review is dat het vaak beïnvloed wordt door reputaties en sociale controle, zelfs al gebeurt het anoniem. De status van bepaalde theorieën of vakgebieden is vaak zo groot dat een onderzoeker zich erg impopulair maakt door het aan te vallen. Zulke artikelen worden dan ook veel vaker afgewezen dan artikelen die de status quo bevestigen. En de resultaten zijn ernaar: in een replicatieonderzoek bleek dat slechts 11% van de toegelaten artikelen over kankeronderzoek nadien gevalideerd konden worden.
9. De ‘hagiografische’ benadering van de wetenschap door journalisten en wetenschapspopulariseerders ten spijt, blijkt soms dat oudere theorieën beter waren dan nieuwere, en dat er dus niet altijd sprake is van vooruitgang. De status van theorieën heeft veel te maken met de status van degenen die erachter staan, en met mode.

Met de zogeheten ‘foutenfilters’ van de wetenschap is het dus niet overdreven goed gesteld. En let wel: het gaat hier over tamelijk ‘harde’ wetenschappen. Wilson zoekt een verklaring in de populariteit van wetenschap: naarmate een discipline meer aanzien geniet, trekt deze ook meer profiteurs en fraudeurs aan. Wetenschap biedt de kans op roem, geld en status. Het zou daarom verstandig zijn om wat nuchterder over wetenschap te spreken. En het is zeker geen goed idee om er een hele levensbeschouwing op te bouwen, zoals naturalisten doen. Juist die verering van wetenschap als het antwoord op alle vragen en het fundament van al onze filosofie, is een bedreiging voor het gewone wetenschappelijke handwerk. Wilson eindigt met deze opmerking, die me het citeren waard lijkt:

‘Wanneer culturele trends proberen van wetenschap een soort religieloos priesterschap te maken, dreigen wetenschappers te vergeten dat zij uit hetzelfde kromme hout gesneden zijn als de rest van de mensheid, en dit zal onvermijdelijk hun werk in gevaar brengen. De grootste vrienden van de Cultus der Wetenschap zijn de ergste vijanden van het wetenschappelijke ambacht.’

 

Noten:

1. Zie www.nrc.nl en voer ‘replicatie’ in bij het zoekvenster.

2. William Wilson, ‘Scientific Regress’, First Things, May 2016. Online: http://www.firstthings.com/article/2016/05/scientific-regress

Reacties mogelijk gemaakt door CComment

Uitgebreid zoeken

Categorie
Tag
Auteur
Tekst

Laatste reacties

  • de kosmos lijkt me zodanig dynamisch en variabel met zodanig veel invloeden dat het amper mogelijk is om hier ideale volmaakte vormen te... 21-03-2019 23:36
  • Dag Ronald,

    er zullen van alle soorten gelovigen rondlopen dan, sommigen eerder rationeel, anderen eerder gevoelig.
    Ik moet zeggen, voor... 21-03-2019 23:15
  • Benedict Broere zei Naar deze reactie >>>
    Lieven 21-03-2019 19:30   >>> Max Planck said in 1944, "As a man who has devoted his whole life to the most clear headed science, to the... 21-03-2019 20:21
  • Ronald V. zei Naar deze reactie >>>
    En zo ben je bij Plato aanbeland, de leer van de "volmaakte" vormen en de afkeer van het complexe en van het vele. Maar al met al is het... 21-03-2019 20:00
  • Ronald V. zei Naar deze reactie >>>
    Beste Lieven 

    Mensen worden wel verleid door de prachtige formules van Einstein om de relativiteitstheorie te aanvaarden. Maar ik ken geen... 21-03-2019 19:35
  • Jazeker valt een ellips heel wiskundig te beschrijven. Ik gaf ooit praktische beschrijvende meetkunde, meetkundig tekenen,... 21-03-2019 19:34