Vanwege de opgelegde radiostilte kon dit bericht niet op Radboudnet geplaatst worden. Dit bericht is daarom exclusief te lezen op RUNieuws.nl

Op uitnodiging van de Vox-redactie bogen verschillende wetenschappers en studenten zich over de vleesaffaire. Na de fraude van de Tilburgse hoogleraar Diederik Stapel, raakte ook het onderzoek van de Nijmeegse Roos Vonk in opspraak. De bijdrage van Jules Ellis was te lang om mee te nemen in de donderdag verschenen Vox en wordt hieronder apart gepubliceerd. Voor de overige bijdragen in Vox klik hier.

Jules Ellis is als docent verbonden aan het Onderwijsinstituut Psychologie en Kunstmatige intelligentie en verzorgt binnen de psychologie-opleiding het vak statistiek.

Moeten wetenschappers elkaar beter controleren? Ja, en ik wil ook geen belasting meer betalen. Mijn punt is dat er aan zo’n controle wel een prijskaartje hangt. Want hoe zien we die betere controle dan voor ons? Moet er bij elk onderzoek iemand achter je gaan staan? De gedachte dat peer review fraude aan het licht zal brengen, mag wat mij betreft worden geschaard in de categorie magisch denken. Er zijn genoeg voorbeelden van frauduleuze onderzoeken die daar doorheen gekomen zijn. Daarmee wil ik niet zeggen dat peer review moet worden overgeslagen, maar als middel tegen fraude zal het weinig helpen. En, om het dogma van peer review nog wat verder te relativeren, sommige van de belangrijkste ontdekkingen in de twintigste eeuw zijn gepubliceerd op basis van een editorial decision zonder peer review. Daaronder de speciale relativiteitstheorie van Einstein in 1905, en de ontdekking van de structuur van DNA door Watson en Crick in 1953¹. Maddox, voormalig editor van Nature, commentarieerde later²: “the Crick and Watson paper could not have been refereed: its correctness is self-evident.”

Herhaling

Een belangrijk principe in empirische wetenschappen is dat essentiële resultaten moeten worden gerepliceerd door concurrerende onderzoeksgroepen. Bijvoorbeeld, na de claim op koude kernfusie probeerden andere onderzoeksgroepen dit direct te herhalen, en dat lukte niet, waarmee de claim onderuit ging. Het tweelingenonderzoek van Burt over de erfelijkheid van intelligentie, waarbij fraude werd vermoed, is door diverse anderen herhaald – met overigens dezelfde resultaten.

Het gaat me echter te ver om te stellen dat elk onderzoekje gelijk moet worden gerepliceerd. Dat zou op zijn minst een verdubbeling van de kosten van onderzoek met zich meebrengen. Dus ofwel het totale wetenschapsbudget verdubbelt, ofwel de wetenschappelijke output halveert, of iets daartussen in. Een verdubbeling van het budget kan men wel vergeten. Maar een halvering van de output zie ik ook niet snel gebeuren, want geen enkel instituut heeft daar belang bij.
Ik neem althans aan dat een onderzoeker die de helft van het budget wil besteden aan het herhalen van oud onderzoek nou niet direct de grootste kanshebber is voor een Veni-beurs. Daarmee zeg ik nog niet dat het goed is; alles gaan repliceren lijkt me alleen geen waarschijnlijke uitkomst.

Alleen wiskunde

Voor wiskunde ligt het anders: iedereen die er verstand van heeft kan controleren of een wiskundig bewijs klopt. Als de eis is dat we absolute zekerheid willen, dan is de consequentie dat we ons alleen nog maar met wiskunde mogen bezig houden. En ik neem aan dat een wetenschapsfilosoof zelfs daar nog aan twijfelt.
Bij empirische wetenschappen daarentegen, is er altijd tot op zekere hoogte een uitwisseling van zekerheid voor relevantie. Dat daar wel eens een foute conclusie wordt getrokken, is onvermijdelijk, al was het alleen maar doordat elke statistische toets sowieso een foutkans heeft, zelfs als je alles goed doet.
En vaak is dat slechts het kleinste probleem. In de sociale wetenschappen hebben veel tijdschriften een hoog percentage afwijzingen, en een favoriete kritiek van reviewers is dat het manuscript ‘methodologische gebreken’ heeft. Tegelijkertijd is algemeen bekend dat bijna elk manuscript uiteindelijk wel ergens kan worden gepubliceerd. Kies zelf uw conclusie.

De waarheid

Op de balans tussen zekerheid en relevantie wordt druk uitgeoefend door de maatschappij, die waar voor haar geld wil. Al tientallen jaren wordt geroepen dat wetenschappers uit hun ivoren toren moeten komen en dingen moeten zeggen die maatschappelijk relevant zijn.
Maar naarmate maatschappelijke relevantie belangrijker wordt, wordt er iets anders relatief minder belangrijk. En dat andere kan in wetenschap alleen maar de waarheid zijn. De waarheid wordt dan relatief minder belangrijk. Het is goed om te bediscussiëren waar de juiste balans ligt, maar die juiste balans wordt in mijn ogen niet bereikt door uitsluitend te focussen op zekerheid.

Foute conclusies

Het incidenteel verspreiden van foute conclusies is dan ook geen exclusief probleem van de sociale psychologie. Het gebeurt ook bij andere wetenschappen. Hoe vaak hebben we niet gehoord – onder andere uit Wageningen³ – dat het eten van groenten en fruit preventief werkt tegen het ontstaan van kanker?
Maar als ik het goed heb zijn de laatste inzichten, dat daar heel wat op valt af te dingen, onder andere dat het effect op zijn best bescheiden is en alleen bij vrouwen geldt⁴. Dat heet dan voortschrijdend inzicht, en van fraude is hier voorzover ik weet geen sprake, maar mannelijke barbecue-liefhebbers zouden zich evengoed bedrogen kunnen voelen. Kennelijk kan de wetenschap langdurig conclusies produceren die een paar jaar later minder waar zijn.

De beste waarborg tegen foute feitelijke claims, of die nou voortkomen uit fraude of iets anders, is replicatie. Replicatie is pas mogelijk als er is gepubliceerd. Maar zodra er is gepubliceerd, kunnen journalisten het ook lezen, en het is begrijpelijk dat die met de verdere verspreiding van het nieuws geen 10 jaar gaan wachten tot de repliceerbaarheid is gebleken.
De eis van repliceerbaarheid zal daarom niet voorkomen dat er met enige regelmaat foute conclusies in de maatschappij belanden.

Nuances genegeerd

Van grotere voorzichtigheid bij het formuleren van conclusies verwacht ik ook weinig heil. Onlangs werd in de Tweede Kamer gedebatteerd over de invloed van werkstraffen op recidive. In de het daar aangehaalde artikel⁵ stellen de auteurs dat zij niet met zekerheid kunnen concluderen dat werkstraf de recidivekans vermindert, omdat het onderzoek geen experiment met random toewijzing was. En twee alinea’s later trekken zij die conclusie alsnog toch.
Wat er vervolgens in het Kamerdebat gebeurde, zal weinig verbazing wekken: De PVV redeneerde overeenkomstig de ene alinea⁶ en GroenLinks overeenkomstig de andere alinea. Meer in het algemeen denk ik dat consumenten van wetenschappelijke informatie geneigd zijn er uit te pikken wat ze willen geloven, en de nuanceringen sowieso negeren.

Geen kleuters

Een probleem van foute conclusies die in de maatschappij belanden is dat dit kan worden gebruikt als excuus om alle conclusies van wetenschappelijk onderzoek te negeren. Dit is zwart-wit denken, en dat wordt alleen maar versterkt door publiekelijk te pretenderen dat wetenschap nagenoeg onfeilbaar is. De oplossing hiervan is volgens mij niet gelegen in een verandering van het wetenschappelijk proces, maar in het opvoeden van de consument: Een zeker wantrouwen kan geen kwaad, maar negeren gaat te ver⁷.
Ik heb de indruk dat sommige journalisten er vanuit gaan dat hun lezers en luisteraars allemaal kleuters zijn. Maar van de 30-34 jarigen in Nederland is inmiddels meer dan 40 procent hoger opgeleid. Zij zouden in staat moeten zijn om een diepere bespreking, inclusief methodologische slagen om de arm, te begrijpen. Een voorbeeld daarvan is de rubriek Twijfel van Hans van Maanen in de Volkskrant.

Overigens, de bewering dat professor Stapel heeft gefraudeerd, is vooralsnog geen wetenschappelijk gefundeerde conclusie. Dat de affaire een sociaal-psychologisch experiment is waarin wij zelf de proefpersonen zijn, lijkt me inmiddels onwaarschijnlijk; maar vooralsnog is het enige wat ik zelf heb waargenomen een verslag van een bekentenis, en een bekentenis is geen bewijs. Of verlang ik nu te veel zekerheid?

Jules Ellis is als docent verbonden aan het Onderwijsinstituut Psychologie en Kunstmatige intelligentie en verzorgt binnen de psychologie-opleiding het vak statistiek.

1. Jens Brümmer, “How Genius can Smooth the Road to Publication,” Nature 426 (2003): 119.
2. John Maddox, “Reply to How Genius can Smooth the Road to Publication,” Nature 426 (2003): 119.
3. Pieter van ‘t Veer, Margje CJF Jansen, Mariska Klerk and Frans J Kok, “Fruits and Vegetables in the Prevention of Cancer and Cardiovascular Disease,” Public Health Nutrition 3 (2000): 103-107.
4. Paolo Boffetta et al., “Fruit and Vegetable Intake and Overall Cancer Risk in the European Prospective Investigation Into Cancer and Nutrition (EPIC),” Journal of the National Cancer Institute 102 (2010): 529-537.
5. Hilde Wermink, Arjan Blokland, Paul Nieuwbeerta en Nikolaj Tollenaar, “Recidive na Werkstraffen en na Gevangenisstraffen,” Tijdschrift voor Criminologie 3 (2009): 224-225.
6. Dat dit de strekking was, concludeer ik mede uit het antwoord dat ik kreeg van het betreffende Kamerlid, mr. Helder, op mijn vraag per e-mail wat zij precies bedoelde met haar geruchtmakende betoog in de Kamer.
7. Dit laat onverlet dat een te hoog percentage onjuiste conclusies ook inefficiënt is en de ontwikkeling van een wetenschap schaadt, ongeacht wat de consument daarvan denkt. Genuanceerde communicatie is geen vrijbrief om maar wat aan te rommelen.

Disclaimer: Deze tekst reflecteert slechts het begin van de vorming van een persoonlijke opinie en is nog niet kritisch tegen het licht gehouden door andere wetenschappers, die die opinie nog kunnen doen veranderen.