De cruciale kwaliteitskeuring in de wetenschap hapert - interview met Ludo Waltman in de volkskrant

Zo kan de 'peer review' radicaal anders

Gemaakt én gecontroleerd door wetenschappers, dat is het kwaliteitsstempel waarmee wetenschappelijke kennis steevast ter wereld komt. Maar achter de schermen rommelt het: zo betrouwbaar is dat stempel allang niet meer. Een internationale groep academici – deels onder Nederlandse vlag – wil het helemaal anders doen

Door Maarten Keulemans

Illustraties Fien Jorissen

de Volkskrant

Elke dag krijgt hij er weer een paar, vertelt hoogleraar wetenschapsonderzoek @ludowaltman (Universiteit Leiden). Verzoeken om op te treden als ‘peerreviewer’, kundig beoordelaar van onderzoeksartikelen of subsidieaanvragen van collega’s in zijn veld.

Ludo Waltman

Stuk voor stuk superbelangrijk voor de wetenschappers die op die artikelen of aanvragen hebben zitten zweten. Maar op alle verzoeken ingaan kan natuurlijk niet. ‘Dan zou ik geen tijd meer over hebben voor mijn gewone werk’, vertelt Waltman, een licht pratende veertiger met kort zwart haar en een opvallend jeugdig voorkomen. ‘Als je zo’n beoordeling fatsoenlijk wilt doen, kost het je al snel vier of vijf uur.’

Want peerreview – letterlijk: ‘beoordeling door gelijken’ – is liefdewerk oud papier. Een klusje dat wetenschappers erbij doen buiten werktijd. Terwijl het toch de ‘hoeksteen’ is van de wetenschap, schrijft Waltman, samen met vier collega’s van het internationale Research on Research Institute, in een rapport dat afgelopen zomer verscheen.

Het moet helemaal anders, vindt de club van vijf. De geloofwaardigheid van de wetenschap staat op het spel.

Voor dit artikel experimenteerden ook wij met het nieuwe publiceren. We legden het interview met Ludo Waltman voor aan vijf meelezers, van binnen en buiten de universitaire wereld. Hun reacties vindt u, uitklapbaar, in de kantlijn [op RRview onder de links, red.]. De beoordelaars zijn:

Rink Hoekstra metascientist, RUG

Joeri Tijdink metascientist, Amsterdam UMC

Anna Akhmanova celbioloog en editor, Universiteit Utrecht

Carlijn Hooijmans metascientist, Radboud UMC

Marc Bonten epidemioloog, UMC Utrecht

Anton Theunissen publicist en systeemcriticus van buiten wetenschap, Virusvaria.nl

Wat raadt u burgers aan die stuiten op: het ene onderzoek zegt zus, het andere zo? Zoals je vaak ziet rond politiek gevoelige thema’s, zoals klimaat, vaccinatie, windmolens of stikstof?

‘Dat is dus heel lastig. Ik denk dat we daar echt een probleem hebben. Het traditionele antwoord is: kijk of een onderzoek peerreview heeft ondergaan, en of het in een erkend vaktijdschrift staat dat aan goede peerreview doet. Maar in ons rapport stellen we ter discussie of peerreview echt nog wel zo’n betrouwbare maat is van kwaliteit.’

Want?

‘We hebben dus dat capaciteitsprobleem, dat is evident. Het wordt steeds moeilijker om reviewers te vinden, zeker als je wilt dat ze de juiste kennis hebben. Onderzoekers die senioriteit hebben, moeten op haast alles nee zeggen. Dus komt het terecht bij minder ervaren onderzoekers, of zelfs studenten.’

‘Een ander probleem is dat het systeem een black box is, omdat de reviewrapporten doorgaans niet worden gepubliceerd. Zodoende heb je als buitenstaander geen idee in hoeverre er nou echt kwaliteitscontrole heeft plaatsgevonden. Je moet zo’n vaktijdschrift maar op zijn woord geloven: we hebben het echt heel grondig laten nakijken.

‘En er is kritiek die te maken heeft met diversiteit. Voor peerreview maken we vooral gebruik van academici. Terwijl je je kunt afvragen: als een onderzoek moet helpen een bepaald maatschappelijk probleem op te lossen, moet je er dan ook niet mensen uit de praktijk bij betrekken? Of, als het gaat om medisch onderzoek: moeten patiënten niet ook een stem hebben?’

Er staat wat op het spel. Als wetenschap het fundament is onder de samenleving, dan is het een fundament dat steeds meer barstjes vertoont. Vooral sinds de opkomst van AI wordt de wetenschap overspoeld door een vloedgolf aan publicaties. Van vakartikelen, subsidieaanvragen en preprints, doorgaans te goeder trouw, maar soms ook met niet-bestaande referenties, met AI geknutselde alinea’s en kwestieuze plaatjes.

Zo ontdekten fraudejagers aan het Radboud UMC dat in gespecialiseerde hoekjes vakliteratuur tot bijna de helft van de publicaties aanwijzingen bevat van fraude, zoals gesjoemel met plaatjes. Haast alles was langs de peer review gekomen, sommige artikelen waren zelfs bij prominente uitgevers beland.

Zie daar dan nog maar eens wijs uit te worden, als patiënt, ambtenaar, raadslid, student of gewoon als geïnteresseerde leek die wil weten wat de wetenschap zegt over, pak ‘m beet, het effect van smartphones op kinderen, het verband tussen parkinson en landbouwgif, of het voordeel van de thuisspelende ploeg bij voetbal.

Welke wetenschap kun je nog vertrouwen? En waaraan kun je dat zien?

In uw rapport komt u met een aantal voorstellen. Zoals ‘trust markers’ bij onderzoeken, betrouwbaarheidsvinkjes. Legt u eens uit?

‘Als je ziet wat onderzoekers allemaal publiceren aan artikelen, boeken, software, datasets en noem maar op, dan zijn er veel meer kwaliteitscontroles dan peerreview alleen. Een klassiek voorbeeld is plagiaatcontrole. Maar je kunt ook nagaan: is dit onderzoek voldoende transparant? Zijn de data openbaar? Trust markers zijn een manier om dat systematisch bij te houden. Zodat je, als een onderzoek klaar is, kunt zien welke controles er zijn gedaan.’

Als een soort apk-keuring voor wetenschappelijke artikelen, dus eigenlijk.

‘Inderdaad. Die controle garandeert dus niet of een artikel foutloos is. Maar het maakt wel zichtbaar: we hebben geen bewijs gevonden dat dit artikel met AI is geproduceerd of fraude bevat, dit lijkt een legitieme poging tot goed onderzoek.

‘En je kunt meer vinkjes bedenken. Neem statistiek. Veel onderzoek leunt op statistische methoden. Het mooie is dat er steeds meer algoritmen zijn die nagaan in hoeverre de statistiek correct is uitgevoerd.

‘Uitgevers en onderzoeksfinanciers zijn daar nu over aan het nadenken: hoe gaan we zo’n systeem opzetten? Ik verwacht dat we hier de komende tijd voortgang in gaan zien. Uitgevers willen ook gewoon erkenning. Ze steken geld in allerlei controles, dus willen ze ook dat dit op een of andere manier zichtbaar is.’

Een andere suggestie: maak meer gebruik van peer engagement, betrokkenheid van collega’s.

‘Dat borduurt voort op het gegeven dat onderzoekers het hartstikke leuk vinden om met elkaar het debat aan te gaan. Ze reizen de hele wereld over om elkaar te ontmoeten, elkaar vragen te stellen, in zaaltjes met elkaar te discussiëren. En veel onderzoekers produceren blogposts of commentaren op sociale media waarin ze zeggen: ik heb dit artikel gelezen, het is interessant, maar over dit punt heb ik mijn bedenkingen.

Het mooie is dat het voortkomt uit intrinsieke motivatie, van onderzoekers die echt gepassioneerd zijn over hun vakgebied. Dat is eigenlijk het omgekeerde van peerreview, dat toch voelt als een soort corvee. Laten we dus veel meer gebruik maken van die peer engagement, waar echt de passie van de onderzoekers zit.’

Hoe dan?

‘De engagement is erg gefragmenteerd: verspreid over blogs, sociale media, conferenties, tijdschriften. Dat is natuurlijk superzonde. Dus laten we eerst eens kijken of we met technologische oplossingen informatie die op allerlei plekken aanwezig is op de een of andere manier bij elkaar kunnen brengen. Misschien kunnen we zo een systeem optuigen waar je als consument kunt zien: hier is een onderzoek, ik ben er zelf geen expert in, maar kijk eens, dat blog heeft er iets over geschreven, en er was discussie over op sociale media. Die kant moeten we op, denk ik.’

‘En, een oproep aan de onderzoeksfinanciers, laten we onderzoekers meer waarderen voor alle bijdragen die ze leveren aan het wetenschappelijk debat, ook bijvoorbeeld op sociale media en in blogs, in plaats van alleen hun vakartikelen. Zo wordt engagement veel aantrekkelijker.’

Gebeurt dit al ergens?

‘Een initiatief dat ik zie als een stap in deze richting is het zogeheten ‘publish, review, curate’-model, dat gaandeweg steeds populairder wordt. Daarbij worden artikelen online gezet en wordt de wetenschapsgemeenschap uitgenodigd om te zeggen wat ze van die artikelen vinden. Openlijk, dus niet zoals traditionele peer review achter gesloten deuren.’

Lastig lijkt me wel dat ook onder experts de meningen vaak verdeeld zijn. Zit je als gebruiker nog: hoogleraar A zegt het een, hoogleraar B het ander, wat moet ik hier nou mee?

‘Klopt. In veel gevallen is het natuurlijk prima om zichtbaar te maken dat er wetenschappelijke discussie is. Maar we moeten ook denken aan de behoeften van de gebruikers van wetenschappelijke kennis. Mensen die niet per se zelf in staat zijn om wetenschap op waarde te schatten, maar er wel wat mee moeten, zoals beleidsmakers of artsen. Die moeten gewoon de best mogelijke evidence krijgen die er is.

‘Nu zie je dat mensen soms gaan grasduinen door de literatuur. Daar kun je altijd wel iets vinden dat aansluit bij wat je toch al ergens in je hoofd had. En wie het er niet mee eens is, kan altijd wel iets vinden dat ertegenin gaat. Niet handig.

‘Daarom zeggen we: we moeten ook investeren in hoogwaardige synthese, van alles wat de literatuur te bieden heeft. Want het antwoord op de vragen die de gemiddelde beleidsmaker of arts heeft, zit niet in één artikel; het komt uit de hele vakliteratuur, het grotere beeld dat uit de literatuur naar voren komt.’

Een beetje naar voorbeeld van de stand-van-zakenrapporten van het klimaatpanel van de VN, het IPCC?

‘Ja, dat is een goed voorbeeld. Wij vinden dat onderzoeksfinanciers hierop moeten inspelen. Want even een synthese opstellen kun je niet in je vrije tijd doen naast je gewone werk. Het is echt iets waar we tijd en geld in moeten steken.’

Hoe gaat het nu verder?

‘Je kunt niet zeggen: we stoppen morgen met zijn allen met het huidige systeem en schakelen over naar iets anders. Dit moet stap voor stap. En ik denk dat ‘publish, review, curate’ de eerste stap gaat worden: artikelen worden snel online gezet en dan op een open manier beoordeeld.

‘Ook onderzoeksfinancier NWO (verdeler van het meeste overheidsgeld voor wetenschap, red.) investeert hier al in, via het Europese publicatieplatform Open Research Europe. Binnenkort kan iedere onderzoeker verbonden aan een Nederlandse kennisinstelling zijn artikelen daar publiceren. Andere landen doen hetzelfde. We gaan echt een volgende fase in van het denken over wetenschappelijk publiceren.’

Al jaren wordt er geroepen dat het zo niet langer kan en dat het roer om moet. Wat geeft u het vertrouwen dat het ditmaal ook echt gebeurt?

‘Als je hier aan de universiteit een willekeurig kamertje binnenloopt en je vraagt aan de onderzoeker die er zit wat die vindt van het publicatiesysteem, krijg je een tirade: het is toch een schande, het duurt allemaal zo lang, de peerreview is niet eerlijk en weet je wel hoeveel geld we eraan kwijt zijn?

‘Je kunt er eindeloos over klagen. De grote vraag is nu: in hoeverre zijn onderzoekers bereid om al die klachten die ze hebben ook echt te vertalen naar een andere manier van werken?’

Beoordeel je beursaanvraag

Tot wel een kwart van hun tijd besteden wetenschappers aan het schrijven van onderzoeksvoorstellen, bleek al eens uit een peiling door de Volkskrant. De laatste jaren experimenteren financiers met een aantal trucs om de beoordeling van al die voorstellen eerlijker te maken:

Loot erom

Na een voorselectie blijft er altijd een middenmoot over van onderzoeksvoorstellen die ‘gewoon’ goed zijn. Daartussen kiezen is toch een beetje willekeur. Dus loot erom. Bijvoorbeeld zoals men in het UMC Utrecht al deed: door trekking uit een vaas met lootjes.

Deel de last

Onder meer Volkswagen experimenteert ermee, bij de verdeling van onderzoeksbeurzen die het bedrijf via een stichting toekent. Beurs aanvragen? Prima, maar dan moet je zelf meehelpen als reviewer, om de andere aanvragen te beoordelen.

Laat de instellingen aan zet

Het voorstel van Waltmans groep: haal de dans rond de onderzoeksaanvragen weg bij de onderzoekers en laat het meer over aan de instellingen. Zo houden onderzoekers meer tijd over voor onderwijs en onderzoek.