Dit artikel is alleen bestemd voor intern gebruik op RRview. We verzoeken je om het niet verder te verspreiden. Het is afkomstig van een kanaal dat met een paywall werkt.
In de Volkskrant van zaterdag 12 augustus verscheen een uitvoerig artikel over de totstandkoming van internationale rankings. In het artikel wordt onder meer verwezen naar het advies dat de expertgroep internationale rankings onlangs heeft uitgebracht.
Hieronder is het gehele artikel raadpleegbaar:
Toptransfers, boekhoudtrucs en spookstudenten: wat universiteiten doen voor een hoge plek op de ranglijst
Het is universiteiten veel waard om hoog te scoren op internationale ranglijsten, zoals de Shanghai-ranking die deze maand weer verschijnt. Zoveel, dat ze er ook weleens wat (al dan niet discutabele) trucs voor uithalen. Eenentwintig pagina’s lang gaat hij tekeer. ‘Dubieus’, schrijft wiskundige Michael Thaddeus over wat zijn werkgever, de universiteit Columbia, allemaal uitspookt om de beste universiteit van de Verenigde Staten te kunnen worden.
In de beleidsstukken van Columbia staan onmogelijk hoge studentenaantallen. En het regent niet-bestaand onderwijsgeld, zo’n 100 duizend dollar per student, meer dan wat topuniversiteiten Princeton, Harvard en Yale bij elkaar uitgeven – onwaarschijnlijk veel dus. Klokkenluider Thaddeus rekent het allemaal door. De onthulling bezorgt Columbia enorm gezichtsverlies: de positie van het instituut keldert op de ranglijst U.S. News van positie 2 naar 18, meldde The New York Times vorig najaar.
De actie van Columbia laat zien hoe graag universiteiten hoog scoren op ranglijsten. Ook instellingen die eerlijk cijfers aanleveren, pronken graag met goede klasseringen. ‘Utrecht opnieuw de beste universiteit van Nederland in Shanghai-ranking’, kopte het huisblad van dat instituut vorig jaar. Wageningen daalde eens op de minder bekende QS-ranking, maar ‘blijft een topuniversiteit’, aldus het persbericht. En: ‘Dertien Nederlandse universiteiten in wereldwijde top 200’, meldde de koepelorganisatie VSNU in 2016 met ‘trots’ over The Times Higher Education-ranking (THE).
‘De prikkel voor universiteiten om goed te scoren is legitiem, maar kan ook leiden tot perverse praktijken’, zegt Jules van Rooij, onderzoeksadviseur aan de Rijksuniversiteit Groningen, lid van de expertgroep die net een rapport publiceerde over het lastige huwelijk tussen universiteiten en ranglijstjes, in opdracht van de Universiteiten van Nederland (UNL).
De race voor een hogere plek leidt soms tot ‘bizarre’ trucs, zoals dus het blufpoker dat de universiteit Columbia jarenlang volhield tot Thaddeus het ontmaskerde. En afgelopen voorjaar onthulde de Volkskrant hoe de King Saud-universiteit in Saoedi-Arabië met succes Nederlandse hoogleraren op papier in dienst neemt, zodat het instituut hoog scoort, met name op de Shanghai-ranking die deze maand weer verschijnt. Hoogleraren kregen zo’n 70 duizend euro om King Saud op hun cv te noemen als belangrijkste werkgever, ook al kwamen ze daar amper. Demissionair minister Dijkgraaf sprak er schande van.
En zo zijn er meer twijfelachtige manieren om beter te scoren op de internationale ranglijsten. Zes trucs op een rij.
1. Doe mee aan het verdienmodel
Dat is wel héél toevallig. Te toevallig. Richard Holmes is na een jarenlange carrière aan universiteiten freelance-ranglijstendetective en hij ziet iets wat verdacht veel weg heeft van vriendjespolitiek. Op grote bijeenkomsten waar nieuwe ranglijsten worden gepresenteerd, ‘komt het gastland op de een of andere manier er telkens weer gunstig uit’, schrijft hij.
Neem de prestigieuze Times Higher Education (THE). Die zet wereldwijd de beste universiteiten op rij, maar doet dat ook per continent. Toen THE in Qatar neerstreek ‘met seminar, diners en marketing’, steeg de universiteit van dat land ineens ten opzichte van het jaar ervoor. Het jaar erop zakte Qatar weer weg ten faveure van een ander gastland. ‘De show verplaatste zich naar Ghana en de universiteit van Ghana klom van de twaalfde naar de zevende plaats’, aldus Holmes.
Zulke sprongen op de ranglijst zijn totaal onrealistisch, zegt Elizabeth Gadd van de Loughborough University in een videogesprek, die soms samenwerkt met Holmes. ‘Grote veranderingen leveren wel mooie verhalen op, elk jaar weer’, zegt ze. ‘Als universiteiten elk jaar op dezelfde plek zouden staan, valt er niets te vertellen en zouden rankings niet interessant zijn. Het is dus in het belang van rankingorganisaties om elk jaar andere resultaten te presenteren.’
Hoe de lijstjes worden gemaakt en berekend is grotendeels geheim, zegt Van Rooij, die terugrekenend probeert te achterhalen wat er jaarlijks verschuift. ‘Ze veranderen meestal iets in de manier waarop ze universiteitsprestaties meten.’
Die onzichtbare veranderingen maken het verdienmodel van de opstellers mogelijk: ze verkopen adviespakketten aan universiteiten om jaarlijks hun onderzoeks- en onderwijskwaliteit te verbeteren.
Dat leidt meestal tot spookverbeteringen op papier, ontdekte Igor Chirikov van de Berkeley-universiteit in Californië. ‘Ik wilde er eerst iets over kwijt op Facebook, maar toen ik verder ging graven, ontdekte ik hoe diep sommige universiteiten zijn verstrengeld met hun beoordelaars.’ Wat volgde, was een complete studie in het vakblad Higher Education.
Voor zijn onderzoek maakte Chirikov gebruik van een buitenkansje: Russische universiteiten moesten een tijdlang verplicht al hun contracten met bedrijven openbaar maken. Chirikov stuitte op een patroon: sloten universiteiten een adviescontract met ranglijstorganisatie QS, dan stegen ze in de jaren erna direct op de lijst. Dat kwam, laat Chirikovs analyse zien, vooral doordat de Russische universiteiten gunstigere gegevens aanleverden aan QS, zoals hoeveel onderzoekspersoneel er op de universiteit zou rondlopen in verhouding tot het aantal studenten.
De meeste Nederlandse universiteiten zeggen desgevraagd nauwelijks diensten af te nemen. De universiteiten in Nijmegen, Groningen, Eindhoven, Enschede, Maastricht en Tilburg deden dat ooit wel, bijvoorbeeld ‘om de zichtbaarheid te vergroten’, maar stopten ermee. De reden om te stoppen is voor bijna elke universiteit hetzelfde: de kosten van zo’n 10- tot 20 duizend euro per jaar leverden niet de beloofde inzichten in reputatie- of ranglijstscores. ‘Ranglijsten doen vaak geen recht aan de breedte van het werk dat op universiteiten gebeurt’, aldus een woordvoerder van de Tilburgse universiteit.
2. Haal supersterren in huis
Elk voetbalseizoen eindigt hetzelfde: met de transfermarkt. Rijke clubs willen de grootste spelers binnenhalen. Dan staan ze sterk, op zijn minst op papier. Zo is het ook met universiteiten, merkt Lex Bouter op, emeritus hoogleraar methodologie en integriteit van de Vrije Universiteit Amsterdam. ‘Dat is in Engeland begonnen. Vlak voor een grote financieringsbeoordeling van universiteiten verhuisden soms hele teams van de ene instelling naar de andere.’
Vooral universiteiten die al ‘bizar rijk’ zijn maken hier gebruik van om hoger in de ranglijsten te komen, net als grote voetbalclubs. ‘Harvard, Stanford en Princeton hebben dat geld. Die zeggen tegen goed presterende onderzoekers: als je bij ons komt werken, sturen we morgen een architect en dan gaat die met jou het laboratorium ontwerpen. En geef ons een lijstje met wie we op de loonlijst moeten zetten.’
Een Nobelprijswinnaar in huis hebben weegt bijvoorbeeld zwaar in de Shanghai-ranking. Toen Ben Feringa in 2016 de Nobelprijs voor Scheikunde won, klom zijn Groningse universiteit het jaar daarop dertien plekken op die lijst.
Toch is dat gek, voegt Bouter meteen toe, want één Nobelprijswinnaar zegt weinig over de verdere onderwijs- en onderzoekskwaliteit van de hele universiteit. ‘Veel Nobelprijswinnaars zitten bovendien aan het eind van hun carrière en voltooiden hun prijswinnende onderzoek lang geleden.’
De ranglijsten belonen ook wetenschappers die veelgelezen onderzoek publiceren. Zo klom de Bielefeld-universiteit in Duitsland een duizelingwekkende 84 plekken op de THE-lijst, waarna de rector iedereen feliciteerde ‘die had bijgedragen aan dit geweldige resultaat’. Maar Bielefeld-werknemer Jelena Brankovic ontdekte dat het maar door één wetenschapper kwam: zijn naam stond dat jaar toevallig in een veelgeciteerde studie in medisch vakblad The Lancet.
3. Klop je invloed op
Een artikel gepubliceerd in een wetenschappelijk vakblad? Alstublieft, een paar duizend euro. Op naar de volgende publicatie. Publicaties in wetenschappelijke bladen tellen mee voor de positie van de universiteit op de ranglijsten. In Zuid-Afrika krijgen onderzoekers van de overheid per gepubliceerd artikel zelfs extra subsidie om de invloed van de universiteit op ranglijsten te vergroten, beweerde Lyn Horn van de universiteit van Kaapstad op een wereldconferentie voor integere wetenschap.
In feite probeert Zuid-Afrika zo de invloed van publicatie’s te manipuleren. En het valt op: wetenschappers blazen hun publicatiescores op, zegt Bouter. Het aantal publicaties vanuit Zuid-Afrika groeide exponentieel. Veel onderzoekers plagiëren hun eigen en andermans teksten, blijkt uit analyses, een praktijk die volgens de integriteitsonderzoeker veel voorkomt sinds universiteiten en medewerkers per publicatie een geldbonus krijgen. Bouter: ‘Je ziet ook dat de stukjes steeds korter worden, want als je van één artikel twee kunt maken, telt het voor twee. Dat tikt lekker aan.’
Ook verschijnen in Zuid-Afrika spooknamen boven artikelen, van onderzoekers die helemaal niet aan de studie meewerkten, maar wel hun naam eraan leenden. Dat is een list die ook Saoedische universiteiten graag toepassen. Ze vragen hun personeel om zich als schrijver of medewerker op te geven bij wetenschappelijke publicaties waar ze in werkelijkheid niets aan bijdroegen, aldus een Saoedische klokkenluider in in El País.
In China bestaat zelfs een ‘zwarte markt’ om publicatiescores op te kloppen, schrijft filosoof en promovenda Jing Wang met andere onderzoekers van de Radboud Universiteit in 2020. Lange tijd mocht een onderzoeker in China alleen promoveren wanneer het lukte om minstens één internationale publicatie te scoren. ‘Nou, als je geen idee hebt hoe dat moet, zijn er wel websites die dat tegen betaling voor je kunnen realiseren’, zegt Bouter. Dergelijke ‘paper mills’ doen niet alleen goede zaken in China, maar ook in Iran, India en Rusland, schrijft data-integriteitsonderzoeker Jana Christopher van de universiteit van Heidelberg.
Toch is het niet zo dat de ranglijsten daarmee compleet worden overspoeld door Chinese, Zuid-Afrikaanse en Saoedische universiteiten in de top. Dat komt door hoe de lijsten scores wegen: vooral publicaties in prestigieuze bladen als Nature en Science tellen flink mee, en juist die namen de laatste jaren maatregelen om verzonnen auteurs en gefabriceerd onderzoek te weren.
4. Huub, huub, boekhoudtruc
In Nederland had-ie kunnen staan: de allerbeste, grootste universiteit van de wereld. Althans, op papier. Het prijskaartje: laat álle universiteiten met elkaar fuseren onder één vlag. ‘Ik zal geen namen noemen’, zegt onderzoeksadviseur Van Rooij, ‘maar ik moest een keer voor een aantal collegevoorzitters doorrekenen wat dat zou betekenen voor de rankings.’
Dat had veel uitgemaakt. ‘Gefuseerd zouden Utrecht, Groningen en Leiden samen de absolute nummer één in de wereld worden. Princeton en Harvard blijven dan nergens.’ In feite komt zo’n stap neer op een boekhoudtruc voor personeel: in één klap groeit de hoeveelheid studenten en onderzoekers astronomisch.
In Amerika bestaan zulke mega-instituten al. MIT, Harvard en de universiteit van Californië zijn in werkelijkheid de optelsommen van kleinere instellingen.
Europa kan jaloers toekijken. Of er iets aan doen, zoals in Frankrijk gebeurde. Sinds 2020 staat in Parijs de Paris-Saclay-universiteit, volgens de Franse president Emmanual Macron ‘MIT à la française’. Saclay is deels ontstaan uit de wens om hoger te scoren in de ranglijsten. En dat werkt, schrijft The Economist: in het lanceringsjaar bestormde de instelling de Shanghai-ranking met plek nummer 14 wereldwijd, en nummer 3 in Europa, met alleen nog Cambridge en Oxford voor zich.
Ook zonder te fuseren kun je creatief boekhouden: sleutel aan het personeelsbestand. Zo ontdekte Igor Chirikov in zijn eerdergenoemde studie dat Russische universiteiten die adviezen inkochten van ranglijstmakers een opvallend grote hoeveelheid onderzoekers per student meldden; dat levert ze gunstigere plekken op in de QS-ranking. In hoeverre al dat personeel echt onderzoek verricht, blijft ongewis, misschien geeft het bovenal onderwijs.
Maar eindeloos ermee spelen kan ook weer niet, nuanceert Van Rooij. Zo telt The Times Higher Education (THE) bijvoorbeeld ook mee hoeveel publicaties een universiteit per werknemer scoort; dan is het gunstiger om weer wat minder onderzoekspersoneel te rekenen.
5. Vertel het je vrienden
Iedereen hengelt weleens naar complimentjes. Maar John Boland, decaan onderzoek van Trinity College Dublin, maakte het wel erg bont. Hij mailde in 2013 de voltallige database aan afgestudeerden en ex-werknemers met een verzoek: of ze de reputatie van Trinity een zetje willen geven in de aanstaande vragenlijsten van QS en THE. Die twee baseren de rang van een universiteit voor respectievelijk 50 en 30 procent op vragenlijsten ingevuld door academici van collega-instituten.
Opzettelijk goede punten scoren via vrienden mag officieel niet volgens QS en THE. Maar natúúrlijk gebeurt het, informeel, en aan de lopende band, zegt Bouter. ‘Er is geen bewijs dat zoiets de scores beïnvloedt, maar zulke mails kreeg ik ook geregeld. Ze vragen altijd of je de vragenlijst wil invullen en zeggen er al dan niet subtiel bij dat het wel grappig zou zijn als de afzender er een beetje leuk uitkomt. Ik gooi die mails altijd meteen weg.’
Trinity College Dublin stond ten tijde van de mailactie nog altijd in de top 100 van QS, maar had de score zien zakken van plek 71 naar 78. Reden genoeg voor decaan Boland om de charmekaart te spelen. Heel wat bekenden van de universiteit beviel dat niet en zij deelden de e-mail. In de jaren erop zakte Trinity alleen nog maar verder in de lijst; mogelijk door de reputatieschade die het gevolg was van Bolands e-mail.
Vroeger mochten universiteiten op zulke vragenlijsten nog zichzelf naar voren schuiven als de beste instelling, vertelt Van Rooij. ‘Dat was een beetje te doorzichtig, dus de makers van de rankings pasten dat aan. Daarna zijn veel universiteiten deals met elkaar gaan sluiten: als jullie ons noemen, noemen wij jullie.’
‘Verwerpelijk slecht’, vindt Van Rooij de vragenlijsten. Zijn afdeling kreeg enkele jaren inzicht in vragenlijstgegevens achter de reputatiescores van THE, tegen betaling. Dat leverde verrassingen op. ‘Soms wordt de reputatie van één vakgebied op je universiteit bepaald door vragenlijsten die zijn ingevuld door drie personen van andere instellingen, of zelfs minder. Volstrekt onbetrouwbaar dus. Zelfs toen Ben Feringa in 2016 de Nobelprijs won, veranderde aan de reputatiescore van THE niets. De vragenlijst zou methodologisch goed in elkaar moeten zitten, maar dat is niet zo.’
Wat dat betreft geniet de aanstaande Shanghai-ranking nog het meeste aanzien. Daar zit geen enkel reputatieonderzoek in, alleen maar cijfers over onder meer publicaties en prijzen; in die lijst steeg Groningen wél na de uitgereikte Nobelprijs.
6. Begin je eigen ranglijst
Wie de gevestigde ranglijsten zat is, kan er ook zelf een beginnen. ‘Zo moeilijk is dat niet’, zegt Bouter. Zo is de QS-ranking in 2004 ontwikkeld in China. Chinese universiteiten scoren er relatief hoog op. ‘Dat is nogal logisch, want je geeft punten voor dingen die je zelf belangrijk vindt.’
In Nederland en Europa maken onderzoekers zich hard voor alternatieven die de kwaliteiten van universiteiten eerlijker weergeven. De Universiteit Leiden publiceert bijvoorbeeld de CWTS-ranking. In Europa is er de Multi-U-Rank, waaraan Elizabeth Gadd meewerkt. Beide leveren geen rangorde op, maar je kunt ermee wel zien hoe goed een universiteit scoort op verschillende onderdelen. ‘Het hele idee dat je universiteiten op een rij zet en zegt welke beter is dan de ander, is totale onzin’, zegt Gadd. ‘Een universiteit heeft verschillende kanten. Allerlei specialismen, onderwijssoorten, open science, noem maar op. Met onze aanpak kun je zien hoe goed een universiteit is met zaken die jij belangrijk vindt.’
Nederlandse universiteiten zeggen in een gezamenlijke verklaring sowieso minder waarde te gaan hechten aan rankings en publicatiescores. Ze maken zich sterk voor alternatieve manieren om onderzoek en personeel te waarderen. Als een onderzoeker op sollicitatiegesprek komt, is het niet meer de bedoeling om iemands persoonlijke publicatiescores zwaar te laten wegen. In plaats daarvan tellen onderwijsprestaties of academische ambities explicieter mee.
Maar helemaal afscheid nemen van rankings is een slecht idee, vindt Hans Clevers, voormalig president van de Koninklijke Nederlandse Akademie voor Wetenschappen (KNAW), nu werkzaam bij farmabedrijf Roche en als bijzonder hoogleraar verbonden aan de Universiteit Utrecht. ‘Als je niet meer kijkt naar die indicatoren, ga je vanzelf zakken in de rankings. Dan trek je ook minder buitenlandse studenten en onderzoekers aan. Die vinden dat namelijk wél belangrijk.’
Bouter denkt niet dat het zo’n vaart zal lopen. ‘Ik kan niet bewijzen dat Clevers ongelijk heeft. Maar als je je afvraagt: wat willen begeesterde, goede wetenschappers? Die willen werken in een team dat ze beter maakt, in een land dat ze fijn vinden, met collega’s met wie ze graag samenwerken. Natuurlijk vind je dat allemaal niet in de onderste vijfduizend universiteiten van de wereld, dat snap ik ook wel. Maar of je nou op nummer dertig, vijftig of honderdtachtig staat; dat maakt voor dat soort dingen helemaal niet uit.’