Hoe wetenschappelijk zijn de ranglijsten van universiteiten?

Bron: Vrij Nederland, 6/10/'24
Deze tekst a.u.b. niet verspreiden buiten RRview.
Auteur: Doortje Lenders

Universiteiten kijken reikhalzend uit naar de publicatie van de nieuwe wereldwijde vooral de gevestigde universiteiten een extra duwtje geven, en onafhankelijk, maatschappelijk relevant onderzoek ontmoedigen.

Met een hoge ranking kun je als universiteit pronken. Je zet ‘m goed zichtbaar op je website en vervolgens trek je er internationale bachelor- en masterstudenten mee over de streep, en zien grote bedrijven je als een interessante samenwerkingspartner. De IND gebruikt de rankings zelfs als criterium om verblijfsvisa uit te delen: een buitenlandse wetenschapper die een baan aan een Nederlandse universiteit wil, moet afgestudeerd zijn aan een instelling die in de top-200 staat van minstens twee verschillende ranglijsten.
De zogeheten Times Higher Education World University Ranking – THE-WUR – is namelijk niet de enige in zijn soort. Er is een waar oerwoud aan ranglijsten ontstaan. Allemaal claimen ze te weten waar de beste universiteit ter wereld staat. En vooral: wat een instelling een topuniversiteit maakt.

De succesformule
THE-WUR is een zogeheten league table: een eendimensionale tabel waarin alle deelnemende universiteiten worden gerangschikt naar kwaliteit. Er bestaan ook meer bescheiden soorten rankings, die zich bijvoorbeeld beperken tot een specieke regio of een bepaalde discipline. Andere ranglijsten beoordelen instellingen aan de hand van een afgebakend thema als duurzaamheid. Het minst
bescheiden type, de algemene, wereldwijde league table, is het meest invloedrijk.
Naast THE-WUR zijn er de Shanghai Ranking en de QS Ranking.

Elk van de rankings gebruikt een eigen formule om te bepalen wie er aan de top staat en wie onderaan bungelt. De input voor die formule bestaat vaak uit resultaten van speciaal afgenomen enquêtes, bijvoorbeeld om de reputatie van een universiteit te meten. Ook wordt veel gebruikgemaakt van zogeheten bibliometrische data. Daarbij gaat het om het aantal publicaties in toonaangevende wetenschappelijke
tijdschriften en het aantal keer dat publicaties zijn geciteerd – in de wetenschap een vaak gehanteerde maatstaf voor de impact en relevantie van onderzoek.
Aanvullend wordt de universiteit vaak gevraagd om zelf data aan te leveren, bijvoorbeeld over studentenaantallen en inkomsten.

Het aantal Nobelprijswinnaars onder alumni moet een idee
geven van de onderwijskwaliteit aan een bepaalde
instelling, maar dat valt moeilijk hard te maken.

De formule kent vervolgens een gewicht toe aan deze indicatoren, waardoor er een keurige score uit rolt. In een kritisch rapport van Universiteiten van Nederland (UNL), de koepel van Nederlandse universiteiten, worden de methoden van de drie belangrijkste rankings naast elkaar gelegd. Er blijkt behoorlijk wat willekeur in te zitten: waar de score bij de QS Ranking voor de helft wordt bepaald door de reputatie van de universiteit, gemeten aan de hand van een vragenlijst, is de positie in de Shanghai Ranking voor maar liefst 33 procent afhankelijk van het aantal oud-studenten en medewerkers dat een Nobelprijs heeft ontvangen.

Morele keuzes
De keuze voor indicatoren is zeer bepalend voor de uitkomst, maar wordt zelden goed onderbouwd. Zo moet het aantal Nobelprijswinnaars onder alumni een idee geven van de onderwijskwaliteit aan een bepaalde instelling, maar valt moeilijk hard te maken dat iedere Nobelprijswinnaar dat succes te danken heeft aan de inspirerende docenten tijdens de bachelorstudie – laat staan dat een instelling die
(nog) geen Nobelprijswinnaars heeft afgeleverd minder goed onderwijs biedt.
De schijnbaar objectieve indicatoren kunnen bovendien morele keuzes platwalsen.
Zo meet THE-WUR maatschappelijke impact aan de hand van inkomsten vanuit de industrie. Banden met het bedrijfsleven kunnen een universiteit absoluut helpen om onderzoek naar de praktijk te brengen, maar zijn niet onomstreden. Er bestaan bijvoorbeeld grote zorgen over de onafhankelijkheid van universiteiten die in toenemende mate verweven raken met de fossiele industrie en big pharma. De keuze van een universiteit om géén nanciering aan te nemen van bepaalde bedrijven, kan dus juist bewonderenswaardig zijn. Voor inkomsten vanuit de industrie geldt in ieder geval niet: hoe meer, hoe beter.

Gouden ratio
Zelfs als de indicatoren erin zouden slagen om een accuraat beeld te geven van de kwaliteit van het onderzoek en het onderwijs en de mate van maatschappelijke impact – de drie kerntaken van de universiteit – dan nog blijft er een dilemma over: hoe weeg je deze drie kerntaken onderling om tot één score te komen? De ene ranking geeft relatief veel gewicht aan onderzoek, bijvoorbeeld door veel geciteerde publicaties te belonen, waar de andere de ervaring van studenten centraal stelt.
In het eerder genoemde UNL-rapport Het ranken van de universiteit wordt benadrukt dat iedere universiteit een eigen strategie heeft, die voortkomt uit een afweging tussen de drie kerntaken: ‘Universiteiten zijn immers instellingen met een maatschappelijke opdracht. Ze zijn zich bewust van hun rol in het aanjagen en
duiden van maatschappelijke ontwikkelingen. (…) Hierbij moeten keuzes worden gemaakt die recht doen aan de context en complexiteit van de instelling. Dit maakt dat sommige universiteiten zich meer op onderzoek richten, terwijl andere zichzelf een brede onderwijstaak toekennen of juist de nadruk leggen op maatschappelijke impact.’

Rankings doen alsof er een gouden ratio tussen de kerntaken bestaat, die voor elke universiteit ter wereld geldt. Bovendien bestendigen rankings de post-koloniale wereldorde, zo valt te lezen in het Statement on Global University Rankings van de Universiteit van de Verenigde Naties, een denktank van de VN. Onderzoek toont aan dat Engelstalige universiteiten in het voordeel zijn, net als instellingen die, mede doordat zij dure laboratoria kunnen bouwen, groot zijn in bètastudies, – denk MIT en Oxford. Ook
wordt er niet gecorrigeerd voor een gebrek aan financiële middelen of voor de uitdagingen die een onstabiele politieke situatie met zich meebrengt voor universiteiten. Minder gevestigde instellingen blijven jaar na jaar onderaan de lijst bungelen. In plaats van samenwerking en solidariteit te stimuleren, creëren
ranglijsten ‘een zelfversterkend systeem van winnaars en verliezers’ dat leidt tot het ‘verder uitdiepen van historische en geografische ongelijkheden’.

Internationale studenten
Universiteiten, trek je toch wat minder aan van die willekeurige en selectieve ranglijsten, zou je misschien denken. Toch gaat dat niet zo makkelijk. ‘Er is druk vanuit de marketingafdeling om de rankings te gebruiken,’ zegt Frans Kaiser, onderzoeksmedewerker bij het Center for Higher Education Policy Studies aan de Universiteit Twente en betrokken bij het adviesrapport van UNL. Zijn universiteit heeft een relatief hoge instroom van internationale studenten, en omdat die niet bekend zijn met de verschillende Nederlandse onderwijsinstellingen, zijn de rankings voor hen een belangrijke bron van informatie. Ze helpen hen om een beeld te krijgen van de kwaliteit van Nederlandse universiteiten en om ze onderling met elkaar te vergelijken. Daarom heeft de Enschedese universiteit er belang bij om zo hoog mogelijk te scoren op de lijst. ‘Financieel kan de Universiteit Twente het zich helemaal niet veroorloven dat de instroom van internationale studenten afneemt.’

‘De media rapporteren vaak klakkeloos over de rankings: deze universiteit is gestegen, deze is gedaald.’

Niet alleen universiteiten zelf, maar ook media legitimeren het gezag van ranglijsten, simpelweg door er aandacht aan te besteden. UNL-woordvoerder Ruben Puylaert, die ook is aangeschoven bij het gesprek, voegt toe: ‘De media rapporteren vaak klakkeloos over de rankings: deze universiteit is gestegen, deze is
gedaald.’ Dit jaar heeft UNL zelf contact opgenomen met een aantal grote kranten om hun artikelen te voorzien van kritische reflectie op de tekortkomingen van rankings.

Meer dan een nummer
De grote kracht van ranglijsten is dat een mooie positie op zo’n lijst lekker communiceert, zeggen Kaiser en Puylaert. ‘Worldwide #24 Top University’ is pakkender dan een genuanceerd overzicht van de prestaties, ambities en tekortkomingen van een universiteit. De andere kant van de medaille is dat het gecreëerde beeld belangrijker wordt dan de werkelijkheid. Bestuurders kunnen druk ervaren om zich te verantwoorden als hun universiteit is gezakt in de ranglijst, of om in te zetten op beleidsterreinen waarmee ze goed kunnen scoren. Ook individuele wetenschappers ‘kunnen zich aangespoord voelen om hun onderzoeksfocus en publicatiestrategie aan te passen op een manier die de positie van hun universiteit in de league tables ten goede komt,’ zo is te lezen in het adviesrapport van UNL.
De gehoorzaamheid aan rankings staat op gespannen voet met een veranderend ideaal van de universiteit. Onder de noemer open science probeert de academische gemeenschap zichzelf al jarenlang te hervormen: onderzoek is te veel een prestigeproject geworden. Om te zorgen dat het belang van de samenleving voorop komt te staan, hoort het onderzoeksproces transparanter te zijn en moeten de resultaten zo snel mogelijk openbaar worden. Ook moet er meer ruimte zijn voor wetenschappers om hun kennis om te zetten in maatschappelijke impact. Denk bijvoorbeeld aan beleidsadvies, bijdragen aan het publieke debat of bijzondere onderwijsvormen.
Oftewel: precies die moeilijk meetbare activiteiten waar een ranglijst geen raad mee weet. Om aandacht te vragen voor de ‘onzichtbare’ prestaties van universiteiten is het wereldwijde initiatief More Than Our Rank in het leven geroepen. Onderwijsinstellingen kunnen het manifest ondertekenen om te laten blijken dat
ze gecommitteerd zijn ‘aan verantwoorde beoordelingsmethoden en aan het erkennen van een bredere en meer diverse opvatting van institutioneel succes’. Ook kunnen ze het logo op hun website plaatsen, vergezeld van een statement over alles wat hun instelling waardevol maakt, maar niet terug te zien is in hun score. Een handtekening en een logo op de website, meer is er niet voor nodig om mee te doen aan More Than Our Rank. Toch hebben pas vier Nederlandse universiteiten een kritische noot toegevoegd aan hun rankingspagina. De andere negen hebben nog geen zichtbare stappen gezet.

Schokgolf
Van die voorzichtige voorhoede steekt de Universiteit Utrecht (UU) haar kop het meest boven het maaiveld uit. ‘Iedereen weet donders goed dat er haken en ogen zitten aan rankings,’ zegt @paulboselie, Chief Open Science aan de UU. Het bestuur van zijn universiteit nam vorig jaar het besluit om geen data meer aan te leveren aan THE-WUR, waardoor de UU uit de ranking verdween. Dit besluit veroorzaakte een kleine schokgolf in de internationale gemeenschap: een X-draadje van een medewerker, waarin het besluit
wordt toegelicht, werd ruim een miljoen keer bekeken.
Volgens Boselie is het een strategische keuze om niet meer mee te doen. ‘Open science is één van de vijf hoofdprincipes van de UU. Rankings passen daar niet in, vooral niet wanneer ze eenzijdig gericht zijn op onderzoek, citaties en prijzen. De universiteit is veel meer.’ Het kost veel tijd en energie om data te verzamelen en aan te leveren, die zich moet uitbetalen in een hoge plek op de lijst. Er stromen op die
manier publieke middelen naar de uitgevers van rankings, die de universiteit volgens Boselie beter aan andere dingen kan besteden.

‘Om een cultuurverandering voor elkaar te krijgen, zijn alternatieven nodig voor de league tables.’

Dat betekent overigens niet dat je de UU in geen enkele ranglijst meer terug zult zien: sommige rankings gebruiken openbare data, of verzamelen zelf gegevens. Dan heb je als instelling geen keuze: je staat er gewoon in. De UU probeert alle communicatie daarover te voorzien van ‘zware disclaimers’. Al nuanceert Boselie ook: niet alle rankings zijn even slecht. De Universiteit Leiden publiceert bijvoorbeeld een genuanceerde en transparante ranking.
Zijn er dan geen zorgen over de vindbaarheid voor internationale studenten? Boselie erkent dat de UU zich niet enorm profileert als internationale universiteit, waardoor er minder angst bestaat dat de instroom vanuit het buitenland afneemt. Toch is hij kritisch op instellingen die het voorbeeld van de Utrechtse universiteit niet volgen. ‘Het lijkt alsof universiteiten nu afwachten wat er met de UU gebeurt voordat ze zelf actie ondernemen. Ze zijn bang dat het te snel gaat. Als je ergens niet bang voor hoeft te zijn binnen de universiteit, is dat er iets te snel gaat,’ lacht hij. ‘Maar als je een sterke overtuiging hebt, die wordt ondersteund door de missie van de universiteit en door bestuurders, dan is het tijd om je nek uit te steken.’

Strijd tegen de ranglijst
Ondanks de schijnbare verlamming bij het leeuwendeel van de Nederlandse universiteiten, zijn Kaiser en Puylaert optimistisch. Het beleid rond rankings komt steeds meer op de agenda te staan, het thema wordt benoemd in de jaarverslagen, en op internationaal niveau weten universiteiten elkaar te vinden in de strijd tegen de ranglijst. Een overeenkomst van de Coalition for Advancing Research Assessment (CoARA) is inmiddels door bijna 700 kennisinstellingen wereldwijd ondertekend. Gecoördineerde actie dus, in plaats van wat Boselie een ‘revolutionair statement’ noemt. Maar ook Kaiser erkent dat goede intenties niet genoeg zijn.

‘Om een cultuurverandering voor elkaar te krijgen, zijn alternatieven nodig voor de league tables.’
Het gebruik van zogenoemde subject rankings is minder problematisch dan de wereldwijde league tables, omdat ze specifieker zijn – ze gaan bijvoorbeeld over de beste universiteit voor techniek of geesteswetenschappen. Dat maakt onderlinge vergelijking iets zinvoller. Ook steken rankings de kop op die meer aandacht hebben voor de maatschappelijke rol van de universiteit: zo publiceert Times Higher Education jaarlijks een Impact Ranking die meet in hoeverre universiteiten bijdragen aan het realiseren van de 17 duurzame ontwikkelingsdoelstellingen (de SDG’s) van de Verenigde Naties.
Kaiser heeft zelf meegewerkt aan U-Multirank, een alternatief rankingsysteem dat inmiddels met een aantal andere initiatieven is uitgegroeid tot het Europese project EHESO. Dit is een tool waarmee universiteiten de beschikbare data kunnen gebruiken om hun eigen prestaties in kaart te brengen. Door deze gegevens naast hun missie te leggen kunnen ze bepalen waar verbeterpunten zitten.
‘Universiteiten hebben deze tool al gebruikt om erachter te komen welke universiteiten een vergelijkbaar profiel hebben en daardoor tegen dezelfde problemen aanlopen, terwijl ze daarvoor geen idee hadden dat dit relevante partners zouden zijn om kennis mee uit te wisselen. Daarmee stimuleert het juist samenwerking in plaats van onderlinge competitie,’ zegt hij enthousiast. Klinkt als het gouden ei. ‘Maar marketing kan er niks mee.'