http://www.kuleuven.be/ck/2006_07/09/ck18-09-rank.php

Volgens de nieuwe ranking van de Universiteit Leiden in opdracht van de Europese commissie staat de KULeuven op plaats 8 in Europa.

De rankers gerangschikt

Guido Langouche


Het is een nachtmerrie voor rectoren, een bron van extra inkomsten — via nieuwe abonnementen — voor kranten als de Times Higher Education Supplement (THES), een plotselinge wereldwijde faam voor een relatief onbekende instelling als de Shanghai Jiao Tong University. Het is echter zelden een onderwerp van ernstig wetenschappelijk onderzoek noch van relativerende berichtgeving in de pers. We hebben het over de internationale rankings van universiteiten.

De verhalen doen de ronde. Over een rector in Azië die ontslag moest nemen toen zijn universiteit twintig plaatsen weggezakt was in de Shanghai ranking. Of over die Europese rector die een hartaanval kreeg toen bleek dat zijn universiteit onverwacht veel slechter scoorde in de nieuwste THES ranking. Of over de rector van Melbourne University (22e in THES 2006) die op een internationaal symposium over ranking eerder dit jaar komt vertellen dat deze ranking onjuist is en minstens twintig plaatsen te gunstig voor zijn instelling. En dat hij sinds de publicatie ervan zijn professoren met niets meer kan motiveren om nog meer inspanningen te leveren.
Elke rector houdt de rankings angstvallig in het oog. Om ze snel aan de buitenwereld te melden — soms op de frontpage van de website van zijn instelling — als ze gunstig zijn. En als ze minder gunstig zijn om meteen wat kritische opmerkingen klaar te hebben wanneer het eerste telefoontje van de pers of van het kabinet eraan komt. Om tegelijk aan te tonen dat vanuit dit of dat perspectief gezien zijn universiteit eigenlijk wel de beste is van het land.
De impact van die rankings is niet gering. Er is niet alleen het prestige in de landelijke pers en een mogelijk argument om budgettair nog iets los te weken bij de eigen overheid. Het internationale prestige hangt meteen samen met de kans om als partner aangezocht te worden in internationale samenwerkingsverbanden. Er is zelfs een economische impact. De honderdduizenden Aziatische studenten, die per se in het westen een universitair diploma willen halen, kennen — en krijgen van hun overheden — de nieuwste universitaire league tables en halen hun neus op voor die instellingen die niet hoog genoeg scoren.
Het geloof in rankings is verbazingwekkend, als je beseft op welke zwakke methodologische basis veel van die rankings gebouwd zijn en hoeveel terechte kritiek er geformuleerd kan worden. Begin alvast maar met het uitgangspunt in vraag te stellen dat je de kwaliteit van een universiteit in één score zou kunnen samenvatten. Zelfs als die score alleen gebaseerd is op de kwaliteit van de wetenschappelijke output, wat nog het makkelijkst meetbaar is, dan weet toch iedereen dat geen enkele universiteit, zelfs Oxford of Harvard niet, in alle wetenschapsdomeinen even excellent is.
Een globale score is per definitie een gemiddelde. Enige ervaring met de beoordeling van wetenschappelijk onderzoek in verschillende disciplines leert je onmiddellijk dat het publicatie- en citatiegedrag enorm verschilt naargelang het onderzoeksdomein. Noch de THES-ranking noch de Shanghai-ranking noch de Newsweek-ranking, om de drie meest populaire maar te noemen, vindt het nodig om hiervoor te normaliseren. Hun publicatietellingen worden dus scheefgetrokken door de onderzoeksrichtingen waarin het meest wordt gepubliceerd, vaak de biomedische sector. En als je niet normaliseert bij het tellen van de citaten, dan wordt je resultaat gedomineerd door de populariteit van bepaalde onderzoeksrichtingen eerder dan door de kwaliteit ervan. De ranking van het Centrum voor Wetenschappelijke en Technologische Studies (CWTS) Leiden maakt hier een lofwaardige uitzondering: hun crown indicator normaliseert zorgvuldig door het aantal citaten in elk wetenschapsdomein telkens te vergelijken met het wereldgemiddelde in het domein.

Nobelprijzen
De Shanghai ranking hecht enorm veel belang aan de Nobelprijzen die ooit behaald werden (30% van de score) en aan de aanwezigheid van toponderzoekers (20%). Anderzijds tellen zij gewoon het aantal gepubliceerde artikels (20%) door de instelling, zonder naar de citaten te kijken, maar artikels in Nature of Science worden extra (20 %) beloond. Gelukkig corrigeren ze wat (10%) door de grootte van de instelling in rekening te brengen.
Times Higher Education Supplement (THES) zweert dan weer bij het ondervragen van peers (50% van de score), maar geeft uiterst weinig informatie over de manier waarop hun peers worden geselecteerd. Hun klaarblijkelijke bias in het voordeel van de Angelsaksische wereld is hen al meermaals verweten. Hoewel er veel te zeggen valt voor het raadplegen van peers bij het beoordelen van concrete onderzoeksprojecten, is dit veel minder evident bij het beoordelen van instellingen. Het is duidelijk dat bij dergelijke bevragingen vooral de long-term ‘reputatie’ van de instelling tot uitdrukking zal komen — met een inherente vertekening in het voordeel van historische instellingen — eerder dan de kwaliteit vandaag. De citatieoutput (20%) wordt ook in rekening gebracht door THES, maar enige domeingebonden normalisatie is hen vreemd. Punten worden ook gegeven voor een goede staf/studenten verhouding (20%) en voor de aanwezigheid van internationale staf (5%) en internationale studenten (5%).
De Newsweek ranking maakt een ander amalgaam van parameters die ook door Shanghai en THES gebruikt worden: 50 % van de score wordt gelijk verdeeld over het aantal hooggeciteerde onderzoekers, aantal artikels in Nature en Science en het aantal artikels opgenomen in de Social Sciences en Arts and Humanities indices. 40% wordt gelijk verdeeld over het percentage internationale professoren, internationale studenten, citaten per professor en de verhouding staf/studenten. Alleen de laatste 10% is origineel en wordt toegekend voor het aantal volumes in het bibliotheekbestand van de instelling. Newsweek geeft alleen een tabel met de top honderd instellingen van de wereld. Hierin prijken dertig Europese instellingen, waaronder slechts één Belgische.
Het Centrum voor Wetenschappelijke en Technologische Studies (CWTS) te Leiden verricht al heel lang bibliometrisch onderzoek ten behoeve van universiteiten en overheden. Het beperkt zich tot een streng wetenschappelijke analyse van de wetenschappelijke ouput, en laat — in tegenstelling met de voorgaande rankings — geen andere factoren meespelen.
Pas onlangs is het zich ook op Europese en wereldrankings van universiteiten gaan toeleggen en dit op verzoek van de Europese Commissie, waarvoor het eerder al rankings opstelde. Daar waar de eerder vermelde ‘crown indicator’, het genormaliseerde gemiddelde aantal citaten per publicatie, sinds jaren de beoordelingsparameter bij uitstek was voor de kwaliteit van de onderzoeksoutput, is het CWTS tot de bevinding gekomen dat deze parameter te weinig rekening houdt met de grootte van de instelling. Kleine instellingen met een beperkte onderzoeksoutput kunnen immers globaal onverwacht goed scoren als ze zich specialiseren in een bepaald onderzoeksdomein en erin slagen hun output te beperken in domeinen waarin ze minder goed in zijn. In de limiet kan je als instelling een topscore halen voor de ‘crown indicator’ door alleen je beste onderzoeker te laten publiceren. Vandaar dat Leiden zopas een nieuwe ranking lanceerde gebaseerd op een nieuwe indicator, de zogenoemde ‘brute force indicator’, die ontwikkeld werd in het kader van hun nieuwe rankingopdracht voor de Europese Commissie. De brute force indicator vermenigvuldigt de kwalitatieve crown indicator met een louter kwantitatieve parameter, met name het totaal aantal publicaties van de instelling opgenomen in de Citation Indices. In deze nieuwste Europese ranking belandt K.U.Leuven binnen de top tien van de Europese instellingen.
Een buitenbeentje onder de rankers is de World Universities’ ranking on the Web (Webometrics), gepubliceerd door het Spaanse Internetlab, dat stelt dat websites beter de kwaliteit van een universiteit weerspiegelen dan het traditioneel tellen van publicaties en citaten. Internetlab analyseert verschillende aspecten van de website van elk instituut, houdt rekening met grootte, zichtbaarheid, academische inhoud, en leidt daaruit een parameter af die volgens hen correleert met de wetenschappelijke prestaties en impact van de universiteit. Hoewel men veelal eerder sceptisch staat tegenover het gebruik van websites als kwaliteitsindicator, ziet men in de praktijk toch een redelijke correlatie met andere rankings. Het meest interessante aspect van de Webometrics-ranking is wellicht dat ze het meest uitgebreid is: meer dan 10.000 instellingen wereldwijd zijn erin terug te vinden.
Het Duitse Centrum für Hochschulentwicklung (CHE) wenst de instellingen niet globaal te rangschikken maar opteert voor het ranken van instellingen per wetenschapsdomein en in een beperkte geografische regio. Ze doen dit reeds enige tijd voor de hogere onderwijsinstellingen in het Duitssprekende deel van Europa en zijn zopas een project gestart in het Nederlandstalige deel van Europa. Voorlopig voor een beperkt aantal studierichtingen en met de steun van onder meer de Vlaamse minister van onderwijs. Zij ontwikkelen hun vergelijkende database vooral ten behoeve van studenten.
Unesco doet momenteel een poging om wat orde te brengen in de wereld van internationale rankings van universiteiten. Ze doet dit door deze rankers met elkaar in contact te brengen, in de hoop dat dit zal leiden tot verbetering en afstemming van de gebruikte criteria. Zo was er in mei 2006 een conferentie in Berlijn en in oktober 2007 ontmoeten de voornaamste rankers elkaar opnieuw te Shanghai. Tot veel veranderingen heeft dit overleg nog niet geleid. De Berlijnconferentie leidde tot de Berlin Principles of Ranking, een tiental — vrij evidente — regels die elke ranker belooft te hanteren.
De Coimbra Group, een netwerk van 37 van de oudste Europese universiteiten waar ook de K.U.Leuven lid van is, wijdde haar jaarvergadering in 2006 aan het onderwerp ‘ranking’. De rankers waren niet speciaal vriendelijk voor elkaar. Zo richtte dr. Ton van Raan, directeur van CWTS Leiden, zich tot John O’Leary, hoofdredacteur van THES, met de boodschap — en hij illustreerde dit mathematisch — dat hij nog nooit twee rankings gezien had die zo weinig correlatie met elkaar hadden als die van THES en Leiden…
Wat moeten we uit dit alles besluiten? Je hoeft niet naar Unesco-meetings te gaan om snel in te zien dat de Leidse en de CHE-ranking duidelijk kwalitatief de beste zijn. Zij genieten echter niet de wereldwijde bekendheid van de Shanghai-, THES- en Newsweek-rankings. Wellicht zal de betrokkenheid van de Europese Commissie in de nieuwste Leiden-rankings leiden tot meer bekendheid voor deze Europese producten, ook buiten Europa.
We zien dat de K.U.Leuven en de voornaamste Belgische universiteiten binnen Europa redelijk scoren, met de 4 grootste Belgische universiteiten binnen de Europese top 55 volgens de nieuwste ‘brute force’ Leiden ranking. Europa telt meer dan 2.000 instellingen die doctoraten uitreiken. We moeten er ons zeker van weerhouden al te triomfalistisch te doen omdat de K.U.Leuven in bijna alle rankings (behalve in THES) de beste Belgische universiteit is en zeker niet al te veel belang hechten aan enkele plaatsen verschil in deze rankings.
Maar het kan duidelijk ook zeker beter voor onze universiteiten. Wij staan echter niet alleen met de ambitie om beter te preseteren. In een recent Iers onderzoek werden meer dan 600 universiteiten wereldwijd bevraagd over hun houding ten opzicht van internationale rankings. Meer dan 75% blijkt de ambitie te hebben om op termijn internationaal tot de beste 25% te horen. Het Amerikaanse voorbeeld met een taakverdeling tussen enerzijds een klein aantal instellingen — slechts een honderdtal! — die internationaal mee aan de top kunnen staan en een bredere groep instellingen die tevreden zijn met een eerder regionale rol, spreekt voorlopig niet aan. Het wordt dus drummen aan de top. De remedie is overigens duidelijk: een top-onderzoeksuniversiteit zijn kan alleen mits een personeelspolitiek die erop gericht is alleen de besten — internationaal! — binnen te halen en (dus) mits voldoende middelen. Twee zaken die niet evident zijn in Vlaanderen.

Guido Langouche,
Chairman Coimbra Group

http://www.che.de
http://www.cwts.nl
http://www.msnbc.msn.com
http://ed.sjtu.edu.cn
http://www.thes.co.uk
http://www.webometrics.info