SEP: een ontwikkelingsgericht instrument – verslag van de conferentie

In een volgeboekt Vredenburg conferentiecentrum bespraken Universitaire beleidsmedewerkers en portefeuillehouders op 12 oktober de mogelijkheden en dilemma’s van het Strategy Evaluation Protocol (SEP). Een samenvatting van de hoofdlijnen.

De conferentie bestond uit een centrale start met vier presentaties en een plenair workshopprogramma. Darco Jansen (UNL) opende het programma en heette de vele deelnemers van harte welkom. De animo voor deze werkconferentie was groot.

Achtergronden en uitdagingen van het huidige SEP
Leonie van Drooge (CWTS, Universiteit Leiden) kreeg het woord over de ontstaansgeschiedenis van het huidige SEP. Ze gaf ook inzicht in het waarom van de veranderde naamgeving van ‘standaard’ naar ‘strategie’ protocol. Namelijk: een logisch gevolg van de verschuiving van de aard van de onderzoeksevaluaties. Waar bij het voor-vorige SEP productiviteit nog een criterium was, staat de strategie van de onderzoeksgroep nu centraal. Daarbij kan de onderzoeksgroep in de zelfevaluatie eerst terugkijken op basis van de strategie uit het verleden. En vervolgens vooruitkijken met de huidige strategie, gekoppeld aan de levensvatbaarheid (viability) van de groep.

Verder stipte Drooge het internationaal unieke karakter van SEP aan, want ‘geen enkel land ter wereld’ heeft een ‘deugdelijk systeem van kwaliteitszorg’ in de wet vastgelegd als criterium om wetenschappelijk onderzoek te mogen doen.
In essentie is het SEP een flexibel en ontwikkelingsgericht instrument, dat een instelling naar eigen wens kan toepassen. Drooge: ‘Er zijn geen verplichte indicatoren, het is maatwerk.’ Daar sluit in haar ogen een goed geschreven oordeel zonder cijfermatige eindbeoordeling van de evaluatiecommissies het beste op aan.
Herhaaldelijk bleek tijdens de ochtend dat de flexibiliteit binnen SEP tot vragen en soms ingewikkelde discussies leidt, want ‘hoe weten we dat onze afwegingen in de ogen van de beoordelingscommissie net zo waardevol zijn als wij ze inschatten’.

Ook het onderwerp strategie keerde terug in verschillende gesprekken, vooral de constatering dat sommige research units geen ruimte hebben om een strategie echt zelf te bepalen, door hun afhankelijkheid van te veel externe factoren. Het advies op dit laatste luidde dat je vooraf goed moet nadenken hoe je de grootte van een SEP-eenheid bepaalt. Want: het is natuurlijk niet mogelijk om de organisatie zo in te richten dat die precies bij de voorschriften van het SEP past. Een SEP-evaluatie komt het beste uit de verf als de research unit, oftewel bepaalde leerstoelgroepen, niet te kunstmatig bij elkaar gezocht zijn.

Hoe verhouden SEP en Erkennen & Waarderen zich tot elkaar?
Erkennen & Waarderen in relatie tot SEP was het tweede onderdeel. Dagmar Eleveld – Trancicova (Radboudumc) constateerde tijdens haar presentatie dat beide programma’s met elkaar verstrengeld zijn en op vele vlakken thematisch overlappen. Erkennen & Waarderen heeft echter een overkoepelende agenda, is gericht op het systeem en raakt de wetenschapper op individueel niveau. SEP levert een belangrijke bijdrage aan deze beweging, maar, zo werd in het publiek opgemerkt: ‘Erkennen & Waarderen is niet ‘gedekt’ als een medewerker van het project deelneemt aan de evaluatiecommissie van SEP.’ Dat onderzoeksevaluaties plaatsvinden volgens het nieuwe SEP draagt bij aan de cultuurverandering die we met Erkennen & Waarderen nastreven en vice versa. Dit laatste kwam in brede zin nog meermaals ter sprake, omdat SEP een instrument is waarbinnen alles met elkaar samenhangt: de drie assessment criteria 1) Research quality, 2) societal relevance en 3) viability en de vier specific aspects 1) Open Science, 2) PhD Policy and Training, 3) Academic Culture en 4) Human Resource Policy. ‘Dat’ zo klonk het meermaals uit het publiek ‘maakt het ingewikkeld’. Maar dit draagt zeker bij aan het voeren van goede gesprekken over kwaliteit, bleek uit de laatste twee presentaties.

Visitatie: het gaat om een goed gesprek
De derde presentatie gaf inzicht in de praktijk van visitatiecommissies. ‘Alles is in het belang van een goed gesprek’, vatte Peter Hildering van Academion samen. Hij legde uit welke veranderingen het huidige SEP teweeg heeft gebracht ten opzichte van het vorige. Hij gaf aan dat de algemene evaluatietoon is veranderd; van ‘beoordelend’ naar die van een kritische vriend. Het gaat niet meer om een examen met een score, maar om ontwikkeling.

Er is meer ruimte voor open gesprekken en een kwetsbare opstelling van de onderzoeksgroep. Dit leidt ertoe dat commissieleden waardering uitspreken voor hun nieuwe rol, ‘mits ze hem begrijpen’. Hildering benadrukte daarbij het belang van een gedegen instructie van de evaluatiecommissie voor het slagen van het proces als geheel. Om strategisch de juiste insteek te kunnen kiezen, adviseerde hij om ‘research units’ zo samen te stellen dat ze echt een eigen strategie hébben. Het SEP is immers verschoven van het beoordelen van onderzoekslijnen naar een strategisch niveau. Hij adviseerde om zowel de assessment commissie als de groepen waarmee de commissie spreekt zo samen te stellen dat ze ‘reageren op thema’s die spelen binnen je instituut of waar je feedback op wilt. Zoals bijvoorbeeld Open Science of diversiteit.

Hoe het kan in de praktijk
Het slotakkoord van de centrale presentaties was in handen van Els Swennen (FHML/Maastricht UMC+), die inzicht gaf in haar praktijk als beleidsmedewerker met portefeuille SEP binnen het umc. In Maastricht bestaat deze uit zes schools en twee instituten. Om de zesjaarlijkse SEP-evaluatie degelijk uit te werken, start ze ruim een jaar van tevoren met de voorbereidingen. Swennen toonde de planning waar ze mee werkt en benadrukte dat het proces een coherent geheel is. De gehele cyclus bestaat uit de externe visitatie, het plan van aanpak van de groep en de mid term review. In de tussenliggende jaren komen de kernpunten en tabellen ook terug in de gesprekken die gevoerd worden in het kader van de planning & control cyclus. Zo is er echt aan een kwaliteitszorgssysteem gebouwd. Het SEP-evaluatie komt niet als een verrassing en in de tussenliggende jaren blijven de onderzoeksgroep en het bestuur met elkaar in gesprek over kwaliteit en de thema’s die benoemd zijn in het SEP.

‘Omdat het een continu proces is, ontwikkelt het zich tot een natuurlijk proces. Op die manier ontstaat er een overzichtelijk patroon met een herkenbare structuur, met een duidelijk merkbare meerwaarde.’

Het tweede deel van de ochtend bestond uit een workshopprogramma met twee verschillende ronden. Deze sessies werden door de aanwezigen als zeer waardevol ervaren, de behoefte aan uitwisseling was groot.

Het workshopprogramma:
1.
Uitgebreide introductie tot het SEP – Leonie Drooge (Universiteit Leiden, CWTS) i.s.m. Peter Hildering (Academion).
Hoe integreer ik de specifieke aspecten met de beoordelingscriteria? – Birgit van Driel (TU Delft) i.s.m. Simone de Jong (TU Delft)
Evidence voor SEP (indicatoren en case studies) – Jacqueline Mout (NWO-i) en Anneke Hendriks (Universiteit Leiden)
Schrijven van zelfevaluatie – Els Swennen (FHML/Maastricht UMC) en Dagmar Eleveld-Trancicova (Radboudmc) i.s.m. Floor Meijer

2.
Samenstelling van de commissies – Darco Jansen (UNL) i.s.m. Rinze Benedictus (UMC)
Hoe integreer ik de specifieke aspecten met de beoordelingscriteria? – Brigit van Driel (TU Delft) i.s.m. Sven Laudy (Quicken Advies)
Evidence voor SEP (indicatoren en case studies) – Jacqueline Mout (NWO-i) en Anneke Hendriks (Universiteit Leiden)
Schrijven van zelfevaluatie – Els Swennen (FHML/Maastricht UMC) en Dagmar Eleveld-Trancikova (Radboudumc) i.s.m. Meg van Bogaert

Evidence voor SEP (indicatoren en case studies), één van de workshoptafels