Evaluatie van onderzoek

Visie

Onderzoekers worden meermaals in hun carrière onderworpen aan evaluaties. Het kader voor dergelijke evaluaties wordt gewoonlijk bepaald door disciplinespecifieke criteria aan de ene kant, en door beleidsmatige criteria aan de andere kant, ontwikkeld om een bepaalde praktijk te stimuleren of om specifieke realisaties te belonen.
Het proces van evaluatie moet van hoogstaande kwaliteit zijn, of het nu gebaseerd is op bibliometrie, op peer review of op een combinatie van beide. De methodes die worden toegepast moeten omzichtig worden gekozen in overeenstemming met de doelstelling van de evaluatie, gaande van b.v. de persoonlijke ontwikkeling van een onderzoeker tot strategische instellingskeuzes.

De Raad van Bestuur van de UGent heeft acht principes goedgekeurd waaraan elke evaluatie van onderzoek dient te beantwoorden:

  1. De afweging voor een gepaste evaluatiemethode voor onderzoek stemt overeen met de doelstelling van de evaluatie.
  2. De evaluatie houdt rekening met de beoogde impact van het onderzoek; fundamenteel-wetenschappelijk, economisch, maatschappelijk, of een combinatie daarvan.
  3. De evaluatie houdt rekening met de diversiteit tussen disciplines.
  4. De gekozen evaluatiemethode maakt een haalbare afweging tussen de eenvoud van de procedure en de complexiteit van het onderzoek.
  5. De evaluatiecriteria worden vooraf vastgelegd en worden vooraf aan alle betrokkenen meegedeeld.
  6. De evaluatiecommissie bevat voldoende experten die in staat zijn de kwaliteit van het onderzoek adequaat te beoordelen.
  7. Bovenstaande principes worden geïmplementeerd door middel van een doordachte keuze van evaluatie-indicatoren en een holistische benadering van peer review.
  8. Elke commissie of beleidsmaatregel die onderzoek evalueert, engageert zich ertoe de best mogelijke inspanning te leveren om bovenstaande principes in de praktijk om te zetten.

De volledige visienota is online raadpleegbaar.

Inspiratiekader voor onderzoek

Dit inspiratiekader werd ontwikkeld als mogelijke leidraad voor een beschrijving, planning en evaluatie van het onderzoek. Het verdeelt de complexiteit van het onderzoekssysteem in een aantal dimensies, waaruit onderzoekers en onderzoeksgroepen een keuze kunnen maken om hun doelstellingen en ambities te formuleren.

Gebruik van indicatoren

Indicatoren kunnen een evaluatie van onderzoeksprestaties snel, efficiënt en met een grote mate van objectiviteit ondersteunen. De eenvoud ervan maakt indicatoren bijzonder aantrekkelijk. Toch dienen ze voorzichtig te worden gebruikt want wetenschapsbeoefening is té complex om in één indicator te vatten.

Deze leidraad voor het gebruik van indicatoren in de evaluatie van onderzoek aan de UGent is bruikbaar voor vele doeleinden: de rekrutering van professoren, de loopbaanmodellen, de selectie van BOF-aanvragen, of een allocatiemodel.

Monitoring

De Cel Kwaliteit en Beleid in de directie Onderzoeksaangelegenheden voert geregeld monitoringsopdrachten uit, en rapporteert hierover aan de Onderzoeksraad. Waar nodig, stuurt deze het onderzoeksbeleid bij op basis van deze informatie:

  • de onderzoeksprestaties van de faculteiten (aantal publicaties, aantal doctoraten)
  • de onderzoeksprestaties van de UGent in vergelijking met andere Vlaamse instellingen (b.v. BOF-sleutel, IOF-sleutel, basisfinanciering)
  • positie in internationale rankings

Meer informatie: Directie Onderzoeksaangelegenheden, Annik Leyman (Annik.Leyman@UGent.be - 09 264 95 08)

Naast in-huisexpertise inzake bibliometrie heeft de UGent in het verleden ook externe evaluaties van de onderzoeksoutput georganiseerd, in het bijzonder via het CWTS in Leiden (op basis van data beschikbaar in Web of Science).

  • In 2008 werd voor het eerst een bibliometrische studie van de onderzoeksoutput aan de UGent uitgevoerd – initieel als algemene benchmarkstudie met een 40-tal andere universiteiten op instellingsniveau, vervolgens als een gedetailleerde bibliometrische studie op onderzoeksgroepniveau. Deze studie had als opzet om elk van de onderzoeksgroepen te “vergelijken met hun gelijken” in hetzelfde vakgebied. Zowel onderzoeksgroepen met een duidelijke niche in het wetenschapsveld, als onderzoeksgroepen die sterk interdisciplinair werken, kunnen in deze analyse hun eigen onderzoeksprestaties meten aan die van collega’s die in hetzelfde vakgebied, of in dezelfde tijdschriften, publiceren.
  • Na vier jaar was het in 2012 relevant om deze oefening opnieuw te maken: de onderzoekswereld evolueert, maar ook onderzoekers zelf groeien in hun werk.

Aangezien rapporten in samenwerking met de faculteiten zelf worden opgemaakt, zijn het niet zozeer de indicatoren zelf die centraal staan, maar de interpretaties en aanbevelingen die de vertegenwoordigers uit de faculteiten zelf aan de indicatoren koppelen.

Meer informatie: Directie Onderzoeksaangelegenheden, Anniek Toye (Anniek.Toye@UGent.be - 09 264 95 58)

Webpagina over publiceren

De directie Onderzoeksaangelegenheden organiseerde in de periode 2011-2016 aanvullend onderzoeksvisitaties binnen de humane, sociale en gedragswetenschappen om via een peer review evaluatie tot een reflectie over de eigen onderzoeksorganisatie en –management en een meer strategische oriëntatie van onderzoeksfocus te komen.

Aan de hand van site visits van een internationaal peer review panel wordt het onderzoek van voorafbepaalde (groepen van) onderzoeksdisciplines geëvalueerd over een referentieperiode van 8 jaar.

  • Stap 1 - definiëring van (groepen van) onderzoeksdisciplines (1 coördinator voor elke discipline + 1 woordvoerder voor elke onderzoeksgroep)
  • Stap 2 - samenstelling van het internationaal peer review panel (incl. voorzitter) en vastlegging van datum site visit
  • Stap 3 - zelfevaluatiedossier (voorstelling van onderzoeksdiscipline, voorstelling van onderzoeksgroep, personeel, wetenschappelijke activiteiten, onderwijsbelasting, infrastructuur)
  • Stap 4 - site visit waarna het eindrapport wordt opgesteld en aan de verschillende stakeholders bezorgd

Relevante documenten:

Meer informatie: Directie Onderzoeksaangelegenheden, Annik Leyman (Annik.Leyman@UGent.be - 09 264 95 08)