Studentevaluaties voeden wantrouwen naar docenten
VU-wetenschapper Christine Teelken heeft onderzoek gedaan naar de onderwijsevaluaties en de impact daarvan op de daadwerkelijk waargenomen kwaliteit van het onderwijs. Uit haar onderzoek wordt duidelijk dat docenten in het hoger onderwijs zich verzetten tegen de vaak anonieme online onderwijsevaluaties van studenten. De bevraagde docenten geven aan dat zij veel liever zouden werken met peerreview onderwijsevaluaties tussen directe collega’s of die van andere hoger onderwijsinstellingen.
Nederland, Zweden en het VK
In een longitudinaal onderzoek uitgevoerd aan faculteiten van sociale wetenschappen en economie aan universiteiten in Nederland, Zweden en het Verenigd Koninkrijk is onderzocht hoe academici te maken krijgen met onderwijsevaluaties en hoe dit hun werk heeft beïnvloed.
Uit het onderzoek van Teelken blijkt dat onderwijsbeoordelingen in de drie landen steeds meer geïnstitutionaliseerd zijn. Hoewel de faculteitsbesturen zelf aangeven baat te hebben bij deze manier van beoordelen van het onderwijs, kunnen docenten zich niet voorstellen dat het ook echt de kwaliteit van het onderwijs verbetert. Teelken komt in haar onderzoek dan ook met aanbevelingen hoe dit beter kan.
Sinds de jaren negentig hebben universiteiten in Europa een golf van hervormingen geïntroduceerd, die gericht zijn op meer efficiëntie. Die hervormingen staan bekend als het ‘New Public Management.’ Daarnaast hebben Europese universiteiten steeds meer autonomie gekregen. Om hun concurrentievermogen ten opzichte van andere universiteiten te vergroten zijn er steeds meer organisatorische veranderingen doorgevoerd. Dit ook om de budgetten te beheersen en de output beter te kunnen meten.
‘McUniversity’
Universiteiten hebben steeds meer instrumenten uit de private sector overgenomen, inclusief hun structuren, basiswaarden en normen, zo stelt Teelken. Deze verschuiving in het bestuur heeft zich gemanifesteerd in prestatiemetingen die terug te zien zijn in onderwijsevaluaties. Dit soort van besturen wordt in het onderzoek ‘managerialism’ genoemd. Dit heeft volgens de VU-onderzoeker onder andere tot de vele universitaire rankings geleid, die steeds belangrijker zijn geworden voor Europese universiteiten.
Dit managementdenken heeft het werk van academici sterk beïnvloed. Zo moet er meer transparantie komen over de uitkomsten van het onderwijs en onderzoek aan een universiteit. Teelken verwijst in dat verband naar de in de jaren negentig in de literatuur genoemde ‘McUniversity’, die gekenmerkt wordt door een sterk universitair management en met een verminderende autonomie voor academici.
Nederland en Verenigd Koninkrijk bakermat van New Public Management
Teelken heeft gekeken in hoeverre academici in Nederland, Zweden en het Verenigd Koninkrijk het management en de daarmee samenhangende onderwijsevaluaties hebben ervaren. Ook heeft zij onderzocht hoe docenten kijken naar de impact van deze evaluaties op de daadwerkelijke kwaliteit van het onderwijs. Er is voor Zweden, Nederland en het VK gekozen, omdat de universiteiten een vergelijkbaar managementniveau kennen. Bovendien kunnen Nederland en het VK gezien worden als de bakermat van het New Public Management. Het hoger onderwijs in Zweden heeft zich ook in deze richting ontwikkeld. Vervolgens zijn er op basis van de faculteiten economie en bedrijfskunde willekeurige universiteiten gekozen.
De onderzoeker heeft in eerste instantie potentiële deelnemers van deze faculteiten via een online enquête vragen gesteld over de betrokkenheid bij de instelling. Hierbij is ook gevraagd of er diepte-interviews konden plaatsvinden. Er zijn in 2007 en in 2011 enquêtes uitgezet. In 2016 is er nog een derde ronde uitgevoerd. Deze laatste uitvraag kon niet meegenomen worden, omdat veel geënquêteerden uit 2007 en 2011 niet meer bereid of in staat waren deel te nemen.
Daarom zijn de eerste twee sessies gebruikt en kon er toch een longitudinaal onderzoek worden gedaan. De meeste deelnemers werkten voltijd en hadden ook een vast contract. In 2011 varieerde de leeftijd van de deelnemers van 28 tot 71 jaar. Er werden 53 mensen geïnterviewd 13 uit Nederland, 19 uit het VK en 21 in Zweden. Waaronder docenten, universitair hoofddocenten en decanen.
Verhoogde werkdruk door evaluaties
De onderzoeksresultaten laten zien dat de Britse deelnemers in 2007 al een algehele toename zagen van zowel de interne als externe onderwijsbeoordelingen. Hoewel ze zelf vonden dat deze monitoring weinig invloed had op de daadwerkelijk onderwijskwaliteit.
Hoewel de Britten voordelen zagen van standaardisatie van de onderwijsevaluaties, had dit volgens de docenten wel hun autonomie aangetast. Verschillende deelnemers legden uit dat een toegenomen druk om de kwaliteit van het onderwijs te verbeteren ervoor zorgde dat er minder tijd overbleef voor onderzoek, waardoor de belangrijkste kerntaak van wetenschappers in het geding kwam.
In Zweden bleek dat men positiever stond tegenover evaluaties. Daar was de algehele teneur in 2007 dat er voordien niemand keek naar de onderwijskwaliteit. Met als gevolg dat werknemers op de universiteit zich meer inspanden om de onderwijskwaliteit te verbeteren.
Onpersoonlijk en anoniem
In Nederland bleek de aanleiding voor onderwijsevaluaties vaak ingegeven te zijn door de externe onderwijsaccreditaties van de NVAO. Dit heeft er ook toe geleid dat er meer verantwoordingsinstrumenten zijn gekomen en formalisering in de onderwijsevaluaties. Dit pakt niet altijd positief uit voor de docenten, zoals een van de geïnterviewde stelde. “Het leidt tot meer stress omdat het onpersoonlijk en anoniem is en niets positief oplevert. Ook zorgen deze evaluaties er niet voor dat je onderwijs op een later tijdstip beter wordt beoordeeld. Het lijkt er vooral op dat ze opzoek zijn naar iets negatiefs.”
Een andere deelnemer reageert weer positief. “Het zorgt voor transparantie en het levert snelle interventies op. Bijvoorbeeld als een collega niet functioneert dan kan er snel ingegrepen worden.”
Het algehele beeld op basis van de Nederlandse geïnterviewden is dat de studentevaluaties niet geleid hebben tot beter onderwijs. Hoewel dergelijke systematisch feedback van studenten steeds belangrijker wordt geacht, blijven de responspercentages laag en is de betrouwbaarheid niet representatief voor de daadwerkelijk kwaliteit van de cursussen. Ondanks de twijfelachtige impact, worden de uitkomsten wel systematisch vastgelegd door het faculteitsbestuur.
Makkelijk en snelle oplossing
De studentevaluaties kunnen voor aanzienlijke stress zorgen bij docenten. Zoals een Nederlandse geïnterviewde stelde: “Wanneer ik als docent een keer een onvoldoende scoor op de onderwijsevaluatie dan krijg ik van de onderwijsdirecteur de opdracht om een plan te maken om het onderwijs te verbeteren. Als ik vervolgens weer een onvoldoende krijg dan ben ik mijn baan wellicht kwijt.” De onderwijsevaluaties werden gezien als een makkelijke en snelle oplossing, die de onderwijskwaliteit niet echt verbeteren.
Al met al rapporteerden de Nederlandse deelnemers een fragiel evenwicht tussen meer nadruk op evaluaties en kwaliteitsverbeteringen. Hoewel sommigen positieve elementen ervoeren, maakte men zich in het algemeen zorgen over de zwakke link van de beoordeling met de feitelijke kwaliteit van het lesgeven en werd er een gebrek ervaren van feedback van collega’s.
Leiden tot meer werkdruk
In alle drie de landen is een toename te zien van de evaluatie-output, zowel in de beleidsinitiatieven als ook in de perceptie van de werknemers. In alle drie de landen toonden de deelnemers ook een duidelijke afkeer van dit soort maatregelen. Zeker als die werden opgelegd en resulteerden in meer werkdruk.
Uit de interviews wordt duidelijk dat docenten weinig profijt ondervinden van de onderwijsevaluaties. Een controle op de voorgestelde onderwijsverbeteringen op basis van de evaluaties blijft vaak uit. De reikwijdte van de beoordelingen is beperkt en het wordt aan individuele docenten overgelaten hoe zij omgaan met de uitkomsten van de evaluaties.
Echte kwaliteit is niet meetbaar
Tot slot en dat is volgens Teelken misschien wel de belangrijkste uitkomst, blijkt uit de meerjarige analyse dat er een kloof is tussen wat docenten beschouwen als een verbetering van de operationele kwaliteit versus de inherente kwaliteit. De deelnemers aan het onderzoek erkenden dat de kwaliteit van het onderwijs in beperkte mate meetbaar is, maar dat de belangrijkste aspecten van onderwijskwaliteit niet te meten zijn.
In de conclusies van het onderzoek stelt Teelken dan ook dat de prestatiemeting kan worden gezien als onderdeel van een continu proces dat steeds invloedrijker is geworden in het hoger onderwijs. Deze prestatiemetingen lijken te hebben doorgezet, niet zozeer vanwege de veronderstelde verbetering van de kwaliteit van het primaire proces, maar het heeft wel zijn impact gehad op de mensen die werken in het hoger onderwijs.
Onder het New Public Management zijn academici onder grote druk komen te staan om verantwoording af te leggen aan hun organisaties. Verantwoording is zichtbaar in de vorm van systematische onderwijsevaluaties met een belangrijke rol voor studenten, maar directe collega’s of die van andere instellingen worden hier veel minder bij betrokken. De groei van het management en de auditcultuur is een teken van het toegenomen wantrouwen tegen het academisch personeel.
Schaadt autonomie
Veel docenten die voor het onderzoek ondervraagd van Teelken ondervraag zij blijken negatief te staan ten opzichte van onderwijsevaluaties en vinden dat het hun autonomie en professionaliteit schaadt. Het zorgde er ook voor dat docenten met minder plezier gingen lesgeven. Daarbij verwezen zij naar de onmeetbare onderwijservaringen en gebruikten dat als legitimatie tegen de onderwijsevaluaties.
De kritiek van de docenten kan gezien worden als een pleidooi voor een meer expliciete ontwikkelingsgerichte prestatiemeting. De deelnemers aan het onderzoek gaven ook aan dat zij ook meer subjectieve beoordeling wilden in plaats van de huidige mechanische aanpak. Zo zouden ze veel meer mondelinge feedback willen zien op hun onderwijsprestaties of meer peerreview van collega docenten of die van andere instellingen. In plaats van anonieme online studentenenquêtes met lage responspercentages. Volgens Teelken kan deze feedback en de aanbevelingen van docenten in dit onderzoek ervoor zorgen dat ze verbonden blijven met hun professionele identiteit.
