Kerstkoekjes
De Annals of Improbable Research (AIR) heeft als motto: “Het tijdschrift over onderzoek dat mensen eerst aan het LACHEN maakt, en daarna laat NADENKEN.” Elk jaar reikt AIR Ig Nobel Prizen uit voor onderzoek dat op een bijzondere manier bijdraagt aan de wetenschap, geneeskunde en technologie, met als doel de interesse van mensen in deze vakgebieden aan te wakkeren. Dit jaar, bijvoorbeeld, in de categorie onderwijs (de categorieën variëren elk jaar), werd het artikel “Verveling leidt tot verveling: Een studie over hoe verveling bij docenten de verveling en motivatie van studenten beïnvloedt” bekroond. Leuke noot is dat de Nederlander Wijnand van Tilburg (uit Tilburg!) een van de auteurs was. Met deze blog wil ik ook zo’n prijs uitreiken.
Waarschijnlijk herken je het wel: je bestelt iets online en kort daarna krijg je een e-mailverzoek om het product, de maaltijd, of de dienst te beoordelen, met de mededeling dat jouw feedback helpt om de producten of diensten te verbeteren.
Als je ervoor kiest om deel te nemen en geluk hebt, ben je snel klaar met slechts drie vragen. Maar als je pech hebt, krijg je een uitgebreide enquête voorgeschoteld met 18 schermen en elk scherm bevat 10 vragen, zoals ik onlangs ontving.
Eerder heb ik geschreven over het beoordelen van docenten door leerlingen. Deze beoordelingen kunnen gebruikt worden om het onderwijs en de docenten te helpen verbeteren, maar ook om beslissingen te nemen over aanstelling, salarisverhogingen, of het verkrijgen van een vast contract. Ik had het ook over hoe dat soms oneerlijk kan zijn. Ik heb uitgelegd dat vaak mannelijke docenten als briljant worden gezien, terwijl vrouwelijke docenten die hetzelfde doen als bazig worden bestempeld.
Wat is nu het probleem? Onderzoek heeft aangetoond dat leerlingbeoordelingen van docenten beïnvloed worden door allerlei verschillende factoren, zoals het geslacht van de beoordelaar en van de docent, de grootte van de klas, de stemming van de leerlingen, de positie van de docent, de verwachte cijfers en de tijd van de dag van de les. Maar nog erger is dat, zoals Easarey en Valdes in 2020 hebben vastgesteld, “het gebruik van niet-valide, onbetrouwbare, of bevooroordeelde beoordelingen door leerlingen om beslissingen te nemen over het aanstellen van docenten schadelijk is voor zowel leerlingen als docenten”. Bovendien kunnen bevooroordeelde beoordelingen docenten benadelen die tot minderheidsgroepen behoren of docenten straffen die verplichte cursussen moeten geven die niet populair zijn.
Maar nu kom ik bij mijn keuze voor de 2023 kirschner-ED Ig Nobelprijs. In 2018 publiceerden Michael Hessler en zijn collega’s een artikel over hoe de beschikbaarheid van koekjes de evaluaties van het onderwijs beïnvloedt. Ze voerden een gecontroleerd experiment uit waarbij leerlingen willekeurig werden verdeeld over 20 groepen. Tien groepen kregen tijdens de les de beschikking over een pond chocoladekoekjes (de koekjesgroep), en tien groepen kregen geen koekjes (de controlegroep). Alle groepen hadden dezelfde docenten en hetzelfde lesmateriaal. Na de les kregen de deelnemers een evaluatieformulier met 38 vragen.
Wat bleek? De groepen met koekjes beoordeelden de docenten significant beter dan de controlegroepen, en dit had een behoorlijk groot effect (0,68). Bovendien vonden de deelnemers uit de koekjesgroepen het lesmateriaal beter (effectgrootte = 0,66). Onthoud dat er GEEN verschil was in docenten, lesinhoud of lesmateriaal! Met andere woorden, het uitdelen van chocoladekoekjes had een aanzienlijk effect op de beoordeling van zowel de docent als de cursus.
Deze bevindingen roepen serieuze vragen op over de betrouwbaarheid van studentenevaluaties en hun gebruik bij besluitvorming in het onderwijs.
Aan alle geweldige docenten: Als jouw school overweegt zulke beoordelingen in te voeren, probeer dan het uitdelen van lekkere chocoladekoekjes te stimuleren tijdens de evaluaties. Fijne feestdagen, goede roetsj en bewaar wat kerstkoekjes voor je leerlingen!
Arubayi, E.A. (1987).Improvement of instruction and teacher effectiveness: are student ratings reliable and valid? Higher Education, 16, 267–278. https://doi.org/10.1007/BF00148970
Esarey, J. & Valdes, N. (2020). Unbiased, reliable, and valid student evaluations can still be unfair. Assessment & Evaluation in Higher Education, 45(8),1106-1120, https://doi.org/10.1080/02602938.2020.1724875
Hessler, M., Pöpping, D. M., Hollstein, H., Ohlenburg, H., Arnemann, P. H., Massoth, C., Seidel, L. M., Zarbock, A., & Wenk, M. (2018). Availability of cookies during an academic course session affects evaluation of teaching. Medical Education, 52(10), 1064-1072. https://doi.org/10.1111/medu.13627
