Is een onderwijsinterventie de moeite waard?
Het artikel How to Assess Whether an Instructional Intervention Has an Effect on Learning van Richard E. Mayer bekritiseert hedendaagse trends in onderwijspsychologisch onderzoek en pleit voor het primaat van experimentele methodologieën bij het beoordelen van de effectiviteit van educatieve interventies. Het artikel concentreert zich op de toenemende publiceren van niet-experimentele studies in tijdschriften over onderwijspsychologie en de implicaties die deze verschuiving heeft voor het vaststellen van causale verbanden en het geven van bruikbare aanbevelingen. Lin Zhang, Bill Cobern, John Sweller en ik schreven onlangs een artikel[1] over dit probleem: There is an Evidence Crisis in Science Educational Policy. Het is open access, geniet ervan!
Mayer begint met het erkennen van de diversiteit aan onderzoeksmethoden – variërend van experimentele tot correlationele en kwalitatieve benaderingen – die in de onderwijspsychologie worden gebruikt. Wel benadrukt hij het principe dat onderzoeksmethoden moeten aansluiten bij onderzoeksdoelen. Voor onderzoek naar de causale effecten van interventies op leerresultaten zijn experimentele methoden, met name gerandomiseerde gecontroleerde studies, de gouden standaard. Deze methoden stellen onderzoekers in staat om de effecten van een interventie te isoleren door controle te houden over verstorende variabelen en willekeurige toewijzing te handhaven, waardoor het meest robuuste bewijs voor causaliteit wordt geleverd.
Mayer bekritiseert daarentegen de trend die wordt opgemerkt door Brady et al. (2023)[2], waarin niet-experimentele studies, zoals correlationele analyses en observationeel onderzoek, steeds vaker worden gebruikt om causale gevolgtrekkingen te maken. Hoewel deze methoden waardevol zijn voor verkennend onderzoek en het genereren van hypothesen, voldoen ze niet aan de nauwkeurigheid die nodig is om causale claims te onderbouwen. Deze verkeerde afstemming, zo betoogt Mayer, riskeert niet alleen misleidende conclusies, maar ondermijnt ook de praktische aanbevelingen aan leerkrachten, opvoeders en beleidsmakers.
Om zijn punt te illustreren, evalueert Mayer zes empirische benaderingen om instructie-interventies te beoordelen: experimentele vergelijkingen, modelleringsstudies, cross-sectionele vergelijkingen, correlationele studies, pre-post vergelijkingen en observationele studies. Hiervan vallen experimentele vergelijkingen op door hun kracht bij het testen van causale claims. Methoden zoals correlationele en observationele studies zijn weliswaar nuttig in verkennende fasen, maar ontoereikend om definitieve uitspraken te doen over causaliteit.
Mayer erkent ook de genuanceerde perspectieven van andere geleerden, zoals Grosz en Zitzmann et al. (2023)[3], die het nut van niet-experimentele methoden in bepaalde contexten erkennen, maar de ongeëvenaarde waarde van experimenten voor causale gevolgtrekking herhalen. Deze wetenschappers benadrukken ook de noodzaak van een betere communicatie van onderzoeksresultaten naar belanghebbenden, om ervoor te zorgen dat conclusies op de juiste manier worden gecontextualiseerd en bruikbaar zijn.
Tot slot roept Mayer op om opnieuw in te zetten op experimenteel onderzoek in de onderwijspsychologie. Hoewel hij de rol van diverse methodologieën in het onderzoeksecosysteem erkent, waarschuwt hij voor de afnemende aanwezigheid van experimentele studies in de toonaangevende tijdschriften van het veld. Zonder een sterke basis van experimenteel bewijs loopt het veld het risico zijn vermogen te verliezen om wetenschappelijk onderbouwde aanbevelingen te doen die de onderwijspraktijk en het onderwijsbeleid effectief sturen.
[1] Zhang, L., Kirschner, P.A., Cobern, W.W. et al. There is an evidence crisis in science educational policy. Educional Psychology Review, 34, 1157–1176 (2022). https://doi.org/10.1007/s10648-021-09646-1
[2] Brady, A. C., Griffin, M. M., Lewis, A. R., Fong, C. J., & Robinson, D. H. (2023). How scientific is educational psychology research? The increasing trend of squeezing causality and recommendations from non-intervention studies. Educational Psychology Review, 35, 37. https://doi.org/10.1007/s10648-023-09759-9
[3] Grosz, M. (2023). Should researchers make causal inferences and recommendations for practice on the basis of non-experimental studies? Educational Psychology Review, 35, 37. https://doi.org/10.1007/s10648-023-09777-7
