kirschner-ED

Effectgroottes en meta-analyses: Hoe interpreteer je “evidence” in evidence-based

Kripa Sundar en Pooja Agarwal publiceerden een gids om on te helpen begrijpen wat meta-analyses en meta-meta-analyses zijn.

Wikipedia definieert een meta-analyse als:

een onderzoek waarbij de resultaten van eerder uitgevoerde onderzoeken samen worden genomen om een preciezere uitspraak te doen over een bepaald fenomeen of theorie. De term stamt af van Gene V. Glass: “Meta-analyse verwijst naar de analyse van analyses”. Meta-analyse kan als doel hebben om gemengde resultaten van voorgaand onderzoek te verklaren of om nieuwe hypotheses te bevestigen die niet te toetsen zijn in een enkele studie. Meta-analyse is een statistische techniek die vaak maar niet altijd gebruikt wordt in een systematische review. Het belangrijkste voordeel van meta-analyse is de aggregatie over meerdere studies die leidt tot een hoger statistisch onderscheidingsvermogen en meer robuuste schattingen van het effect.

En een meta-meta-analyse is een meta-analyse van meta-analyses! Een heel bekend voorbeeld is Visible Learning van John Hattie waar hij 138 invloeden op leeruitkomsten beschreef en rangschikte van heel positief tot heel negatief. Vervolgens schreef hij Visible Learning for Teachers (2011) waarin hij 150 effecten beschreef en rangschikte en – voorlopig – tot slot The Applicability of Visible Learning to Higher Education (2015)met 195 effecten. Zie dit voor meer hierover.

Het is ook het geval dat er steeds meer meta-analyses geschreven worden (of lijkt het misschien zo) op het gebied van leren en onderwijs. Maar het uitvoeren van een meta-analyse is vaak lastig en de interpretatie is soms nog lastiger. Waarom? Omdat:

  • Niet alle meta-analyses zijn betrouwbaar. Als het gaat om leerresultaten gemeten in een meta-analyse, vergelijken onderzoekers mogelijk appels met peren.
  • De leerstrategieën die in een meta-analyse worden onderzocht, zijn niet consistent, zowel wat betreft hun definitie als de onderzoeksmethoden die worden gebruikt om ze te bestuderen.
  • In de meta-analyse zijn vaak niet de meest recente onderzoeken opgenomen. Een meta-analyse die vandaag is gepubliceerde is waarschijnlijk minstens een jaar geleden ingediend (zo lang duurt het om een artikel gepubliceerd te krijgen). De analyse van de gevonden onderzoeken en het schrijven van het artikel in talloze versies heeft waarschijnlijk zo’n twee jaar geduurd. Dat betekent dat de meest recent bestudeerde artikelen minstens vier jaar oud kunnen zijn. Resultaten kunnen veranderen naarmate er meer studies over het onderwerp worden uitgevoerd, en onderzoek zal blijven worden gepubliceerd, maar zijn niet opgenomen in de meta-analyse die vandaag is gepubliceerd!

De gids is onderverdeeld in drie secties:

  • Een overzicht van meta-analyses
  • Een introductie tot meta-meta-analyses
  • Hoe interpreteer je effectgroottes, tabellen, enzovoorts

Met deze gids hopen Sundar en Agarwal, in hun woorden, “u in staat te stellen het “bewijs” in de op bewijs gebaseerde praktijken die u tegenkomt in twijfel te trekken. Concreet willen [zij] u de tools geven om te beoordelen of summatief bewijs dat wordt gepresenteerd op basis van effectgroottes betrouwbaar is [in] meta-analyses en meta-meta-analyses.”

Facebook
Twitter
LinkedIn
Email
WhatsApp