Leren van meerkeuzetoetsen?
Deze blog verscheen ook op Didactief Online maar in verkorte vorm.
De Amerikaanse komiek Rodney Dangerfield was bekend om zijn uitspraak ‘Ik krijg geen respect.’ Meestal gevolgd door iets als: “Mijn hond blijft blaffen bij de voordeur. Hij wil niet naar buiten. Hij wil dat ik wegga.” Zo is het ook met meerkeuzevragen (MK-vragen). Ze krijgen geen respect.
MK-toetsen zijn misschien wel de populairste toetsvorm in het onderwijs, maar tegelijkertijd de meest gehate, en soms voor goede redenen. Er is ook heel vaak onderzocht hoe je ze het beste kunt gebruiken om het leren te meten, maar MK-toetsen kunnen ook gebruikt worden om het leren te bevorderen. Onderzoeker Andrew Butler bekeek of de ‘best practices’ die hij vond in de literatuur over MK-toetsen als beoordelingsinstrument overeenkwamen met ‘best practices’ voor het leren. Uit zijn review kwamen er zes tips voor MK-toetsitems naar voren.
1. Niet te complex
Maak de item niet te complex. Te complexe meerkeuzevragen ondermijnen het werken van het geheugen (d.w.z. enerzijds overbelasten ze het werkgeheugen en anderzijds maken ze het moeilijker het juiste antwoord te herinneren). Ze leiden ook vaak tot strategisch gissen. Met andere woorden, zij geven de leerlingen aanwijzingen voor wat het juiste antwoord is c.q. ze maken het mogelijk om pertinent foute antwoorden te elimineren. Ten derde, blijken complexe MK-toetsitems niet inherent beter te zijn om hogere-orde-denken te meten dan eenvoudigere itemtypen. Volgens de literatuur wegen de kosten van de ontwikkeling van complexe toetsitems niet op tegen de baten. Dezelfde conclusie kunnen we trekken uit onderzoek naar de invloed van complexe toetsitems en hun antwoorden op het leren.
An example of a complex multiple-choice item (“D” is the correct answer).
uit Butler, 2018
2. Specifieke cognitieve processen
Creëer items die specifieke cognitieve processen vereisen en benader het opstellen van items voor leren zoals je dat doet voor elke andere leeractiviteit. De cognitieve verwerking die door elk MK-item wordt geïnduceerd, moet zorgvuldig worden ontworpen en moet aansluiten bij het type cognitieve verwerking dat nodig is voor toekomstige prestaties. Tal van bronnen kunnen je helpen bij het opstellen van meerkeuze-beoordelingsitems waarbij degene die de toets afneemt specifieke cognitieve processen moet inschakelen om vragen te beantwoorden zoals speciaal ontwikkelde tekstsjablonen die alleen ingevuld hoeven worden.
3. Vermijd het gebruik van ‘geen van bovenstaande’ en ‘alle bovenstaande’
De opties ‘geen van bovenstaande’ (GvB) en ‘alle bovenstaande’ (AB) zijn populair, maar je kunt ze beter vermijden. Door ze toe te voegen aan een eenvoudig MK-item, wordt het complex. De weinige studies over dit onderwerp als het gaat over leren, wijzen naar dezelfde conclusie: vermijd ze. Als GvB het juiste antwoord is, is dit meestal schadelijk voor het leren (want ondertussen hebben leerlingen wel al die foute opties gelezen), maar het heeft een verwaarloosbaar effect als afleider. Het gebruik van AB lijkt alleen gunstig te zijn voor het leren wanneer dit het juiste antwoord is. De leerling wordt namelijk alleen blootgesteld aan juiste informatie; alle alternatieven zijn tenslotte waar. De effecten op het leren zijn minder duidelijk als AB het foute antwoord is.
4. Drie plausibele antwoordopties
Voor beoordeling lijken drie antwoordopties – één juiste en twee afleiders – de beste balans tussen psychometrische kwaliteit en efficiëntie van afname. Maar onderzoek laat ook zien dat je het exacte aantal het best kunt bepalen door het aantal plausibele onjuiste antwoorden dat je kunt maken.
Dit lijkt ook te gelden voor meerkeuzetoetsen voor leren, maar om een andere reden. Als leren het doel is, stellen meerkeuzetoetsen leerlingen bloot aan veel onjuiste informatie, met als risico dat ze foute antwoorden leren. Veel foute afleiders vergroten namelijk de kans op een fout antwoord op een volgende meerkeuzetoets. Dit noemen we het negatieve suggestie-effect[1].
5. Maak meerkeuzetoetsen uitdagend, maar niet te moeilijk
Om leren effectief te meten, moet elk meerkeuze-item helpen om onderscheid te maken tussen leerlingen die wel en niet de gewenste vaardigheden en kennis hebben verworven. Onderzoek laat zien (Lord, 1952) dat 77% van de leerlingen een vraag met drie afleiders juist zou moeten kunnen beantwoorden. Voor meerkeuze-items om het leren te bevorderen, geldt hetzelfde. Net als bij toetsing kunnen deze meerkeuzetoetsen positieve en negatieve effecten hebben op het leren. Leerlingen die hun kennis kunnen ophalen en gebruiken om een vraag te beantwoorden, hebben er baat bij. Wanneer ze een afleider echter niet kunnen ophalen en selecteren, belemmert dit hun leren.
6. Geef feedback
Feedback is een integraal onderdeel van toetsen-om-te-leren. Het geven ervan na een MK-toets versterkt de positieve effecten van de toets op het leren en elimineert de mogelijke negatieve effecten of vermindert deze aanzienlijk. Feedback stelt leerlingen ook in staat om hun fouten te corrigeren, en voorkomt daarmee dat ze onjuiste informatie leren.
Kortom, als ze goed worden ontworpen en ontwikkeld, kunnen meerkeuzetoetsen zowel het leren als het beoordelen bevorderen. Misschien krijgen meerkeuzetoetsen dan het respect dat ze verdienen.
Butler, A. (2018). Multiple-choice testing in education: Are the best practices for assessment also good for learning? Journal of Applied Research in Memory and Cognition, 7(3), 323-331.
Lord, F. M. (1952). The relationship of the reliability of multiple-choice test to the distribution of item difficulties. Psychometrika,18, 181–194.
[1] De impact van blootstelling aan onjuiste alternatieven op het geheugen voor correcte informatie
