Vraagvolgorde
Wat doe je het liefst als je een bord vol eten hebt? Eet je eerst de lekkerste dingen en bewaar wat je niet lust als laatste of andersom? Of eet je alles door elkaar: afwisselend een hapje lekker en een hapje ‘vies’? En wat heeft dit allemaal met onderwijs te maken?
We gebruiken standaardtoetsen (eindtoets, CSE, PISA) heel vaak om te meten wat leerlingen weten en kunnen. Hoe we kennis en vaardigheden beoordelen in deze toetsen hangt af van verschillende factoren die prestaties kunnen beïnvloeden. In meerkeuzetoetsen, bijvoorbeeld, kan je je afvragen of je het geven van een verkeerd antwoord anders moet beoordelen dan het geven van geen antwoord (de vraag blanco laten). Moeten we leerlingen ook de kans geven om aan te geven hoe zeker ze zijn van hun antwoord? Of moet we als afleiding meerdere correcte antwoorden geven, of zelfs geen één? En moeten we nadenken over de invloed van een tijdslimiet (oftewel tijdsdruk) op hoe leerlingen presteren?
Naast al deze vragen is er nog iets waar we over kunnen of moeten nadenken, namelijk: hoe kan de volgorde van moeilijke en makkelijke vragen in een toets leerlingprestaties beïnvloeden? Een rationeel mens zou immuun moeten zijn voor de volgorde van vragen. Maar we zijn niet 100% rationeel en daarom worden we wel degelijk beïnvloed door de volgorde van vragen. (Vandaar de opkomst van gedragseconomie, behavioral economics; de studie van psychologische, cognitieve, emotionele, culturele en sociale factoren die meespelen bij de beslissingen van mensen of instellingen, en hoe deze afwijken van de beslissingen waar de klassieke economische theorie, gebaseerd op de volstrekt rationele mens, van uitgaat.)
Van moeilijk naar makkelijk?
Naarmate een toets vordert, raken mensen steeds vermoeider en presteren ze minder goed. Daarom is het wellicht beter om te beginnen met moeilijkere vragen, omdat die meer mentale inspanning vereisen. Maar dit kan leerlingen ook ontmoedigen, omdat ze verwachten dat de rest ook moeilijk zal zijn. Dus toch met makkelijke vragen beginnen? Bij toetsen waarbij deelnemers pas naar de volgende vraag mogen nadat ze de vorige hebben beantwoord, kunnen de psychologische effecten van de vraagvolgorde van groot belang zijn.
Kortom, als we goed willen meten wat mensen weten en kunnen, moeten we goed nadenken over hoe we vragen ordenen en clusteren. Moeten we beginnen met de makkelijkste of moeilijkste vraag, of ergens ertussenin? En maakt die volgorde überhaupt uit?
Lina Anaya en collega’s onderzochten of de volgorde van moeilijke/makkelijke vragen een rol speelt bij toetsing en presteren. Zij presenteren in hun artikel twee studies: één in een gecontroleerde omgeving en één in een echte toetssituatie.
Hun eerste studie was een gecontroleerd veldonderzoek met een online onderwijsplatform dat een wiskundige uitdaging van tien vragen aanbood aan circa 19.000 vrijwillige deelnemers. Die werden willekeurig verdeeld over vier groepen, elk met dezelfde tien vragen, maar in verschillende volgorden. Uit een database kozen de onderzoekers ‘makkelijke’ vragen (80% gaf een juist antwoord), ‘gemiddelde’ vragen (door ongeveer 50% goed beantwoord) en ‘moeilijke’ vragen (minder dan 25% goede antwoorden). In de twee groepen die voor deze blog de belangrijkste zijn, plaatsten de onderzoekers de drie moeilijkste vragen aan het begin of aan het einde, de vier vragen in het midden (moeilijk noch makkelijk) bleven hetzelfde. De overige twee groepen kregen moeilijke en makkelijke vragen door elkaar. De onderzoekers hielden bij hoeveel vragen deelnemers invulden, hoeveel juiste antwoorden ze gaven en hoe ze hun eigen prestaties inschatten.
In hun tweede studie gebruikten Anaya en collega’s gegevens van drie PISA-afnames (2009, 2012 en 2015), met meer dan 600.000 deelnemers uit de hele wereld. Voor hen mooi materiaal, want de vraagvolgorde in de toetsboekjes verschilt en deze boekjes worden willekeurig aan leerlingen toegewezen.
In het veldonderzoek (het onderzoek met tien vragen in verschillende volgordes) zagen de onderzoekers de beste resultaten als de vragen van makkelijk naar moeilijk gerangschikt waren: minder deelnemers verlieten de toets voortijdig (dropout) en ze gaven de meeste juiste antwoorden. Van deelnemers die begonnen met moeilijke vragen, haakte bijna de helft af, tegen slechts 30% van deelnemers die met makkelijke vragen begonnen. Ook hadden de leerlingen in de ‘makkelijk-naar-moeilijk-groep’ meer vertrouwen in hun antwoorden. De twee andere groepen waar de vragen door elkaar gepresenteerd werden, scoorden tussen deze twee in.
De onderzoekers vonden vergelijkbare resultaten in het tweede onderzoek (PISA): leerlingen van wie het eerste cluster van vragen ongeveer 10% moeilijker was, lieten meer vragen blanco in het midden (0,6%) en aan het einde (1,0%) van de toets. Ook gaven ze circa 1,5-2% minder juiste antwoorden in het midden en aan het einde van de toets. Anaya en collega’s concludeerden dat het ordenen van vragen op moeilijkheidsgraad belangrijke gevolgen heeft voor toetsontwerp en leerlingprestaties.
Waarom? Waarschijnlijk omdat een eenvoudige eerste vraag leerlingen helpt hun aanvankelijke twijfels te overwinnen, en het succesgevoel dat ze ervaren hen motiveert om langer door te gaan. Dus eet eerst wat je het lekkerste vindt en bijt dan door de zure appel heen!
Anaya, L., Iriberri, N., Rey-Biel, P., & Zamarro, G. (2022). Understanding performance in test taking: The role of question difficulty order. Economics of Education Review, 90, 102293.
