De leraar is… (a) geslaagd, (b) gezakt?
Deze blog is in een iets andere vorm te vinden in het mei 2021 nummer van Didactief.
Lesgeven gaat over het helpen van leerlingen om de vooraf bepaalde leerdoelen te bereiken. De leraar is degene die leerlingen doceert, begeleidt en ondersteunt om die doelen te bereiken. Het is ook de leraar die dat vaak toetst en dat betekent bijna altijd zelf toetsen samenstellen. Het proces van assessment (een breed begrip dat o.a. toetsing, tentaminering en examinering inhoudt) gaat over of en in hoeverre leerlingen de doelen hebben bereikt. Dit geldt voor zowel summatieve toetsing (prestatiegericht en vaak aan een norm gebonden; voor een cijfer) als formatieve toetsing (om het leerproces te peilen waarbij feedback gegeven wordt over dat leerproces). Hiervoor leren aankomende leraren toetsen en toetsvragen te ontwikkelen en gebruiken, de resultaten te analyseren en daarover te communiceren met leerlingen (denk aan het geven van feedback), om hen beter te helpen leren, maar ook om de instructie te verbeteren. Gaat dit niet goed, dan hebben wij (en vooral de leerlingen) een groot probleem.
Ali Simsek (2016) voerde een onderzoek uit om na te gaan hoe goed docenten toetsvragen maken en waar de problemen liggen bij het maken daarvan. Zijn onderzoek ging over Turkse leraren in het basis- en voortgezet onderwijs en trainers bij bedrijfsopleidingen; ik beperk mij hier tot de leraren.
Simsek keek naar circa vijfduizend zelfgemaakte meerkeuzevragen. De leraren beschikten allen over minstens een universitair bachelordiploma die hen een lesbevoegdheid gaven en hadden in hun lerarenopleiding minimaal één cursus (maar vaak meer) gevolgd over toetsing en evaluatie. Als onderdeel van het onderzoek volgden ze een extra training van tachtig uur, waarvan twintig over meten en evalueren in het onderwijs. De extra deeltraining was gericht op toetsplanning, vragen maken, toetsitems analyseren, betrouwbaarheid van toetsen berekenen en vragen verbeteren in het licht van de resultaten van leerlingen. De docenten kregen persoonlijke instructie, oefenden met vragen maken, kregen feedback en corrigeerden problematische vragen. Vervolgens schreven ze echte meerkeuzevragen voor een toets in hun reguliere lessen. Deze vragen werden vervolgens geanalyseerd.
Helaas ontdekte Simsek dat leraren veel fouten maakten (60% maakte minstens één en vaak meerdere fouten in dezelfde vraag), waarvan de helft – volgens Simsek – ‘ernstige’. De fouten waren niet alleen vormtechnisch van aard, bijvoorbeeld taalfouten (denk aan een ‘het’-woord in de vraag terwijl een of meer van de mogelijke antwoorden het woord ‘de’ nodig hebben), maar ook inhoudelijk, waarbij bijvoorbeeld zelfs het ‘juiste antwoord’ fout was.
De vaakst voorkomende fout was het stellen van te makkelijke vragen (74%) waar de leerling niet over hoeft na te denken of waarin ze een letterlijk antwoord al herkennen. Dat betekende dat de vragen niet overeenkwamen met de leerdoelen, zoals iets in eigen woorden kunnen uitleggen. De op één na meest voorkomende fout (zo’n 50%) was dat een of meer van de te kiezen antwoorden niet logisch of plausibel waren. Denk aan een vraag over wie de uitvinder was van het poliovaccin, met als mogelijke antwoorden Mark Rutte en Johan Cruijff. Zo kon de leerling meteen één of meer antwoorden uitsluiten, waardoor de gokkans groter werd. Ook stelden leraren vragen met een ontkenning (34%), zonder de leerlingen daarop te attenderen (denk aan het onderstrepen of vet maken van het woord niet). Weer andere fouten waren het resultaat van verborgen aanwijzingen (30%), die zogenoemde test wise (toetsvaardige) leerlingen hielpen. Zonder het antwoord te weten konden zij het goede antwoord kiezen! Bijvoorbeeld een antwoord (vaak de vierde die de leraar bedenkt) dat sterk afwijkt van de overige drie.
Een karakteristieke fout, die 27% van de leraren maakte, was dat het juiste antwoord de langste zin was. Dit is vaak een weggevertje omdat de leraar extra details inbrengt die het antwoord ‘echt’ juist maken. Dit heet de too long to be wrong-regel (te lang om fout te zijn). Tot slot stelden de leraren ook een aanzienlijk aantal subjectieve en beoordelende vragen (21%).
Alles bij elkaar kan je op basis van dit onderzoek concluderen dat veel leraren gezakt waren voor het stellen van goede toetsvragen! Wat is de oplossing? Besteed hier meer aandacht aan in de lerarenopleidingen en ook nascholing. Niet alleen hoe je goede toetsvragen stelt, maar ook wat de valkuilen zijn en hoe je die kan vermijden. Misschien slagen de vragenmakers dan wel met vlag en wimpel.
Simsek, A. (2016). A comparative analysis of common mistakes in achievement tests prepared by teachers and corporate trainers. European Journal of Science and Mathematics Education, 4(4), 477-489. Beschikbaar op https://files.eric.ed.gov/fulltext/EJ1118158.pdf
Extraatje: twee websites over vaak voorkomende fouten:
Common Mistakes in Writing MCQs – Problems with Multiple Choice Questions
