Wat is een natuurlijk experiment? Wikipedia definieert een natuurlijk experiment als een empirisch onderzoek waarbij individuen (of clusters van individuen) worden blootgesteld aan de experimentele en controlecondities. Die condities worden bepaald door de natuur of door andere factoren waarover de onderzoekers geen controle hebben. Het proces dat de blootstellingen regelt, heeft aantoonbaar overeenkomsten met willekeurige toewijzing. Neem bijvoorbeeld een epidemie waar je kan observeren welke mensen met welke bloedgroep ziek worden tijdens die epidemie. Hiervoor is geen experiment in een laboratorium nodig.

Natuurlijke experimenten zijn dus observationele studies en worden niet gecontroleerd in de traditionele zin van een gerandomiseerd experiment. Natuurlijke experimenten zijn het nuttigst wanneer er een duidelijk gedefinieerde blootstelling is geweest met een goed gedefinieerde subpopulatie (en vaak de afwezigheid van blootstelling in een vergelijkbare subpopulatie), zodat veranderingen in uitkomsten plausibel kunnen worden toegeschreven aan de blootstelling. In die zin is het verschil tussen een natuurlijk experiment en een niet-experimenteel observationeel onderzoek dat het eerste een vergelijking bevat van omstandigheden die de weg vrijmaken voor causale gevolgtrekking, terwijl dit bij de tweede niet zo is.

Een typisch voorbeeld van een natuurlijk experiment zou kunnen zijn het effect van daglicht op de mens. In de staat Texas, of nog beter de Canadese provincie Northwest Territories, liggen de oostkant van de staat en de westkant meer dan één tijdzone van elkaar vandaan, echter die staat / provincie kent slechts één tijdzone. Dit betekent dat als school of werk of wat dan ook om 8:30 in de ochtend begint aan de oostkant dat, volgens de zon, het nog maar 7:30 ’s ochtends aan de westkant is (idem natuurlijk voor hoe laat de school- of werkdag eindigt). Immers, hoewel de zon een uur later opkomt of een uur later ondergaat aan de westkant, de kloktijd is op beide plaatsen hetzelfde. Omdat oost en west in dezelfde staat is, met dezelfde wet- en regelgeving, hetzelfde schoolsysteem, dezelfde Tv-programma’s, enzovoorts kan je naar schoolcijfers, arbeidsproductiviteit, verkeersongelukken, gevoelens van geluk of wat dan ook kijken / meten en proberen conclusies te trekken over het effect van daglicht of het gemis daarvan op die dingen. Immers, in de winter zouden aan de oostkant kinderen de schooldag beginnen, automobilisten naar hun bestemmingen rijden en ga zo maar door, in het licht en eindigen in het donker. Terwijl het aan de westkant net andersom is; daar beginnen ze in het donker en aan het einde is het nog licht. Je zou dat ook in centraal Europa kunnen proberen, maar dan heb je met landen, wetgeving, culturen en allerlei andere contaminerende factoren te maken die je niet in Texas of de Northwest Territories hebt.

In Montana hebben onderzoekers namelijk een daadwerkelijk natuurlijk experiment gedaan. In Helena, Montana gold een rookverbod in alle openbare ruimtes, inclusief bars en restaurants, gedurende de zes maanden van juni 2002 tot december 2002. Helena is geografisch geïsoleerd en wordt bediend door slechts één ziekenhuis. De onderzoekers merkten op dat het aantal hartaanvallen met 40% was gedaald terwijl het rookverbod van kracht was. Tegenstanders van de wet hadden de overhand om de handhaving van de wet na zes maanden op te schorten, waarna het aantal hartaanvallen weer toenam. Deze studie is een voorbeeld van een case-crossover natuurlijk experiment, waarbij de blootstelling enige tijd wordt verwijderd en vervolgens teruggegeven.

Een Onderwijsvoorbeeld

Waarom heb ik het hierover? Omdat wij net een natuurlijk experiment hebben meegemaakt. Van de ene dag op de andere gingen scholen en winkels dicht, moesten mensen thuiswerken in plaats van naar hun werk te gaan enzovoorts. Voor de Covid-19 epidemie las je overal studies over o.a. hoe saai en vervelend de scholen waren (eigenlijk hoe saai en vervelend kinderen zeiden dat ze de school vonden of de meningen van ouders daarover), hoe slecht het verfoeilijke fabrieksonderwijs was voor het leren (het remde het leren van kinderen; beter was ze veel vrijer te laten) en hoe de autonomie en het zelfregulerende vermogen van leerlingen genegeerd werd (zij kunnen best zelf bepalen wat, hoe en wanneer zij leerden).

Nou, de afgelopen maanden hebben de kinderen thuis gezeten. Zij hebben zo goed en zo kwaad als het ging onderwijs op afstand gekregen, ze kregen veel meer ruimte om hun dagen in te delen, te bepalen hoe zij leerden en ga zo maar door. En wat lees je nu? Kinderen snakken om naar school te gaan, leren thuis was saai en op school was het veel leuker, zij missen hun (ouderwetse) leerkrachten en de goede (zogenoemde geestdodende) lessen die zij op school krijgen, zij kunnen hun leren niet reguleren maar zitten te gamen en te appen tijdens de online lessen, zij menen achter geraakt te zijn deels door hun eigen onvermogen om geconcentreerd te leren, enzovoorts. Blijkens dit natuurlijke experiment was de school echt niet zo saai, was het fijn om naar school te gaan, en konden zij hun eigen leren niet goed reguleren.

Want goed blijven opletten tijdens de online les bleek een uitdaging. Dat merkte bijvoorbeeld Madeleine uit 4 havo. “Ik startte de online les op mijn telefoon en ging ondertussen wat anders doen op mijn laptop, zoals gamen.” Madeleine was niet de enige. 86 procent van de scholieren gaf bij de rondgang van NOS Stories aan weleens langer dan tien minuten iets anders te doen, 49 procent zei dit heel vaak te doen.

“Als niemand controleert of je echt bezig bent, is het veel makkelijker om iets anders te gaan doen”, aldus Madeleine. De consequenties had ze toen nog niet direct door. “Die zie ik pas nu ik een 4 heb gehaald voor wiskunde.

Dat de lessen na de zomervakantie weer gewoon op school gaan plaatsvinden is voor Madeleine goed nieuws. “Dan krijg ik weer de ondersteuning die ik nodig heb en hoef ik niet meer alles zelfstandig te doen.”

https://nos.nl/artikel/2338165-de-consequenties-van-online-lessen-nu-heb-ik-een-4-voor-wiskunde.html

Wat dit natuurlijke experiment goed laat zien, is dat men moet ophouden met dat romantische en progressieve gezwets en zich in plaats daarvan moet concentreren op het helpen zorgen dat het onderwijs niet ‘radicaal veranderd’ wordt maar daar waar het minder is verbeterd wordt.

Extra

Hier, voor de liefhebber, een ander Covid-19 voorbeeld:

COVID-19 Lockdown Allows Researchers to Quantify the Effects of Human Activity on Wildlife

• https://www.nature.com/articles/s41559-020-1237-z
• https://www.bbc.com/news/science-environment-53113896

en een leuke beschrijving van 19 natuurlijke experimenten

• http://economicspsychologypolicy.blogspot.com/2015/06/list-of-19-natural-experiments.html

Een verkorte versie hiervan is verschenen in het juninummer van Didactief.

De laatste weken heb ik een aantal meta-analyses en reviewstudies gelezen over zaken die gewoon, maar vooral nu in deze moeilijke tijden, bijzonder relevant zijn. Hier twee m.i. zeer relevante studies.

Van Toetsen kan je Leren

De eerste gaat over toetsen om te leren, een literatuurstudie door Sally Binks. Hoe beïnvloedt toetsen het leren? Je kunt toetsing gebruiken voor drie doelen: je kunt peilen wat een leerling geleerd heeft en daar een cijfer aan verbinden. Zoiets kennen wij als summatieve toetsing. Je kan toetsing ook gebruiken om te volgen hoe het leerproces van een leerling vordert en hoe jouw onderwijs daarbij aansluit. Deze heet formatieve toetsing. Tot slot, kan je toetsing ook gebruiken om het leren van de leerling bevorderen. Zoiets heet – zoals Dominique Sluijsmens het noemt – toetsing als kans om te leren; oftewel toetsing als leerstrategie (retrieval practice / oefentoetsing). Bij dit laatste veroorzaak je ‘wenselijke moeilijkheden’ (desirable difficulties, Bjork en Bjork, 2011). Je lijkt het leren moeilijker te maken, maar je laat leerlingen op de lange termijn de kennis juist beter onthouden. Met oefentoetsing vraagt je hen om wat ze hebben geleerd (gelezen, gehoord, gezien) actief uit hun geheugen terug te halen.

Binks concludeert dat oefentoetsing het leren positief beïnvloedt, zowel direct als indirect. Het zorgt dat leerlingen het geleerde beter en langer onthouden dan wanneer ze bijvoorbeeld herhaaldelijk de leerstof bestuderen (ook als ze bij dat laatste meer tijd aan de stof besteden!). Ook leidt oefentoetsing tot betere opslag van nieuwe informatie (encoding) en leerlingen zetten zich meer in: bij regelmatige oefentoetsing gaan ze meer studeren. De feedback die je geeft, helpt leerlingen bovendien betere keuzes te maken in de stof waar ze nog wat meer aandacht aan moeten besteden (metacognitie). Ten slotte lijken leerlingen door oefentoetsing het geleerde beter te kunnen toepassen in andere gebieden (transfer). [Terzijde, oefentoetsing kan ook toetsangst helpen verminderen zoals ik hier eerder besprak.]

De onderzoeker geeft ook een aantal praktische wenken: gebruik wat zij noemt ‘productietoetsen’ en geen herkenningstoetsen. Met andere woorden zorg dat leerling actief een antwoord moeten bedenken of produceren en niet dat zij enkel uit een reeks alternatieven ‘de juiste’ moeten herkennen. Begin niet te moeilijk maar gebruik eerst herinneringsvragen en werk toe naar toepassingsvragen. Toets niet te vaak (tja, wat is te vaak eigenlijk); zorg dat er voldoende tijd tussen de toetsen zijn (denk hier aan gespreid oefenen). Geef volledige feedback, inclusief uitleg waarom een antwoord juist of onjuist is; met andere woorden geef de leerling bruikbare/leerbare informatie. Ik heb eerder hier en hier uitgebreid over de verschillende soorten feedback die men kan gebruiken en hoe zij werken. En niet te vergeten: laat leerlingen de voordelen van proeftoetsen zelf ervaren; vertellen is NIET voldoende.

Feedback Geven Tijdens het Lezen Werkt Averechts

De tweede studie gaat over feedback geven (en is daarmee verwant aan de eerste). Er is vaak geschreven over hoe belangrijk dit is, maar er zijn verschillende typen en je kunt het op verschillende momenten doen. Wat helpt wel en niet? Elise Swart en haar collega’s van de Universiteit Leiden bestudeerden de effecten van de inhoud en de timing op begrijpend lezen. Ze analyseerden 104 (deel)studies met 6.124 deelnemers en ontdekten: leerlingen begrijpen en onthouden een tekst beter door feedback, zeker als je deze direct na (en niet tijdens) het lezen geeft. Daarnaast werkt het beter als je niet alleen meldt dat het antwoord (on)juist is, maar ook uitlegt waarom en eventueel extra? instructie biedt. Ook hiervoor geldt: doe dit niet terwijl de leerling nog aan het lezen is, maar direct erna.

Juist dit mag raar klinken: we ‘weten’ dat we zo mogelijk al tijdens een taak feedback moeten geven, om fouten in het begrip meteen te herstellen. Maar uit het onderzoek van Swart en collega’s blijkt dat je bij begrijpend lezen beter wat geduld kunt hebben. Dit is te verklaren vanuit de cognitive load theory. Feedback tijdens het lezen dwingt de lezers hun aandacht te verdelen tussen het opbouwen van een coherent mentaal model van de tekst, de verwerking van de taak én de feedback. Met andere woorden, het vereist dat de lezer multitaskt (wat de lezer niet kan!). Als je pas (direct) ná het lezen feedback geeft, geef je leerlingen de kans om hun beperkte werkgeheugencapaciteit volledig in te zetten om een mentaal model van de tekst te creëren.

En passant laat de tweede studie ook nog even zien waar de meta-analyse voor staat: Making Education Terrific Again.

Binks, S. (2018). Testing enhances learning: A review of the literature. Journal of Professional Nursing, 24, 205-210. https://doi.org/10.1016/j.profnurs.2017.08.008

Bjork, E. L., & Bjork, R. A (2011). Making things hard on yourself, but in a good way: Creating desirable difficulties to enhance learning. In M. A. Gernsbacher, R. W. Pew, & J. R. Pomerantz (Eds), Psychology and the Real World: Essays Illustrating Fundamental Contributions to Society (pp.59–68). New York, NY: Worth Publishers.

Swart, E. K., Nielen, T. M. J., & Sikkema-de Jong, M. T. (2019). Supporting learning from text: A meta-analysis on the timing and content of effective feedback. Educational Research Review, 28. https://doi.org/10.1016/j.edurev.2019.100296

Als je mij kent, weet je ook dat ik vind dat (1) leerervaringen, naast effectief en efficiënt, ook bevredigend moeten zijn (d.w.z. dat leerlingen succes en voldoening ervaren) en (2) succes in leren motiveert tot verder leren en niet andersom.

Door het toeslaan van het Covid19-/coronavirus heb ik het lezen herontdekt. Terwijl ik altijd veel tijd heb besteed aan lezen, is dat vooral professioneel/zakelijk van aard. Aan de lopende band lees ik gepubliceerde wetenschappelijke artikelen, concepten daarvan van collega’s en studenten, artikelen die ingediend bij de tijdschriften die ik beheer of waarvoor ik review, onderwijsblogs, enzovoort. Naast een professioneel leven (incl. het zelf schrijven van boeken, artikelen en blogs alsmede het voorbereiden en verzorgen van presentaties) besteed ik de nodige tijd aan mijn gezin, koken (nog een van mijn passies), fietsen en wandelen met mijn vier chihuahua’s. Tegen de tijd dat ik ‘niets te doen’ had en zou kiezen om voor mijn plezier te lezen, was het meestal zo laat of ik was zo moe dat ik na een paar pagina’s in slaap viel.

Nu ik echter wat tijd heb omdat alle presentaties geannuleerd zijn (), heb ik het lezen voor mijn plezier herontdekt. Een van de boeken die ik recentelijk las was Outliers (Uitblinkers) van Malcolm Gladwell. In Outliers, bespreekt Gladwell wat het is dat een uitblinker tot uitblinker maakt, inclusief al het werk doen dat nodig is om uit te kunnen blinken. Om uit te blinken in wat dan ook, moet je veel doen en belangrijk hiervoor is dat je dit werk ‘zinvol’ vindt.

Wat is zinvol?

We horen al jaren van ‘progressieve onderwijshervormers’ dat leerervaringen moeten zinvol zijn voor de student/leerling. Het probleem hier is dat deze hervormers vaak op een zeer oppervlakkige en/of triviale manier naar zinvolheid kijken. In hun ogen maak je een leeropdracht zinvol door situaties en ervaringen te creëren waar kinderen zich mee kunnen ‘identificeren’ of waar zij de nut van inzien. Denk aan het snijden en verdelen van pizza’s (in plaats van te leren werken met breuken) of het gebruik van ‘relevante’ redactiesommen. Maar volgens Gladwell is iets zinvol (meaningful) als er een (over)duidelijke relatie is tussen de daarvoor nodige en geleverde inspanning en de ervaren beloning (d.w.z. het ervaren van succes). Door het ervaren van succes krijg je een gevoel van voldoening van de geleverde inspanning, wat je dan motiveert om door c.q. verder te gaan. In het onderwijs is dat meer te (willen) leren.

Niet iedereen houdt van pizza (of kan zich in het snijden daarvan vereenzelvigen) en niet iedereen ziet het verhaal in de redactiesommen als relevant voor haar of zijn situatie, maar iedereen geniet van het voldane gevoel van “Ja, ik kan het!”

Het doet er niet toe wat ik zelf vind van de vraag of kinderen van jongs af aan moeten leren programmeren. Zolang het over meningen gaat, heeft niemand gelijk. Wat er wel toe doet is dat, als je toch kiest om kinderen of jonge volwassenen te leren programmeren, moet je het goed doen.

Tony Jenkens zei in 2002:

Als leerkrachten programmeren ooit echt een leeromgeving willen ontwikkelen waarin alle studenten snel en goed leren programmeren, is het van vitaal belang dat ze inzicht krijgen in de moeilijkheden en complexiteiten waarmee de studenten worden geconfronteerd. Op dit moment is de manier waarop programmeren wordt aangeleerd en geleerd fundamenteel verbroken (p. 1).

en

Papers beschrijven hoe wij allerlei toeters en bellen [EN: visual hooks and props] kunnen gebruiken om lerenden te engageren, of hoe programmeren bijna als trucje / voorwendsel [EN: subterfuge] geleerd kan worden via spelletjes. Dit zijn allemaal mooie ideeën, maar er bijna geen concreet bewijs dat deze manieren van lesgeven enig effect heeft op het leren (p. 1).

Programmeren wordt in het algemeen behandeld als een STEM-vak (Science, Technology, Engineering, Math). Toch delen programmeertalen veel kenmerken met een (tweede) natuurlijke taal. Duh! Het is niet voor niets dat wij spreken van ‘programmeertalen’. Programmeertalen kennen eigen woorden en symbolen en ze hebben een eigen grammatica en syntaxis (zinsbouw). Als je programmeert, creëer je betekenis door de woorden en symbolen op basis van regels (grammatica en vooral syntaxis) aan elkaar te rijgen. Onderzoek laat zien (Denny e.a., 2011) dat leerlingen enorm worstelen met die syntaxis van programmeertalen. Paul Denny en collega’s ontdekten bijvoorbeeld dat leerlingen meestal een broncode (leesbare tekst van de programmeur in een programmeertaal) inleveren met fouten in de syntaxis: zwakkere leerlingen maakte syntaxfouten in bijna drie kwart (73%) van de gevallen en zelfs de beste leerlingen maakte syntaxfouten ongeveer 50% van de tijd.

Leren programmeren lijkt op het leren van een tweede taal, zo wijst onderzoek uit. Met rekenvaardigheid heeft het veel minder te maken.

Uit recent onderzoek van Chantel Prat en collega’s van de universiteit van Washington (2020) blijkt dat vooral een natuurlijke aanleg om talen te leren, lijkt te voorspellen of je goed kan (leren) programmeren. Die aanleg komt beter van pas dan wiskundige kennis of rekenvaardigheid. Dat komt, volgens de onderzoekers, doordat het schrijven van een broncode lijkt op het leren van een tweede taal: je moet de woordenschat en grammatica van die taal leren en snappen hoe deze samen ideeën en bedoelingen communiceren. In een interview in Science Daily vertelt Prat dat programmeren vaak nodeloos ingewikkeld wordt gemaakt door stereotypen over hoe een goede programmeur eruitziet, maar ook door toeleidingscursussen, doordat deze gebaseerd zijn op het idee dat programmeren sterk afhankelijk is van wiskundige vaardigheden. Dat laatste wordt niet ondersteund door het onderzoek van Prat en collega’s.

Daarin moesten deelnemers een simpel spelletje (Rock, Paper, Scissors / Steen, Papier, Schaar) programmeren in Python. De taal Python werd gekozen omdat die taal, volgens de onderzoekers, erop is gericht ‘lezersvriendelijk’ te zijn en veel van de manieren waarop dit wordt bereikt hebben taalkundige relevantie. In Python spring je in wat alineahiërarchieën nabootst in plaats gebruik te maken van accolades ({}). Het gebruikt ook woorden (bijvoorbeeld ‘niet’ en ‘is’) om bewerkingen aan te duiden, in plaats van symbolen die in andere programmeertalen worden gebruikt.

De onderzoekers beoordeelden de leerresultaten op drie verschillende manieren: 1) leersnelheid, 2) programmeernauwkeurigheid (het maken van een Rock, Paper, Scissors Game) en 3) declaratieve kennis (nauwkeurigheid op een meerkeuzetest van 50 items, inclusief vragen rond het algemene doel van functies, semantische kennis en syntactische kennis).Of dit lukte, bleek vooral af te hangen van hun taalvaardigheid. Vaardigheden als rekenen en logisch en abstract redeneren (fluid intelligence) waren veel minder van invloed. De onderzoekers vonden dat taalvaardigheid verklaarde meer dan 70% van de verschillen tussen betere en minder goede leerders in hoe snel zij leerden programmeren in Python. Slechts een klein deel had te maken met hun rekenvaardigheid.

Dichter bij huis (TU Delft en Universiteit Leiden) onderzochten Felienne Hermans, Alaaeddin Swidan, and Efhimia Aivaloglou (2018) hoe het programmeeronderwijs verbeterd kon worden. Haar aanbeveling: neem een voorbeeld aan aanpakken die gewoonlijk in taalonderwijs worden gebruikt. Zo is bekend uit haar onderzoek met Alaaeddin Swidan (2019) dat beginnende lezers een tekst beter begrijpen wanneer ze deze hardop lezen. Dit wordt toegeschreven aan het feit dat hardop lezen (zgn. vocalisatie) de aandacht op de tekst vestigt. Hermans en collega’s willen weten of het hardop lezen van broncode op een vergelijkbare manier werkt: ondersteunt dit kinderen bij het leren programmeren? De eerste resultaten zijn bemoedigend: leerlingen die de broncode hardop lazen, scoren hetzelfde op begrip als leerlingen die de broncode alleen in stilte lazen, maar ze onthouden wel beter wat er in die code stond.

Hermans’ volgende stap, qua onderzoek, wordt de overgang van echt hardop lezen naar alleen in gedachten hardop lezen. In taalonderwijs weten we dat naarmate leerlingen ouder worden, ze meer in stilte vertrouwen op zogenoemde subvocalisatie: het lezen van tekst met de innerlijke stem (e.g., Daneman & Newson, 1992; Prior, Fenwich, Saunders, Ouellette, O’Quinn, & Harvey, 2011; Slowiaczek & Clifton, 1980). Van subvocalisatie is bekend dat het ook het leesbegrip verbetert, ook bij bekwame, volwassen lezers. Zou dit ook gelden voor programmeren?

Als het leren programmeren echt lijkt op het leren van een tweede taal, kan dit een doorbraak betekenen voor effectief, efficiënt en bevredigend programmeeronderwijs, ongeacht je mening over de noodzaak daarvan.

Daneman, M., & Newson, M., (1992). Assessing the importance of subvocalization during normal silent reading. Reading and Writing, 4(1), 55–77. https://doi.org/10.1007/BF01027072

Denny, P., Luxton-Reilly, A., Tempero, E., & Hendrickx, J. (2011). Understanding the syntax barrier for novices. In ITiCSE ‘11: Proceedings of the 16th annual joint conference on Innovation and technology in computer science education (pp. 208–212). Association for Computing Machinery. https://doi.org/10.1145/1999747.1999807

Hermans, F., Swidan, A., & Aivaloglou, E. (2018). Code phonology: An exploration into the vocalization of code. In ICPC ‘18: Proceedings of the 26th Conference on Program Comprehension (pp. 308-311). Association for Computing Machinery. https://doi.org/10.1145/3196321.3196355

Jenkins, T. (2002, August). On the difficulty of learning to program. In Proceedings of the 3rd Annual Conference of the LTSN Centre for Information and Computer Sciences (Vol. 4, No. 2002, pp. 53-58).

Prat, C. S., Madhyastha, T. M., Mottarella, M .J., & Kuo, C. H. Relating natural language aptitude to individual differences in learning programming languages. Scientific Reports, 10, 3817 (2020). https://doi.org/10.1038/s41598-020-60661-8

Prior, S. M., Fenwick, K. D, Saunders, K. S., Ouellette, R., O’Quinn, C., & Harvey, S., (2011). Comprehension after oral and silent reading: Does grade level matter? Literacy Research and Instruction, 50(3), 183–194. https://doi.org/10.1080/19388071.2010.497202

Slowiaczek, M. L, & Clifton, C., (1980). Subvocalization and reading for meaning. Journal of Verbal Learning and Verbal Behavior, 19(5), 573–582. https://doi.org/10.1016/S0022-5371(80)90628-3

Swidan, A., & Hermans, F. (2019). The effect of reading code aloud on comprehension: An empirical study with school students. In CompEd ‘19: Proceedings of the ACM Conference on Global Computing Education (pp. 178-184), Association for Computing Machinery. https://doi.org/10.1145/3300115.3309504