Wat is een natuurlijk experiment? Wikipedia definieert een natuurlijk experiment als een empirisch onderzoek waarbij individuen (of clusters van individuen) worden blootgesteld aan de experimentele en controlecondities. Die condities worden bepaald door de natuur of door andere factoren waarover de onderzoekers geen controle hebben. Het proces dat de blootstellingen regelt, heeft aantoonbaar overeenkomsten met willekeurige toewijzing. Neem bijvoorbeeld een epidemie waar je kan observeren welke mensen met welke bloedgroep ziek worden tijdens die epidemie. Hiervoor is geen experiment in een laboratorium nodig.

Natuurlijke experimenten zijn dus observationele studies en worden niet gecontroleerd in de traditionele zin van een gerandomiseerd experiment. Natuurlijke experimenten zijn het nuttigst wanneer er een duidelijk gedefinieerde blootstelling is geweest met een goed gedefinieerde subpopulatie (en vaak de afwezigheid van blootstelling in een vergelijkbare subpopulatie), zodat veranderingen in uitkomsten plausibel kunnen worden toegeschreven aan de blootstelling. In die zin is het verschil tussen een natuurlijk experiment en een niet-experimenteel observationeel onderzoek dat het eerste een vergelijking bevat van omstandigheden die de weg vrijmaken voor causale gevolgtrekking, terwijl dit bij de tweede niet zo is.

Een typisch voorbeeld van een natuurlijk experiment zou kunnen zijn het effect van daglicht op de mens. In de staat Texas, of nog beter de Canadese provincie Northwest Territories, liggen de oostkant van de staat en de westkant meer dan één tijdzone van elkaar vandaan, echter die staat / provincie kent slechts één tijdzone. Dit betekent dat als school of werk of wat dan ook om 8:30 in de ochtend begint aan de oostkant dat, volgens de zon, het nog maar 7:30 ’s ochtends aan de westkant is (idem natuurlijk voor hoe laat de school- of werkdag eindigt). Immers, hoewel de zon een uur later opkomt of een uur later ondergaat aan de westkant, de kloktijd is op beide plaatsen hetzelfde. Omdat oost en west in dezelfde staat is, met dezelfde wet- en regelgeving, hetzelfde schoolsysteem, dezelfde Tv-programma’s, enzovoorts kan je naar schoolcijfers, arbeidsproductiviteit, verkeersongelukken, gevoelens van geluk of wat dan ook kijken / meten en proberen conclusies te trekken over het effect van daglicht of het gemis daarvan op die dingen. Immers, in de winter zouden aan de oostkant kinderen de schooldag beginnen, automobilisten naar hun bestemmingen rijden en ga zo maar door, in het licht en eindigen in het donker. Terwijl het aan de westkant net andersom is; daar beginnen ze in het donker en aan het einde is het nog licht. Je zou dat ook in centraal Europa kunnen proberen, maar dan heb je met landen, wetgeving, culturen en allerlei andere contaminerende factoren te maken die je niet in Texas of de Northwest Territories hebt.

In Montana hebben onderzoekers namelijk een daadwerkelijk natuurlijk experiment gedaan. In Helena, Montana gold een rookverbod in alle openbare ruimtes, inclusief bars en restaurants, gedurende de zes maanden van juni 2002 tot december 2002. Helena is geografisch geïsoleerd en wordt bediend door slechts één ziekenhuis. De onderzoekers merkten op dat het aantal hartaanvallen met 40% was gedaald terwijl het rookverbod van kracht was. Tegenstanders van de wet hadden de overhand om de handhaving van de wet na zes maanden op te schorten, waarna het aantal hartaanvallen weer toenam. Deze studie is een voorbeeld van een case-crossover natuurlijk experiment, waarbij de blootstelling enige tijd wordt verwijderd en vervolgens teruggegeven.

Een Onderwijsvoorbeeld

Waarom heb ik het hierover? Omdat wij net een natuurlijk experiment hebben meegemaakt. Van de ene dag op de andere gingen scholen en winkels dicht, moesten mensen thuiswerken in plaats van naar hun werk te gaan enzovoorts. Voor de Covid-19 epidemie las je overal studies over o.a. hoe saai en vervelend de scholen waren (eigenlijk hoe saai en vervelend kinderen zeiden dat ze de school vonden of de meningen van ouders daarover), hoe slecht het verfoeilijke fabrieksonderwijs was voor het leren (het remde het leren van kinderen; beter was ze veel vrijer te laten) en hoe de autonomie en het zelfregulerende vermogen van leerlingen genegeerd werd (zij kunnen best zelf bepalen wat, hoe en wanneer zij leerden).

Nou, de afgelopen maanden hebben de kinderen thuis gezeten. Zij hebben zo goed en zo kwaad als het ging onderwijs op afstand gekregen, ze kregen veel meer ruimte om hun dagen in te delen, te bepalen hoe zij leerden en ga zo maar door. En wat lees je nu? Kinderen snakken om naar school te gaan, leren thuis was saai en op school was het veel leuker, zij missen hun (ouderwetse) leerkrachten en de goede (zogenoemde geestdodende) lessen die zij op school krijgen, zij kunnen hun leren niet reguleren maar zitten te gamen en te appen tijdens de online lessen, zij menen achter geraakt te zijn deels door hun eigen onvermogen om geconcentreerd te leren, enzovoorts. Blijkens dit natuurlijke experiment was de school echt niet zo saai, was het fijn om naar school te gaan, en konden zij hun eigen leren niet goed reguleren.

Want goed blijven opletten tijdens de online les bleek een uitdaging. Dat merkte bijvoorbeeld Madeleine uit 4 havo. “Ik startte de online les op mijn telefoon en ging ondertussen wat anders doen op mijn laptop, zoals gamen.” Madeleine was niet de enige. 86 procent van de scholieren gaf bij de rondgang van NOS Stories aan weleens langer dan tien minuten iets anders te doen, 49 procent zei dit heel vaak te doen.
“Als niemand controleert of je echt bezig bent, is het veel makkelijker om iets anders te gaan doen”, aldus Madeleine. De consequenties had ze toen nog niet direct door. “Die zie ik pas nu ik een 4 heb gehaald voor wiskunde.
Dat de lessen na de zomervakantie weer gewoon op school gaan plaatsvinden is voor Madeleine goed nieuws. “Dan krijg ik weer de ondersteuning die ik nodig heb en hoef ik niet meer alles zelfstandig te doen.”
https://nos.nl/artikel/2338165-de-consequenties-van-online-lessen-nu-heb-ik-een-4-voor-wiskunde.html

Wat dit natuurlijke experiment goed laat zien, is dat men moet ophouden met dat romantische en progressieve gezwets en zich in plaats daarvan moet concentreren op het helpen zorgen dat het onderwijs niet ‘radicaal veranderd’ wordt maar daar waar het minder is verbeterd wordt.

Extra

Hier, voor de liefhebber, een ander Covid-19 voorbeeld:

COVID-19 Lockdown Allows Researchers to Quantify the Effects of Human Activity on Wildlife
https://www.nature.com/articles/s41559-020-1237-z
https://www.bbc.com/news/science-environment-53113896

en een leuke beschrijving van 19 natuurlijke experimenten
http://economicspsychologypolicy.blogspot.com/2015/06/list-of-19-natural-experiments.html