kirschner-ED

Menukaart NPO: Een hagelschotbenadering

Jaap Scheerens[1] & Paul A. Kirschner[2]


Er wordt de komende 2,5 jaar €8,5 miljard via het Nationaal Programma Onderwijs (NPO), geïnvesteerd in het onderwijs om de leerachterstanden die ontstaan zijn door Covid19 te repareren, waarvan €5,8 miljard voor het PO en VO. Daarbij stelt het NPO dat “Elke school die met een goed plan komt dat gebruik maakt van effectief bewezen interventies geld krijgt. Die keuzes moeten breed gedragen zijn binnen de scholen, onder meer met instemming van de medezeggenschapsraad. Leraren en schoolleiders zijn daarmee aan zet.”

Om scholen te helpen een gedegen plan te maken is er een Menukaart Interventies Funderend Onderwijs gemaakt bestaande uit interventies (bijna letterlijk overgenomen van de Toolkit van de Educational Endowment Foundation) en Praktijkkaarten (vgl. de EEF Guidance Reports).

De “Menukaart interventies voor het funderend onderwijs” heeft een brede scope. De kaart onderscheidt zes doelgebieden:

  1. Meer onderwijs (binnen of buiten reguliere schooltijden) om bij groepen leerlingen kennis en vaardigheden bij te spijkeren (waaronder voor- en vroegschoolse interventies en zomer- of lente scholen);
  2. Effectievere inzet van onderwijs om kennis en vaardigheden bij te spijkeren (met een zestal interventies zoals 1:1 begeleiding, samenwerkend leren en feedback);
  3. Sociaal-emotionele en fysieke ontwikkelingen van leerlingen (waaronder interventies gericht op het welbevinden van leerlingen);
  4. Ontwikkeling van de executieve functies van leerlingen (waaronder meta-cognitie en zelfregulerend leren);
  5. Extra personeel en ondersteuning (waaronder klassenverkleining en de inzet van “onderwijsassistenten/instructeurs”); en
  6. Faciliteiten en randvoorwaarden (waaronder “ouderbetrokkenheid”, professionalisering, digitale voorzieningen, schoolontwikkeling en verbetercultuur, systematisch monitoren en nieuwe leermiddelen).

We bespreken de menukaart op drie aspecten: kwaliteit, focus en implementatie.

Kwaliteit

De evidentie, die is opgenomen in de Toolkit waar de Menukaart op gebaseerd is, is onderbouwd op basis van reviews door gerenommeerde wetenschappers. Bij deze reviews is frequent gebruik gemaakt van de resultaten van meta-analyses maar de EEF heeft ook een eigen begroting om zelf onderzoek uit te (laten) voeren. De presentatie is handzaam; van iedere interventie wordt een geschatte effectgrootte weergegeven. De beoordeling van iedere interventie wordt vergezeld door een drietal kwalificaties, te weten 1) een inschatting van de kosten voor het invoeren en onderhouden van de interventie, 2) de sterkte van het wetenschappelijk bewijs over de interventie, en 3) de impact in het aantal maanden vooruitgang dat een interventie met zich meebrengt. De onderbouwing is goed gedocumenteerd. Desgewenst kunnen de achterliggende studies geraadpleegd worden.

Noot:
Meta-analyses brengen problemen met zich mee. Belangrijkste hier is het conceptuele probleem oftewel, verstaat iedereen onder een begrip hetzelfde. Met andere woorden, als een meta-analyse over motivatie of feedback gaat, bedoelden de onderzoekers van de oorspronkelijke onderzoekingen hetzelfde? Als er onderzoekingen bij elkaar worden genomen over de effecten van een bepaalde medicijn op een bepaalde ziekte, zijn de onderzoekers het eens met elkaar wat de medicijn is en wat de zieke c.q. ziekteveroorzaker is. In het onderwijs is dat lang niet het geval.

Naast het hierboven vermelde probleem, is het verschil in specificiteit van de interventies ook problematisch; sommige, bijvoorbeeld “digitale technologie” of “vroeg- en voorschoolse interventies” zijn zeer breed en algemeen omschreven dat ze functioneel waardeloos zijn! Daarentegen zijn andere interventies zoals die op het terrein van effectieve instructie concreter, bijvoorbeeld 1-op-1 begeleiding. Op het terrein van interventies gericht op het welbevinden van leerlingen wordt zelfs een lijst met programma’s voor sociaal-emotioneel leren opgesomd. Toch geldt in algemene zin dat, om in de beeldspraak van de Menukaart te blijven, er geen kant en klare gerechten worden opgediend, en ook geen gedetailleerde recepten. Dit wordt niet als een bezwaar gezien: iedere door onderzoek ondersteunde interventie zal altijd moeten worden aangepast aan de specifieke kenmerken van de onderwijssituatie ter plaatse. Mits “met verstand” toegepast is de presentatie van de op de Toolkit gebaseerde menukaart een bruikbare input voor het realiseren van de doelstelling van het NPO. Wat we hiermee bedoelen leggen we verder uit in de volgende paragrafen over “focus” en “implementatie”.

Focus

De scope is dus breed. Het kan als een voordeel worden gezien dat scholen op deze manier allerlei kanten op kunnen. Dit past in het beeld van een terughoudende overheid die duizend bloemen wil laten bloeien en stelt dat de scholen aan zet zijn om de voor henzelf beste keuzes te maken. Tegelijkertijd wordt deze enorme financiële injectie uitgevoerd met een specifieke bedoeling, namelijk het goedmaken van de achterstanden die zijn opgelopen door de pandemie. De overheid heeft deze bedoeling niet zo nadrukkelijk gestipuleerd dat er implicaties aan worden verbonden voor de keuze die scholen uit de menukaart mogen maken.

In openbaar debat over het NPO is door verschillende betrokkenen naar voren gebracht dat de gelden niet alleen voor directe “reparatie” van door de pandemie veroorzaakte malheur zouden moeten worden gebruikt, maar liefst ook voor duurzame verbetering van de kwaliteit van het onderwijs. Wanneer men beide doelstellingen “goedmaken van door de pandemie opgelopen achterstanden” en “duurzame verbetering van de kwaliteit van het onderwijs” serieus neemt is er aanleiding tot een meer gericht advies over het gebruik van de “menukaart”. Met betrekking tot de eerste doelstelling zou men dan kunnen denken aan een keuze voor interventies die rechtstreeks gezien kunnen worden als noodzakelijk voor het inlopen van de achterstanden in onderwijstijd en verloren “opportunities” bij onderwijs in basisvakken. Interventies als “een-op een tutoring”, verschillende manieren om lestijd in basisvakken te vergroten, waaronder het organiseren van zomerscholen. Met betrekking tot de tweede doelstelling geldt dat sommige interventies en strategieën effectiever zijn dan andere. Dit is ook op te maken uit de verschillen in effectgroottes die de EEF Toolkit aangeeft. Maar hierover bestaat een uitvoeriger literatuur, (bv., Scheerens, 2021, Kirschner, Claessens, & Raaijmakers, S. (2019)) die gebruikt zou kunnen worden om scherpere keuzes te maken. De kern zou kunnen bestaan uit “Mastery learning”, “Tutoring”, “Feedback” en eventueel “Meta-cognition and self-regulation”.

Noot:
Door het feit dat de brede EEF- categorieën worden gebruikt, is er geen enkele aandacht voor goedkope, eenvoudig in te voeren en meer dan bewezen interventies zoals oefentoetsing (retrieval practice), verspreid leren (spaced practice), gevarieerd oefenen (interleaving, enzovoorts), productieve leerstrategieën (bv., zelftoetsen, uitweiden/elaboratie, enz.). Hierdoor zie je ook een valkuil waaraan zelfs de meest specifieke interventies aan ten prooi vallen. Een-op-een begeleiding/tutoring klinkt specifiek, maar hoe doe je dat? Welke van de net genoemde didactische technieken gebruik je? Of gebruik je bewezen ineffectieve methoden zoals heel-woord lezen i.p.v. phonics om een-op-een een leesachterstand in te halen?

De werkzame mechanismen van effectieve instructie zijn een “geleide’ en gestructureerde aanpak (zoals bij directe of expliciete instructie); tijd en opportunity, en gebruik van formatieve evaluatie en feedback. Conclusie: het verdient aanbeveling om aanvullende voorlichting aan scholen te geven over interventies die het meest geschikt zijn om te komen tot onderwijsverbetering in basisvakken.

Regie, accountability en ondersteuning bij de implementatie

Bij een investering als deze zou men regie van de overheid mogen verwachten. Enkele mogelijke aanpakken voor deze regie zouden kunnen zijn:

  • Conditionele toewijzing van middelen op basis van toetsing van plannen
  • Financiële monitoring; verantwoording waar het geld aan besteed wordt (vergezeld van aanwijzingen over waar het wel en niet aan besteed zou mogen worden)
  • Outputcontrole met zowel positieve als negatieve sancties
  • Outputcontrole zonder sancties (overall evaluatie van dit “programma”)

In de praktijk lijkt alleen sprake te zijn van een verwijzing naar interne monitoring en externe evaluatie zonder sancties. Besturen leggen verantwoording af in hun jaarverslag. Daarnaast worden op landelijk niveau de uitvoering en ontwikkeling van het Programma gemonitord en geëvalueerd (brief Minister 23 maart). De nadere uitwerking hiervan wordt in het vooruitzicht gesteld. De Rekenkamer heeft inmiddels kritiek uitgeoefend op het nagenoeg ontbreken van accountability bij de besteding van de NPO miljarden. Ook het team “Red het Onderwijs” heeft de open einde financiering gehekeld, en waarschuwt voor nadelige gevolgen hiervan voor de toekomstige bereidheid om in degelijke plannen voor verbetering te investeren.

Bij de implementatie van de op de Engelse Toolkit gebaseerde menukaart moet niet uit het oog verloren worden dat Britse leerkrachten hoger zijn opgeleid (universitair geschoold) dan Nederlandse leerkrachten en veel nascholing (moeten) volgen. Dit vestigt de aandacht op behoeften aan betere opleidingen voor leerkrachten, meer nascholing en levenslange professionalisering, die verder gaan dan korte sessies en vliegende brigades. Hier wringt het NPO, hoeveel geld men ook ter beschikking heeft, omdat langere opleidingstrajecten nodig zijn dan de looptijd van het programma toelaten (2,5 jaar).

Wat betreft ondersteuning wordt verwezen naar een “kenniscommunity” en worden scholen aangemoedigd om hun bestaande netwerken te gebruiken. Deze minimale sturing door middel van monitoring en gedecentraliseerde ondersteuning past perfect bij de status quo rondom kwaliteitsbeleid in het Nederlandse onderwijs. De voordelen hiervan zijn veel ruimte voor eigen initiatief en entrepreneur schap en een overzienbare bureaucratie. De nadelen zijn risico’s wat betreft ondoelmatigheid, “goal displacement” en “progressively worse” (Peal, 2014; zie deze blog); dat wil zeggen het laten prevaleren van modieuze, maar minder effectieve praktijken, zoals ver doorgevoerd “gepersonaliseerd” leren en het relativeren van de centrale plaats van vakgebonden kennis. In de voorlichting zou er daarom ook gewezen moeten worden op bewezen niet effectieve praktijken.

Een incrementele verbetering in de regie zou eruit kunnen bestaan dat criteria en standaarden van de landelijke opbrengst evaluatie vooraf bekend worden gemaakt, zodat er hiervan een richtinggevende werking kan uitgaan (zie ook het eerder geciteerde commentaar van de Rekenkamer). In de tweede plaats zouden de credentials (kwalificaties) van de ondersteuners in de kenniscommunity aan toetsing onderhevig moeten worden gemaakt.

Tot slot

Bij de vragen over de implementatie van de Toolkit in het kader van het NPO moesten wij denken aan de evaluatie van het Amerikaanse Follow Through programma (compensatieprogramma, opvolger van Head Start). Dit speelde zich af in de zeventiger jaren van de vorige eeuw.

The program was organized as a planned-variation experiment in which different models for educating disadvantaged children were to be tested in a variety of settings”.

Er werden niet minder dan 13 verschillende programma’s uitgevoerd. Bij verschillende evaluaties en her-evaluaties werden die dertien varianten samengevat tot drie typen: “Basic skills – (models like “direct instruction’ and “behavioral analysis” applied to basic subjects). “Cognitive conceptual” (these models emphasized the more complex ‘learning to learn” and problem solving skills) and “Affective cognitive”

(These models focused primarily on self-concept, and secondarily on “learning to learn” skills).

De evaluaties wezen uit dat de Basic skills models veel effectiever waren dan de andere twee typen van modellen. Sindsdien is de empirische onderbouwing van het model van directe instructie alleen maar verder versterkt. Vergelijk bijvoorbeeld de meta-analyse van Stockard et al., (2018). De vraag naar het waarom van de koppige ontkenning van deze onderzoeksresultaten moet beantwoord worden door de aantrekkelijkheid van ineffectieve strategieën verder te onderzoeken. Intussen kunnen we het wiel opnieuw blijven uitvinden.

Referenties

Kirschner, P. A., Claessens, L. & Raaijmakers, S. (2019) Op de schouders van reuzen Inspirerende inzichten uit de cognitieve psychologie voor leerkrachten. Meppel, NL: Ten Brink. Gratis te bestellen bij www.opdeschoudersvanreuzen.nl

Peal, R. (2014). Progressively worse: The burden of bad ideas in British schools. London, VK: Civitas http://www.civitas.org.uk/pdf/ProgressivelyWorsePeal.pdf

Scheerens, J. (2021) Hefbomen voor onderwijsverbetering: de overheid aan zet. Wat zeggen de resultaten van onderwijs-effectiviteitsonderzoek? Rapport in opdracht van OC&W (manuscript, nog niet openbaar)

Stockard, J., Wood, T.W., Coughlin, C., and Khoury, C. R. (2018) The Effectiveness of Direct Instruction Curricula: A Meta-Analysis of a Half Century of Research. Review of Educational Research, 88(4), 479 –507.


[1]     Prof. Dr. Jaap Scheerens is hoogleraar emeritus Universiteit Twente; vakgebied onderwijsorganisatie- en management en lid Team Red het Onderwijs

[2]     Prof. Dr. Paul A. Kirschner is emeritus hoogleraar onderwijspsychologie aan de Open Universiteit en Gastprofessor aan Thomas More Hogeschool, België en lid Team Red het Onderwijs

Facebook
Twitter
LinkedIn
Email
WhatsApp