Goed lezen is blijkbaar een kunst

Deze blog is de opvolger van een blog die ik met Ton van Haperen schreef
Leugens, verdomde leugens en statistieken.

Op 21 december jl. publiceerde het Centraal Planbureau (CPB) het rapport Een blik op de Nederlandse positie in internationale onderwijsrankings. Diezelfde dag – waarschijnlijk op basis van een persbericht – kopte het NRC: Ranglijsten internationaal onderwijs zijn onbetrouwbaar. Om niet overtroffen te worden publiceerde de Volkskrant een dag later een artikel met de titel: CPB: bekende onderwijsranglijsten niet altijd accurate graadmeters, ‘leescrisis’ valt mogelijk mee.

En toen begon de politieke ‘spin’. Als een soort kniepeesreflex kwam spindoctor en tevens voorzitter van de VO-Raad Henk Hagoort met een bericht op zijn favoriete PR-kanaal LinkedIn (zie hieronder) waarin hij schreef: “Verplichte kost voor onder de kerstboom! De conclusie [van het CPB] is nogal onthutsend. Er zijn talloze onzekerheden rondom de vergelijkbaarheid tussen landen en tussen jaren… [en] dat dit soort onderzoeken en internationale vergelijkingen onbruikbaar zijn om beleid op te baseren”.

Op 2 januari had Aleid Truijens blijkbaar genoeg van zijn onzin en schreef in de Volkskrant een column met de titel Helaas, er is geen enkele reden om de leesramp te relativeren. Daarin stelde zij:

Interessanter, en bijna komisch, wordt het als we kijken naar een belangrijke oorzaak die het CPB noemt voor de scherpe daling van Nederland tussen 2015 en 2018. In 2018 werd voor het eerst het ‘kritisch evalueren’ van wat leerlingen lezen getest. Dus: begrijpen wat bedoeld wordt, erover nadenken en erop kunnen reageren. En hé, laten Nederlandse leerlingen dáár nu juist slecht in zijn! Oneerlijk hoor, om hen te vergelijken met leerlingen die dat wel kunnen en daarop af te rekenen.
Het is precies waaraan het volgens leesonderzoekers, de Onderwijsinspectie en de Onderwijsraad (zie lezen.nl en De staat van het onderwijs 2022) in Nederland schort: langere teksten begrijpen, inhoud doorgronden, diepere verbanden leggen. Écht kunnen lezen. Heel goed dus dat Pisa dit onderdeel heeft opgenomen. In absolute zin, in vergelijking tot andere deelnemers, mét dit onderdeel, staat Nederland helaas gewoon waar het staat: niet langer bij de landen die scoren boven Oeso-gemiddelde. En voor wie Pisa nu wantrouwt: ook bij Pirls, het internationale leesonderzoek onder 9-jarigen, daalde Nederland tussen 2001 en 2016 van de tweede naar de veertiende plaats. We voldoen evenmin aan nationale maatstaven. Volgens recent onderzoek van de Onderwijsinspectie haalt de helft van de achtstegroepers niet het minimale leesniveau dat nodig is om maatschappelijk te functioneren. Geen reden tot relativering.
Voorspelbaar genoeg gebeurt dat wel, juist door degenen die medeverantwoordelijk zijn voor de ramp en de oplossing. Henk Hagoort, voorzitter van de VO-Raad, grijpt het nieuwsbericht gretig aan om op Twitter de kanttekeningen van het CPB ‘onthutsend’ te noemen en Pisa-onderzoek ‘onbruikbaar om beleid op te baseren’ te verklaren. De VO-Raad zal dus rustig doorgaan met het faciliteren van falend leesonderwijs.

Mark Ferrari reageerde op Twitter met:

Even. #henkhagoort vz @VO_raad, misbruikt nieuwsbericht CPB. Past namelijk in z’n straatje. Het kritisch onderzoeken doet ie niet. Gelukkig hebben we #aleidtruijens. Zo’n man op deze positie, dat kan toch niet waar zijn. En ook nog bewust docenten negeren. Zum kotzen. Wegwezen.👋

Maar zoals altijd op zowel Twitter als LinkedIn, de kampen vormden zich en op- en aanmerkingen vlogen in de rondte. Maar wat steeds bij mij bleef knagen was de vraag: Hebben de mensen die over en weer reageren eigenlijk de tijd en moeite genomen om het rapport te lezen.

Om te beginnen, wat volgt is geen commentaar op het rapport of op de bevindingen daarvan. Ik heb hun data niet en kan hun analyses niet nagaan. Ik ga er gemakshalve van uit dat de onderzoekers goed en eerlijk werk hebben geleverd.
Wat volgt is wel het resultaat van goed lezen van wat in het rapport staat – iets dat m.i. Hagoort maar ook de ‘journalisten’ van de Volkskrant en het NRC niet deden – om na te gaan of 1) er reden tot relativering van de PISA-resultaten is en 2) men beleid kan baseren op de resultaten van PISA, PIRLS, TIMMS…
Als je de tijd neemt om het rapport kritisch door te nemen, hoef je niet veel te doen om meteen te zien dat het CPB zijn eigen rapport relativeert. Het rapport zelf spreekt van ‘methodologische problemen’ die interpretatie over verschillende landen heen bemoeilijken, maar…ik citeer van de omslag van het rapport nota bene: “Het is onbekend of de optelsom van deze problemen de positie van Nederland gunstig of ongunstig beïnvloedt”. Met andere woorden, Nederland kan het, vergelijkenderwijze, beter hebben gedaan dan wat PISA rapporteert, maar ook slechter.

Maar is PISA een wedstrijd? Gaat het om wie het beter doet en wie slechter? Is het belangrijk dat wij van plaats 8 naar plaats 17 of 12 of 23 zijn gezakt in vergelijking met andere landen? Of gaat het om hoe ons onderwijs het doet in absolute zin? Kunnen onze kinderen goed lezen? Naar mijn mening gaat het om dat laatste.

Dus, laten wij een aantal conclusies van het rapport bekijken:

• Lezen: De absolute score van Nederland bij PISA lezen was tot 2012 vrij stabiel, maar is daarna aanzienlijk gedaald, waardoor Nederland op zowel de totale als de consistente ranking een duikeling heeft gemaakt…[die] tussen 2015 en 2018 zelfs 18 punten bedroeg.
• Wiskunde/Natuurkunde 1: Bij PISA wiskunde en natuurwetenschappen vertoont Nederland een dalende trend in de absolute score.
• Wiskunde/Natuurkunde 1: De absolute score van Nederland bij TIMSS rekenen en natuurwetenschappen is licht dalend.
• De literatuur biedt aanwijzingen dat veranderingen in de afnamemodus, het toetsingskader en de toegepaste statistische methoden een negatieve invloed hebben gehad op de positie van Nederland. Let wel: Een effect op de positie en niet op de absolute scores!
• Sommige studies wijzen erop dat de positie van Nederland gevoelig is voor de moeilijkheidsgraad en de manier waarop daarvoor wordt gecorrigeerd, hoewel het effect niet eenduidig positief of negatief is.
• De positie van Nederland is mogelijk gevoelig voor non-representativiteit, maar het effect is onduidelijk en voor definitieve conclusies is meer onderzoek nodig.
• Er is geen bewijs dat de samenstelling van de leerlingpopulatie of verschillen in taal en cultuur de Nederlandse score substantieel hebben beïnvloed.
• Een opvallende constatering is dat de scherpe daling van de Nederlandse score bij PISA lezen tussen 2015 en 2018 samenviel met een aanzienlijk aantal equivalentieproblemen.
• En nu de killer: Ook is het toetsingskader voor het domein lezen aangepast – met meer aandacht voor kritisch evalueren, waar Nederland relatief minder goed op presteert.

Waarom noem ik deze laatste de killer? Omdat wat hier eigenlijk staat is dat NL achteruit is gegaan vooral omdat Nederlandse leerlingen niet kritisch kunnen lezen en wat ze gelezen hebben niet kritisch kunnen evalueren. Zij hebben geleerd strategisch en tactisch te lezen (e.g., als het woord “dus’ in een stuk tekst staat, dan wijst dat op een gevolgtrekking enzovoorts) en dus (hier mijn gevolgtrekking) zij kunnen wel technisch, maar niet begrijpend lezen! En waarom? Volgens Sander Bax en Theo Witte in hun opiniestuk (Laat examen Nederlands jongeren echt voorbereiden op hun vervolgstudies) in de Volkskrant gaat het om hoe leerlingen getoetst worden op school.

Deze toetsmanier heeft ernstige gevolgen voor het schoolvak Nederlands. Een examen heeft een grote terugslag op het onderwijs dat eraan voorafgaat. Maandenlang wordt er in examenklassen, en ook de jaren daarvoor, geoefend met deelvaardigheden en oude examens begrijpend lezen: ‘teaching to the test’ zoals je dat niet zou willen. Doordat er zoveel afhangt van dit ene onderdeel, is het schoolvak Nederlands uit balans geraakt: leesvaardigheid bepaalt in de praktijk voor 65 procent het eindcijfer. De andere onderdelen (literatuur, schrijfvaardigheid en mondelinge taalvaardigheid) worden in het schoolexamen getoetst en bepalen samen slechts voor 35 procent het eindcijfer.

Met andere woorden, in tegenstelling tot wat Henk Hagoort beweert, dit soort onderzoeken en internationale vergelijkingen zijn ZEER bruikbaar om beleid op te baseren! En hem verder te parafraseren: De conclusie [van Hagoort] is nogal onthutsend.