Leugens, verdomde leugens en statistieken[1]
Paul A. Kirschner en Ton van Haperen
Statistiek, cijfers en onderwijs, het is een ongelukkige combinatie. De werkelijkheid is nu eenmaal weerbarstiger dan het cijfer. Maar media hebben getallen nodig voor een gesprek over problemen. Leraren met klachten, daar kunnen ze niks mee. Die worden vermorzeld met het argument particulier leed in dat potdichte klaslokaal, een typisch geval van gevoelstemperatuur. Statistieken zijn daarentegen keihard, die kwantificeren, geven aan hoe erg iets is. Getelde ellende pikt de gemiddelde journalist dan ook direct op, zeker als een persbericht dat uitschreeuwt. 24% van de 15 jarigen leest slecht, bijna de helft van de schoolverlaters is laaggecijferd, een kwart van de jongeren weet weinig van de Holocaust, dat heeft nieuwswaarde. Redactieleden van praatprogramma’s pakken de telefoon, de tien minuten pratende hoofden op televisie volgt als vanzelf. Politiek en bestuur gaan gemiddeld genomen pas daarna aan de slag.
Nadat de mediastorm overgaat in verontwaardiging, ongeloof en gespeelde daadkracht volgt vaak snel de relativering van de cijfers. De 24% slechte lezers komt uit het gezaghebbend landenvergelijkend onderzoek van de OESO, PISA. Het Centraal Planbureau (CPB) schrijft een rapport over landenvergelijkende onderwijsonderzoeken en stelt dat dergelijke cijfers schijnexacte kenmerken hebben. De populaties verschillen, net als de schoolsystemen en het meten meet door deze methodologische problemen niet altijd hetzelfde. Het CPB schrijft overigens ook keurig; “Het is onbekend of de optelsom van deze problemen de positie van Nederland gunstig of ongunstig beïnvloedt”.
Niks mis met de kritiek van onderzoekers op elkaars onderzoek. Sterk, het verscherpt de observaties. Maar vanaf hier begint ook het selectief shoppen ten behoeve van het eigen gelijk. Henk Hagoort is voorzitter van de VO-raad en gewiekste shopper. De VO-raad vertegenwoordigt de bestuurders, in ons bestel de aansprakelijke partij bij onderwijsfalen. Hagoort is vanuit dat particulier belang als een kind zo blij met het rapport van het CPB. Kijk nou, we doen het helemaal niet slecht, de terugloop in kwaliteit is een broodje aap verhaal, dus minister, laat ons met rust en dan gaan wij door met wat we doen, en dat is: vooral, niets doen.
Vanaf hier ontspoort het debat, want zo zorgvuldig het CPB zich uitdrukt, zo gênant is het opportunisme van Hagoort. Met dat lezen op school is namelijk wel degelijk iets mis. Het aantal slecht lezende 15 jarigen lag in 2000 op 10%, nu op 24, dat is meer dan een verdubbeling. Niet het niveau telt, maar de beweging en die is overduidelijk dalend (of stijgend als het over laaggeletterdheid gaat). En ja, het toetsingskader van PISA voor het domein lezen is aangepast met meer aandacht voor kritisch evalueren, zoals het CPB terecht constateert. Dat maakt die ‘meer dan verdubbeling’ minder exact maar des te zorgelijker. Scherp kijken – eigenlijk gewoon het rapport lezen – leert dat die Nederlandse vijftienjarige juist op dat kritisch evalueren minder goed scoort.
Achter die constatering schuilt een heus drama. Nederlandse leerlingen zijn slechter in kritisch lezen en hebben meer moeite met inhoudelijk evalueren van teksten dan hun leeftijdgenoten in het buitenland. Dat komt omdat zij op school vooral strategisch en tactisch lezen, niet begrijpend. Ze weten dat na het woord ‘dus’ een gevolgtrekking komt, maar waar de tekst over gaat, dat is lastig voor ze maar de vraag ‘Welke conclusie trekt de schrijver?’ is makkelijk te beantwoorden. En dat is weer een direct gevolg van wat er op school gebeurt en hoe het lezen getoetst wordt.
Net als het CPB levert de statisticus Casper Albers kritiek op het rapport over de kennis van de Holocaust. Ook hier methodologische problemen. Niet representatief en de cijfers zeggen niks over het onderwijs, want de bevraagde populatie bestaat uit 20 tot 40 jarigen. Klopt, maar ook hier maakt de methodologische kritiek het er niet beter op. De ouders uit dit onderzoek krijgen of hebben kinderen, die kinderen leren thuis, ach, de Holocaust, die dingen gebeuren of zijn zelfs niet gebeurd. Er zijn daarnaast voldoende andere onderzoeken die aantonen dat met name het Nederlands onderwijs moeite heeft met het onderwijzen van de Holocaust. In Nederland leefden voor de Tweede Wereldoorlog 150.000 joden, 105.000 daarvan zijn op transport gezet. 5000 daarvan kwamen terug. Klopt deze statistiek? Weten leraren die voor de klas staan dit eigenlijk? Praten ze hierover met leerlingen? Durven ze hierover met leerlingen te praten?
Zo lang algemeen vormend onderwijs staat voor doorgeven wat van waarde is, kunnen de genoemde onderzoeken in combinatie met verstandig nadenken niet anders dan sturen op verandering. Want de Holocaust is elke dag een dag langer geleden, maar ‘dit nooit meer’ is toch een beginsel dat ons bindt. Onderwijs in de Holocaust dat, net als lezen en rekenen, aantoonbaar niet goed gaat, neem de signalen uit onderzoeken die dat laten zien serieus en vooral, doe het beter.
[1] Volgens Mark Twain (Samuel Clemens; auteur van o.a. het boek Tom Sawyer) van Britse Premier Benjamin Disraeli maar waarschijnlijk van Twain zelf. Het is een uitdrukking die de overtuigingskracht beschrijft van statistieken om zwakke argumenten te versterken.
