Een Ode aan de Wetenschappelijke Methode
Matthew Richter: The Thiagi Group and Co-Organizer of The Learning Development Accelerator
Oorspronkelijk gepubliceerd op de Learning Development Accelerator blog
Om een regel van Clark Quinn te lenen, net als Democratie, wetenschap is niet perfect,
maar het is verreweg beter dan al het andere dat we hebben.
De laatste tijd zijn er veel artikelen, blogposts, podcasts en social media video’s die het falen van onderzoek en wetenschap benadrukken. Velen wijzen vrolijk op de mogelijke fraude die voortkomt uit werk in de gedragseconomie en sociale psychologie. En dan hebben we het nog niet eens over de hele vaccinatiekwestie. Velen hekelen de “crisis” in peer-reviewed tijdschriften. Anderen klagen dat concepten die ze hebben omarmd, gebruikt en verkocht in hun adviespraktijken nu als dubieus worden bestempeld. En velen gebruiken deze voorbeelden als “bewijs” dat de wetenschap, het onderzoek zelf, niet betrouwbaar is. Dat onderzoek is en is nooit praktisch geweest in tegenstelling tot het “echte” werk in het veld. Ik [NB: in deze blog, de aanduiding ‘ik’ en ‘mijn’ betreffen de auteur Matthew Richter]hoor steeds vaker: “Als het werkt, waarom zou ik het dan niet gebruiken, ondanks wat het onderzoek zegt?”
Mijn antwoord… wetenschap, en specifiek de wetenschappelijke methode, werken wel degelijk! Misschien niet perfect, maar perfect is een onmogelijke lat om te leggen als je bedenkt hoe lang en hoeveel mensen betrokken moeten zijn voor goed onderzoek. Maar zonder replicatie, zonder goede statistische modellering, krijgen we de problemen die onlangs werden aangekaart niet te pakken. Sterker nog, zonder dat de wetenschap in de loop van de tijd steeds meer leert, groeien en leren we nooit. Beluister deze podcast van Planet Money voor een prachtige samenvatting van enkele van de huidige “onderzoekscrises”.
Het zijn juist de methoden die, als ze goed worden uitgevoerd, ons in staat stellen om onderzoek te blijven uitdagen en in twijfel te trekken. Om niet een enkel artikel als evangelie te accepteren. De wetenschap ving deze problemen op… zoals het hoort. En onafhankelijke onderzoekers die een goede wetenschappelijke methodologie toepassen, zorgden ervoor dat dit gebeurde. Om slechte methodologie op te sporen (die bestaat), om slechte analyses te identificeren en om te bemiddelen in politiek die goede wetenschap in de weg staat.
Natuurlijk hebben we ook een interpretatieprobleem. Mijn vriend, Clark Quinn, noemde dit misvattingen, waarbij beoefenaars en journalisten – inclusief de PR-afdelingen van de universiteiten en bedrijven – onderzoek verkeerd karakteriseren, kortwieken en verkeerd toepassen. Of dat ze de genoemde beperkingen negeren en proberen te generaliseren wat er in een onderzoek is geleerd (en wat vaak niet eens geponeerd wordt door de onderzoekers zelf).
Goede wetenschappelijke methodologie is gebaseerd op empirisme. Empirisme is het gebruik van processen en methoden die de potentiële onjuistheden ondervangen waar rationalisme en vooral intuïtie toe kunnen leiden bij het observeren van onze wereld. Replicatie is bijvoorbeeld een manier om fouten op te sporen. Eén of twee onderzoeken maken nog geen solide wetenschap. Het is slechts een begin. Goede wetenschappelijke methodologie vereist dat we een idee poneren dat een hypothese wordt genoemd. In tegenstelling tot wat veel mensen denken over wetenschap, proberen we de hypothese niet te bewijzen. We proberen hem te weerleggen. We proberen hem te FALCIFICEREN. En hoe vaker we falen, hoe waarschijnlijker het is dat onze hypothese klopt. Ons doel in de wetenschap is, dus, om het “minder fout” te hebben. Maar we zullen het nooit helemaal bij het rechte eind hebben. Hoe meer manieren we proberen om het oorspronkelijke idee te breken, hoe beter. Maar we kunnen een hypothese nooit BEWIJZEN. We kunnen het alleen niet weerleggen. Vandaar dat steekproefgrootte, populatiedemografie, factoring, verschillende vormen van validatie en andere op onderzoek gebaseerde hulpmiddelen helpen om de “Maar, het werkt…”-mentaliteit die hierboven is benadrukt te verminderen wanneer “het” echt niet werkt.
Dit betekent dat wetenschappelijke principes en ideeën die er in eerste instantie goed uitzien, na verloop van tijd verdwijnen. Maar nieuwe bouwen voort op wat we leren. We worden beter. We worden beter door het gecontroleerde proces van wetenschap – het opzettelijk falen van een idee… of, het onvermogen om een idee te weerleggen. Beide zijn goed! Dus als we iets kunnen weerleggen… zoals leerstijlen die leerresultaten beïnvloeden, of andere modellen of hulpmiddelen die we in ons werk gebruiken, dan is dat geen slechte dag geweest. Neen; het tegendeel is waar. Het is eerder een dag om te vieren. We vieren feest omdat we iets nieuws hebben geleerd en dichter bij de ultieme waarheid zijn gekomen. [Paul: Daarom zijn onderzoeken met ‘geen significante resultaten’ juist zo belangrijk. Het weten dat iets niet werkt is even belangrijk als weten wet wel werkt] Maar waarheid in de wetenschap is als het herhaaldelijk doormidden snijden van een lijn. Er zal altijd weer een andere helft zijn om door te snijden. En nog een helft ad infinitum. Met andere woorden, we stoppen nooit met halveren. Maar als die lijn zooooo klein is dat je hem niet meer kunt zien, dan zijn we waarschijnlijk goed genoeg om de hypothese te accepteren als een wetenschappelijke theorie. Wetenschappelijke theorieën zijn in de praktijk dagelijkse waarheden.
Waar het op neerkomt is dat als we iets te weten komen dat niet door de wetenschap wordt ondersteund nadat we dachten dat het dat misschien wel was, we dat moeten vieren. Een feestje bouwen! Als we erachter komen dat iets wat we al heel lang omarmen en wat van vitaal belang is voor ons huidige werk, toch niet wordt ondersteund door onderzoek, moeten we onderzoeken waarom, vragen stellen en valideren. En dan feestvieren! Het betekent dat de wetenschap precies werkt zoals het zou moeten.
Dus de volgende keer dat iemand de goede oude wetenschappelijke methode afkraakt, of beweert dat onderzoeksprocessen stom zijn, of dat we niet langer op de wetenschap kunnen vertrouwen, vraag haar of hem dan om te laten zien hoe de wetenschap feitelijk is weerlegd.
