Wanneer gaan economen de boel eindelijk eens opruimen?

Na de financiële crisis leek het even dat economen zich een stuk bescheidener gingen opstellen, althans op het gebied van de macro-economie. Of dachten ze eerder aan het spreekwoord ‘als je geschoren wordt, moet je stil zitten’? Nadat enkele hogepriesters van de economenkaste, zoals Alan Greenspan en Paul Krugman, eventjes het boetekleed aantrokken, lijkt het vooral business as usual.

Ook in Nederland!

In 2012 komen 14 economen, onder redactie van Harry van Dalen en Kees Koedijk, met het ebook “Nieuwe kijk op economie gevraagd”. Daarin roepen zij hun collega’s op tot “bescheidenheid en terughoudendheid, en ook een kijk op relevantie.” Maar vervolgens wordt vastgesteld dat “met de bestaande kennis niets mis is”, alleen met “de wijze waarop men met het vak omgaat”. Het gaat erom dat “de econoom uit zijn leunstoel moet komen en economie niet als een simpele wiskundige exercitie moet beschouwen.”.

Deze oproep heeft niet zozeer betrekking op de wetenschappelijke artikelen waarop academische economen worden afgerekend; zonder wiskunde worden deze vrijwel niet geaccepteerd. Evenmin op de adviezen die economen aan beleidsmakers verschaffen; vooral aan CPB-rapporten kun je aflezen dat wiskundige modellen belangrijker zijn dan “bescheidenheid en terughoudendheid”. Nee, hun kritiek en aanbevelingen richten zich overwegend op het onderwijs, en dan nog vrijwel uitsluitend op het middelbare economieonderwijs. Dat is vreemd want slechts één auteur geeft (ook) economieles op de middelbare school, terwijl de meeste auteurs op de universiteit werkzaam zijn. Het was moediger geweest als de auteurs de hand in eigen boezem hadden gestoken, door eerlijk naar het universitaire onderwijs te kijken.

Helaas, de bespreking daarvan moet weer van buiten komen, van kritische studenten en promovendi die zich hebben verenigd in Rethinking Economics NL. In mei jl. brengen zij een zeer gedetailleerd rapport uit over de universitaire economieprogramma’s. Die lijden aan intellectuele armoede en sluiten niet aan op de vaardigheden die economiestudenten in hun latere maatschappelijke rol nodig hebben. Het meest alarmerende: niet minder dan 86% van het bacheloronderwijs heeft een neoklassieke inslag, een marktaandeel dat economen bij andere markten al snel een monopolie noemen. In de publicatie van Van Dalen en Koedijk komen de woorden ‘neoklassiek’ en ‘monopolie’ echter helemaal niet voor!

De onwil – en waarschijnlijk ook het onvermogen – om het economische onderzoek en onderwijs op een andere leest te schoeien, blijkt eveneens uit de Canon van de Economie (2016), waarin de crème de la crème van de Nederlandse economen uitlegt wat het economisch onderzoek heeft opgeleverd op de verschillende deelterreinen. Op enige bescheidenheid zijn ze moeilijk te betrappen. Integendeel, ze wekken de indruk dat ze voor elk economisch probleem wel een oplossing in voorraad hebben. Elders sprak ik van een grabbelton waarin iedereen wel iets van zijn gading kan vinden. Wat je ook als een vorm van lafheid kunt beschouwen.

Replicatieonderzoek

Als een moreel appèl van binnenuit en kritiek van buitenaf niet helpen, hoe kunnen we beter economisch onderzoek dan wél bevorderen? Het ligt voor de hand om replicatieonderzoek flink te stimuleren. Door eerder onderzoek nog eens uit te voeren kan immers worden vastgesteld of er mogelijk sprake is van een soort wetenschappelijke eendagsvlieg die ten onrechte het eeuwig leven wordt toegeschreven. Een indirect positief effect zou kunnen zijn dat wetenschappelijke studies zodanig worden uitgevoerd (en gepubliceerd) dat zij überhaupt gerepliceerd kunnen worden. Hoe is de huidige stand van zaken?

De Koninklijke Nederlandse Academie van Wetenschappen (KNAW) doet in januari jl. verslag van een uitgebreide inventarisatie, met als belangrijkste aanbeveling: “Het systematisch herhalen van onderzoek van anderen moet normaler worden.”. Bij de sociale wetenschappen beperkt het KNAW-rapport zich tot het vakgebied psychologie. Dit is natuurlijk te danken aan Diederik Stapel die in september 2011 wordt betrapt op het gebruik van frauduleuze onderzoeksgegevens. Zelfs de New York Times besteedt aandacht aan de affaire en noemt hem de grootste oplichter (‘con man’) in de wetenschap.

De KNAW constateert dat bij slechts 0,7 procent van de artikelen in de 100 meest geciteerde psychologische tijdschriften sprake is van het als replicatie-onderzoek (p. 64). Dit lijkt heel weinig maar de economen doen het nóg veel slechter. Volgens een Duitse studie, die de KNAW wél in haar literatuurlijst vermeldt maar verder niet gebruikt, kan voor de periode 1974 – 2014 een luttele 0,1 procent van de publicaties in de top-50 economische vaktijdschriften als replicatieonderzoek worden aangemerkt. Terwijl deze onderzoekers nota bene een ruimere definitie hanteren dan de KNAW.

Experimental Economics is het enige vaktijdschrift dat op haar website expliciet open staat voor replicatieonderzoek, maar blijkbaar alleen als het eerdere onderzoek “controversial findings” heeft opgeleverd; dus niet als het nieuwe normaal zoals de KNAW wil. Bij twee tijdschriften heeft de redactie in het verleden wel verzocht replicatie-onderzoek in te sturen, maar wegens gebrek aan belangstelling is deze oproep niet meer actueel.

Ook op een indirecte manier kunnen wetenschappelijke tijdschriften kunnen replicatie-onderzoek stimuleren, namelijk door auteurs te verplichten de gebruikte datasets of modellen aan andere onderzoekers ter beschikking te stellen. Volgens de Duitse studie zeggen slechts 29 van de 50 economische toptijdschriften een ‘data disclosure policy’ te hanteren. Bij maar negen daarvan is aanlevering van de data ook echt verplicht. Nog vreemder: bij 37% van de empirische studies die in deze negen journals zijn gepubliceerd, is de dataset niet beschikbaar. Redacteuren en reviewers van economische tijdschriften vinden het dus blijkbaar niet echt belangrijk dat empirische studies gerepliceerd kunnen worden.

Zijn ze bang dat replicatiestudies op hun vakgebied net zo slecht scoren als bij psychologie, zoals gedocumenteerd in het KNAW-rapport (paragraaf 4.4)? Of vrezen ze het oordeel van Stanford-expert John Ioannidis, die in een recente studie concludeert dat in de empirische economische literatuur bijna 80% van de onderzochte effecten zijn “exaggerated; typically, by a factor of two and with one‐third inflated by a factor of four or more.”

Of ligt het aan de wijze waarop de wereld van de wetenschappelijke tijdschriften in elkaar steekt? Het gaat hier om big business waar grote uitgeverijen een goed belegde boterham verdienen (zie een recent FTM-artikel hierover). Ze maken daarbij handig gebruik van redacteuren en reviewers die voor hun diensten slecht of helemaal niet worden betaald. Geen wonder dat deze niet moeilijk gaan doen wanneer onderzoekers nalaten om de vereiste gegevens aan te leveren. Vooral als een tijdschrift wil scoren met bekende wetenschappers, zoals ik hier laat zien.

Van onderzoeksfondsen daarentegen zou je toch méér mogen verwachten, want die worden overwegend met publiek geld gefinancierd en hebben goedbetaalde wetenschappers in dienst. De Duitse onderzoekers vinden echter bij geen van de 36 onderzochte fondsen een expliciet replicatiebeleid. Wel hanteert ongeveer de helft richtlijnen die in de goede richting gaan, zoals over ‘data sharing’ (61%) en ‘data management planning’ (44%). Ik vermoed dat dergelijke richtlijnen weliswaar worden vermeld op de website maar in de praktijk nauwelijks gewicht in de schaal leggen.

NWO en CPB geven niet het goede voorbeeld

Hoe scoort Nederland op dit terrein? NWO, die hier het overgrote deel van het wetenschappelijk onderzoek financiert, heeft sinds september 2016 een pilotprogramma voor replicatieonderzoek, waarmee zij naar eigen zeggen wereldwijd voorop loopt. Maar bij al haar andere programma’s hanteert NWO nergens de regel dat een projectvoorstel alleen kans van slagen maakt als hun onderzoek repliceerbaar is. Moeten we haar pilotprogramma dus als een doekje voor het bloeden beschouwen?

In juli 2017 maakt NWO de eerste negen gehonoreerde projecten bekend. Geen daarvan zit in het economische domein. Ik vermoed dat dit ook gaat gelden voor de tweede ronde. Want zoals blijkt uit het Duitse onderzoek, hebben economen niet voldoende prikkels om tijd aan replicatieonderzoek te besteden. Het publiceren van nieuw onderzoek met positieve resultaten staat veel hoger aangeschreven. Daar verandert het NWO-initiatief waarschijnlijk niet veel aan.

De grootste Nederlandse economische onderzoeksclub, het CPB, kunnen we evenmin betrappen op voorbeeldgedrag. Het doet geen enkele moeite om zijn studies zodanig te verantwoorden dat andere onderzoekers deze kunnen repliceren. Zeker, het geeft op de website (summiere) informatie over de gehanteerde modellen, en levert sinds 2015 zijn ramingsdata, maar dat is niet voldoende voor replicatieonderzoek. Overigens vrees ik dat heel weinig economen zo moedig zijn het CPB de oren te wassen.

Bij de ramingen over het basisinkomen maakt het CPB helemaal een slechte beurt. In 2015 komt het met de voorspelling dat een basisinkomen van circa 750 euro per maand tot een verlies van 350.000 banen zal leiden. Gebaseerd op slechts één pagina in een rapportje van 18 pagina’s. Meer heb je als CPB’er niet nodig: je hebt immers een econometrisch model waar je allerlei beleidsmaatregelen op loslaat, en de uitkomsten stop je in een tabel die alleen nog even kort toegelicht moeten worden.

Bovendien bevat deze exercitie een geheel eigen interpretatie van het begrip replicatie. Zoals ik hier betoog, hebben de betrokken CPB-onderzoekers doodleuk de enige eerdere studie over basisinkomen geactualiseerd, maar dan zonder dit expliciet te vermelden. Dat lijkt mij een vorm van fraude, maar blijkbaar komen ze daar gewoon mee weg.

Economisch imperialisme

Natuurlijk moeten we niet teveel verwachten van replicatieonderzoek. Vooral als dit neerkomt op min of meer dezelfde analyses, toegepast op dezelfde dataset (want dat doen economen graag), en uitgaande van dezelfde theorie. Repliceren van neoklassiek onderzoek gaat de economie als wetenschap echt niet verbeteren: garbage in, garbage out.

Er moet ook een medicijn worden gevonden voor twee kwalen die de economische wetenschap al heel lang teisteren. De eerste staat bekend als economisch imperialisme. De meest bekende vertegenwoordiger is Gary Becker, de Nobelprijswinnaar Economie in 1992. Hij is van mening dat “the economic approach is a comprehensive one that is applicable to all human behavior.” Let wel: niet sommige, niet de meeste, zelfs alle menselijke gedragingen. Ja, zelfs gedrag dat niets te maken lijkt te hebben met economisch handelen, zoals misdaad, politiek, gezinsvorming en liefde, kunnen economen van een verklaring voorzien.

Sinds kort heeft deze kwaal een nieuwe variant. Allerlei psychologische studies waarin wordt onderzocht in hoeverre de mens een rationele of juist een irrationele diersoort is, wordt doodleuk aangeduid als gedragseconomie.

Deus ex machina

Economen hebben de neiging vrijwel alles terug te voeren op één enkel theoretisch concept, dat is de tweede kwaal. Zo constateert Nobelprijswinnaar Ronald Coase dat lange tijd gold: “If an economist finds something (..) that he does not understand, he looks for a monopoly explanation” (Coase 1988; 67).

Sinds hij zijn collega’s heeft overtuigd van de belangrijke rol die economische transactiekosten kunnen spelen, zijn economen echter geneigd dit concept voor van alles en nog wat te gebruiken: “if you can’t understand it, it must be transaction costs” (Winship en Rosen 1988; S8).

Inmiddels geldt het concept signalling als een nieuwe Deus ex Machina die een econoom altijd kan gebruiken als hij met lege handen staat. Naar aanleiding van het boek The Elephant in the Brain: Hidden Motives in Everyday Lifedat hij samen met Kevin Simler heeft geschreven, krijgt Robin Hanson de vraag welk gedeelte van het menselijk gedrag kan worden herleid tot signalling. “In a rich society like ours, well over ninety per cent.” zegt hij zonder aarzelen. Vervolgens wordt hem gevraagd welke activiteit daar niet onder valt. Zijn antwoord: “scratching your butt.”

Tijd voor de Grote Opruiming

Is er een remedie voor deze twee kwalen? Laten we eerst maar expliciet gaan benoemen wat economen nog niet kunnen verklaren. The Economist heeft begin dit jaar het goede voorbeeld gegeven. Haar serie over tekortkomingen van de economische professie (binnenkort op deze blog te lezen) bevat artikelen onder meer over economische groei, business cycles en de micro-economie (het deelterrein waarop onderzoekers als Coase en Hanson werkzaam zijn).

Nog een stap verder gaan Bruno Frey en David Iselin. Hun boek Economic Concepts You Should Forget bevat meer dan 50 economische concepten die volgens de auteurs op drijfzand berusten, en dus het beste vergeten kunnen worden.

Wanneer komt de Koninklijke Vereniging voor de Staathuishoudkunde (KVS) met een voorstel richting NWO of KNAW voor de oprichting van nog een extra subsidiefonds? Speciaal bedoeld voor onderzoekers die gaan uitvlooien welke economische concepten en theorieën hoognodig aan de vuilnisman meegegeven kunnen worden. Dat lijkt mij de beste manier om het geschonden vertrouwen in economen en economie weer te herstellen.

En de KVS kan dan voortaan van de daken roepen dat zij wereldwijd de eerste economenvereniging is die de moed heeft kritisch naar haar eigen beroepsgroep te kijken. Op die manier kan zij zich revancheren voor haar domme bewering (nog steeds op de ESB-website!) dat zij “de oudste beroepsvereniging van economen ter wereld” is.

S. de Beter

PS. Afgelopen weekend las ik een interessante column van J. Bradford DeLong die eveneens opriep oude denkbeelden te herzien, op het terrein van de monetaire politiek. (12/7/2018)

Share

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *


Deze vraag is bedoeld om spambots tegen te gaan. Spambots zijn stukjes software die op sites automatisch formulieren invullen om zo de website te kunnen bestoken met ongewenste berichten. Spambots kunnen niet interpreteren wat het antwoord moet zijn.

Wilt u mij een persoonlijk bericht sturen? Mail naar s.debeter@gmail.com

Wilt u zich op mijn blog abonneren (wat ik zeer waardeer), dan hoeft u alleen uw emailadres in te vullen en daaronder op 'Abonneren' te klikken.

Laatste berichten