Te licht bevonden

Nog steeds zijn er economen die hun vakgebied graag vergelijken met de natuurwetenschappen. Vanwege hun zoektocht naar wetten die altijd en overal gelden? Vanwege hun voorkeur voor wiskundige modellen?

Maar op twee punten hadden ze geen groter contrast kunnen kiezen. Zoeken de beta-onderzoekers voortdurend naar de (fysieke) omstandigheden waaronder bepaalde effecten wel of juist niet optreden, economen nemen al gauw genoegen met handvol statistisch significante correlaties. Een tweede verschil: stellen natuurwetenschappers hoge eisen aan de repliceerbaarheid van hun empirische studies, bij economen en andere sociale wetenschappers komt het woord replicatie niet of nauwelijks voor in hun vocabulaire, zoals ik hier laat zien.

Volgens een Duitse studie kan voor de periode 1974 – 2014 een luttele 0,1 procent van de publicaties in de top-50 economische vaktijdschriften als replicatieonderzoek worden aangemerkt. Daarmee scoort dit vakgebied nog lager dan de psychologie: bij slechts 0,7 procent van de artikelen in de 100 meest geciteerde psychologische tijdschriften is er sprake van replicatie-onderzoek. Dankzij Diederik Stapel is deze sociale wetenschap flink bezig met een inhaalslag. Zo doet zij goed mee met het pilotprogramma voor replicatieonderzoek dat NWO sinds september 2016 in haar pakket heeft.

Bij de economische wetenschappen ligt dit heel anders: geen van de tot dusver gehonoreerde projecten is afkomstig uit het economische domein. Tekenend is bovendien dat Experimental Economics het enige vaktijdschrift is dat op haar website expliciet open staat voor replicatieonderzoek. Bij twee tijdschriften heeft de redactie in het verleden wel verzocht replicatie-onderzoek in te sturen, maar wegens gebrek aan belangstelling is deze oproep niet meer actueel.

Wat eveneens opmerkelijk is: de enige economische studies in Nederland die met enige goede wil als replicatie-onderzoek kunnen worden aangemerkt, zijn uitgevoerd door economen die niet bij een economische faculteit zijn aangesteld. Zoals Servaas Storm van de TU Delft die in detail heeft gekeken naar een artikel van Besley en Burgess (2004), dat is gepubliceerd in een van de zogeheten economische toptijdschriften. Waar ze werken met een double-blind peer review, wat geldt als de meest kritische procedure in wetenschapsland.

Maar wat gebeurt er als reviewers zich er met een Jantje van Leiden vanaf maken? Onder het mom van “ik krijg er niet voor betaald en zelf moet ik ook publiceren om mijn onderzoekstijd veilig te stellen”. Een houding die helaas te vaak voorkomt, zo hoorde ik van Kees Schuyt die gisteravond in mijn favoriete boekhandel werd geïnterviewd over zijn recent uitgekomen boek over Cleveringa, de Leidse hoogleraar die op 26 november 1940 een protestrede uitsprak tegen de Duitse bezetter. Schuyt was jarenlang voorzitter van het Landelijk Orgaan Wetenschappelijke Integriteit (LOWI– KNAW), dat advies geeft aan besturen van universiteiten en vergelijkbare instellingen over vermoede schendingen van wetenschappelijke integriteit – in de volksmond meestal aangeduid als fraude.

Hij had sterk de indruk – zo vertrouwde hij mij toe – dat bijvoorbeeld leden van promotie- en leescommissies vaak weinig tijd en aandacht besteden aan het beoordelen van een dissertatie. Met als gevolg dat een promovendus soms ongehinderd plagiaat of een andere vorm van fraude kan plegen, een mogelijkheid die gelukkig maar zelden wordt benut. Met tevens als gevolg dat misstanden in het wetenschapsbedrijf al te vaak onder de tafel verdwijnen of met een sisser aflopen; de meeste hoogleraren zijn immers niet zo moedig dat zij kritiek leveren (of incasseren) wanneer zij zelf fraude-gevallen hebben laten passeren, omdat zij aan andere activiteiten voorrang hebben gegeven.

Wordt het niet tijd dat we het aantal leden van de promotiecommissie drastisch verminderen, bijvoorbeeld door te volstaan met twee of drie reviewers zoals in de UK vaak voorkomt. Want naarmate het aantal leden groter is, zal ieder individueel lid eerder op de gedachte komen dat de anderen de benodigde tijd zullen spenderen aan het beoordelen van het betreffende proefschrift. Vergelijkbaar met het zogeheten omstandereffect: drenkelingen krijgen minder hulp naarmate het aantal omstanders groter is.

En wordt het niet tijd dat afstudeerders de lacune aanvullen wanneer academische economen (om welke reden dan ook) helemaal geen tijd steken in replicatie-onderzoek? Een bijkomend voordeel: aangezien slechts drie procent van de economiestudenten een onderzoeksbaan kiezen, wil vrijwel iedere afstudeerder zich vooral bekwamen in het beoordelen van andermans onderzoek. In concreto: laat studenten bij hun afstudeerproject twee of meer toonaangevende artikelen vergelijken aan de hand van twee vragen (zie uitgebreider hier en hier):

  1. is het mogelijk deze studies te repliceren, of op een andere manier evidence-based te beoordelen?
  2. welke van deze studies scoort het hoogst op repliceerbaarheid en andere eisen die gebruikers aan wetenschappelijke rapporten moeten stellen? 

Al deze gedachten gingen door mij heen bij het lezen van onderstaande column van Jayati Ghosh.

Science and subterfuge in economics

Mainstream economics has a tendency to decide on some ‘established’ conclusions, and then hold to them, notwithstanding all evidence to the contrary. This is bad enough, but what may be worse for a discipline that lays claim to being a science is the lack of insistence on the replicability of empirical results. This is both standard and essential in most natural sciences; in economics, by contrast, there is mostly indifference and occasionally even fierce resistance to it. In some cases, the data that must be used to replicate conclusions are denied to other researchers.

The reason is often deeply political, because the results which are promoted and disseminated accord with visions of the economy that support particular ideological positions and associated policy stances. For example, empirical work that supports fiscal austerity or market deregulation is cited extensively and becomes the basis for advancing those particular policy outcomes. Very rarely is such work subject to the scrutiny—for example, challenging its assumptions and questioning its statistical procedures—that would be the norm for research in the natural sciences.

Consider the claim made by Stephen Moore and Arthur B Laffer that the Trump tax cuts in the US would not only pay for themselves but actually bring down the government deficit while generating more private investment. Their claim was completely wrong but somehow economic reality seems to have had little impact on those who continue to believe the assertion of the ‘Laffer curve’ that lower tax rates will generate higher tax revenues.

Famous trope

Now, a new paper by Servaas Storm effectively demolishes another famous trope of neoliberal economics—the argument that labour-market ‘rigidities’ depress output and employment. One of the empirical investigations most often cited for this argument is a paper by Timothy Besley and Robin Burgess, using manufacturing data across Indian states for the period 1958-92. Besley and Burgess claimed to show that pro-worker regulations in some states resulted in lower output, employment, investment and productivity, and even increased urban poverty, relative to states that did not adopt such regulations.

This conclusion came to underpin the conventional wisdom that labour-market regulation is harmful for industrial expansion, and that the way to increase production and employment in manufacturing is to promote more labour-market ‘flexibility’ by repealing laws that protect workers. This wisdom prevailed not only in India; it influenced policies accordingly across a wide range of developing countries. Although various economists raised serious concerns about the methodology Besley and Burgess adopted, their criticisms never gained much traction among policy-makers.

But Storm’s critique is more fundamental, because his study reports a failure to replicate the findings of Besley and Burgess and demonstrates that their conclusion concerning the impact of labour regulation on manufacturing performance is statistically non-robust. He finds that the results are not just inconsistent with the authors’ own theoretical assumptions but are also internally contradictory and empirically implausible. Storm comes to the devastating conclusion that ‘the paper is a professional embarrassment … it almost perfectly illustrates how a combination of scientific pretension and a deep desire for respectability can lead to a gratuitous empiricism in which priors trump evidence’.

Deep complicity

So how did Besley and Burgess get away with it, and why have such results not been more comprehensively trashed in the literature and in policy circles? After all, this article was published in a top-tier, double-blind peer-reviewed economics journal. It was used to justify a wave of labour-market deregulation across the world, actively harming workers. The deep complicity of the economics profession—and of the mainstream academic journals which confer ‘respectability’ on such research—needs to be called out for this.

It is no secret that mainstream economics has operated in the service of power. John Kenneth Galbraith noted in 1973 that establishment economics had become the ‘invaluable ally of those whose exercise of power depends on an acquiescent public’. If anything, economists’ embrace of that role has grown stronger since then. But it has also made the subject less relevant and reduced its legitimacy and credibility. Economists are no longer seen by much of the public to be asking the right questions or seeking to answer them with integrity.

Jayati Ghosh

Jayati Ghosh is professor of economics at Jawaharlal Nehru University in New Delhi, executive secretary of International Development Economics Associates and a member of the Independent Commission for the Reform of International Corporate Taxation.

Deze column is 6 maart 2019 gepubliceerd op Social Europe.

Share

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Wilt u mij een persoonlijk bericht sturen? Mail naar s.debeter@gmail.com

Wilt u zich op mijn blog abonneren (wat ik zeer waardeer), dan hoeft u alleen uw emailadres in te vullen en daaronder op 'Abonneren' te klikken.

Laatste berichten