Luie donders, die economen

Een econoom gaat een stukje wandelen met zijn zoontje, die plotseling stopt “Pappa, kijk, daar ligt een gouden munt”. Zijn vader neemt niet eens de moeite om te kijken en zegt “Alfred, als dat echt een gouden munt was, zou iemand anders haar allang hebben meegenomen”. Dit is een van de varianten van een grap die de ronde doet over aanhangers van de Efficiënte Markt Hypothese, waarmee ik u hier niet zal vermoeien.

De econoom wordt hier afgeschilderd als iemand die niet of nauwelijks interesse heeft voor de economische werkelijkheid. Deze typering vinden we ook bij Nobelprijswinnaar Ronald Coase: “Wat zal een econoom doen als hij het gedrag van paarden wil bestuderen? Hij zou niet naar buiten gaan en paarden gaan observeren, maar zich terugtrekken in zijn studeerkamer, om na te denken over de vraag ‘wat zou ik doen als ik een paard was?’. Om vervolgens tot de conclusie te komen dat paarden hun nut maximaliseren”.

Het zal geen verbazing wekken dat Coase zeer sceptisch is over de Neoklassieke theorie van het consumentengedrag, waarin consumenten hun behoeften maximaal willen bevredigen. “There is no reason to suppose that most human beings are engaged in maximizing anything unless it be unhappiness, and even this with incomplete success.”(Coase 1988:4). Volgens hem is de economische wetenschap hier niet verder gekomen dan de Wet van de Vraag: als iets duurder wordt, zal het minder worden gekocht. En zelfs op deze simpele wet valt wel wat af te dingen.

Torture of the data’

Ik ben desnoods bereid te accepteren dat een economisch model op onrealistische vooronderstellingen berust, zoals Milton Friedman beweert. Maar dan moet het wel mogelijk zijn uit dit model solide en falsifieerbare voorspellingen af te leiden; en juist op dit punt zijn economen niet erg scheutig.

Academische economen zullen nu gaan steigeren, en tegenwerpen dat zij de meest geavanceerde regressie-analyses en andere statistische technieken gebruiken voor de toetsing van de hypothesen die uit hun modellen kunnen worden afgeleid. Het kortste antwoord hierop is – wederom – van Ronald Coase: “if you torture the data long enough, Nature will confess”. Hij bedoelt: als je maar lang genoeg zoekt naar de meest geschikte econometrische techniek en dataset, zul je altijd wel een empirische bevestiging van je hypothese vinden. Deze ‘torture of the data’ wordt aantrekkelijker naarmate er meer statistische technieken beschikbaar komen, dus bij een uitbreiding van het martelarsenaal. En dwangmatiger naarmate economische tijdschriften een sterkere voorkeur hebben voor publicaties waarin hypothesen worden bevestigd, natuurlijk met de hoogst mogelijke statistische significantie. Onderzoekers als Frey en Ioannidis laten zien dat het ideaal van de falsifieerbare wetenschap nog heel ver uit zicht is

Falsifieerbare voorspellingen

Voorspellingen doen is toch wel iets anders dan de empirische toetsing van hypothesen. Je moet dan namelijk nauwkeurig specificeren onder welke omstandigheden of voorwaarden jouw model bepaalde uitkomsten oplevert. Treden die omstandigheden inderdaad op, en je krijgt andere uitkomsten, dan kan het model naar de prullenmand, of in ieder geval in de revisie. Je stelt je zo als wetenschapper heel kwetsbaar op, en dat kun je alleen doen als je over een heel goed model beschikt. Ze zijn heel dun gezaaid, dit soort betere economische studies, maar ik overzie natuurlijk niet de hele literatuur; ik hou mij aanbevolen voor de uitzonderingen op de regel.

Hoe anders is het bij de bètawetenschappen waar eerst uitgebreid onderzoek in het laboratorium wordt gedaan naar de precieze voorwaarden waaronder het beoogde effect optreedt. Zelfs als lab-onderzoek niet mogelijk is, is het in dit domein gebruikelijk de kritische condities te specificeren. Het beroemdste voorbeeld is Albert Einstein die nauwkeurig aangaf wanneer zijn relativiteitstheorie verworpen zou moeten worden.

Wetenschap is het meest krachtig wanneer de bedenkers van een model zich kwetsbaar opstellen, door falsifieerbare voorspellingen over de toekomst te maken, en niet door het zoveelste bewijs dat het model wordt bevestigd op basis van data uit het verleden. Ik stel voor dat iedere regressie-analyse voortaan wordt afgesloten met de waarschuwing “resultaten uit het verleden bieden geen garantie voor de toekomst”. Dat geldt bij uitstek voor de gamma-wetenschappen omdat het studie-object – de sociale en economische werkelijkheid – zo sterk kan veranderen.

Monocultuur

Nobelprijswinnaar Wassiely Leontief constateert in 1982 dat meer dan de helft van de artikelen in het toonaangevende American Economic Review wiskundige modellen bevatten zonder enige data. Dit aandeel is inmiddels gedaald door de sterk gestegen populariteit van de regressiemodellen, want daar heb je juist heel veel data voor nodig. Deze twee wiskundige methoden samen hadden in 2003/04 een ‘marktaandeel’ van 98,5%, zo hebben Sutter en Pjersky (2007) berekend.

Slechts 19 van de 130 artikelen die in die twee jaar door tien economische toptijdschriften waren gepubliceerd, zijn ‘math-free’, dus zonder wiskundige modellen of regressie-analyses. ‘Math-free’ betekent overigens niet dat het louter kwalitatieve studies zijn. Zo bevat deze kleine verzameling ook twee bijdragen van Piketty, die behoorlijk kwantitatief zijn; zie zijn beroemde boek “Capital in the 21st century”. Het verschil is dat hij zelf data verzamelde uit verschillende bronnen terwijl de andere studies overwegend data gebruiken van vooral commerciele databases zoals Orbis, Thomson, Datastream.

Gedragseconomie

Economen zullen wellicht tegenwerpen dat bètawetenschappen het voordeel hebben dat ze in het lab allerlei proefjes kunnen doen, om uitgebreid te variëren met uiteenlopende condities waaronder het veronderstelde verband tussen input en output gestalte zou kunnen krijgen. Economen en andere sociale wetenschappers beschikken niet over dit soort experimenteermogelijkheden.

Niet waar, zeggen de onderzoekers die zich bezighouden met Gedragseconomie. Zij zetten allerlei experimenten op, waarbij proefpersonen bepaalde keuzes krijgen voorgelegd die aan diverse bepalende factoren gerelateerd kunnen worden. U raadt het misschien al: het zijn vooral psychologen die dit soort experimenten uitvoeren, want economen hebben deze onderzoeksmethode nooit geleerd in hun studie.

Heel goed dat Gedragseconomie – eindelijk – vleugels begint te krijgen maar er is pas sprake van vooruitgang als dit leidt tot een ander soort economische modellen. Want al die studies laten zien dat mensen geen robots zijn die volgens de Neo-klassieke logica zijn geprogrammeerd. Integendeel, mensen maken gebruik van simpele vuistregels die hen in staat stellen om snel en efficiënt om te gaan met complexe beslissingen, wat door de luie economen gemakshalve wordt betiteld als irrationeel gedrag. Anders gezegd: normale mensen zoals u en ik hebben helemaal geen tijd en zin om allerlei ingewikkelde optimaliseringsmodellen toe te passen. En dat geldt zelfs voor sommige economen die deze modellen zelf hebben bedacht en daarvoor de Nobelprijs hebben gekregen.

Blind vertrouwen

Doen economen het beter als het gaat om toegepast onderzoek? Laten we eens kijken naar de recente CPB-studie over het Nederlandse arbeidsmarktbeleid. Als je het geduld kunt opbrengen om deze studie helemaal te lezen, dan zie je pas goed dat veel macro-economen – zeker bij het CPB – in een soort ivoren toren leven, met eigen opvattingen over het doen van wetenschappelijk verantwoord onderzoek. Van een Master-student wordt verwacht dat hij in zijn scriptie uitgebreid het econometrisch of theoretisch model beschrijft dat ten grondslag ligt aan zijn empirisch onderzoek. Voor het CPB gelden blijkbaar andere eisen want nergens in het rapport vinden we informatie over het gehanteerde model. Weliswaar zijn er allerlei CPB-documenten waar de diverse modellen worden beschreven, maar we willen natuurlijk weten hoe die modellen bij deze studie zijn gebruikt. Zo zou je toch mogen verwachten dat het CPB uitvoerig beschrijft hoe de Grote Recessie, dus de nasleep van de financiele crisis, is verwerkt in hun model; maar het rapport doet net alsof deze helemaal niet heeft plaats gevonden want ze wordt slechts één keer genoemd, op pagina 39. Het CPB zal tegenwerpen dat het rapport geen inschatting geeft van de conjuncturele maar van de “langetermijneffecten”(p. 34), zonder overigens te vermelden hoe lang die termijn is. Dan maak je het jezelf wel heel erg makkelijk, want zoals Keynes al zei: “on the long run we are all dead”.

Blijkbaar is het voor het CPB vanzelfsprekend dat de lezer blind vertrouwt op hun ‘black box’, en dus ook op de uitkomsten die daarmee worden gegenereerd. Het CPB laat weten dat zij zich beperkt tot “(potentiële) beleidsopties waarvoor overtuigende wetenschappelijke kennis over de effectiviteit beschikbaar is” (p. 29). Hoewel de samenstellers waarschuwen dat “voorzichtigheid is geboden” bij het toepassen van deze kennis, blijkt in de rest van het rapport weinig van deze voorzichtigheid. Integendeel, geen woord over de wijze waarop zij de wetenschappelijke literatuur – meestal uit het buitenland – hebben geselecteerd, en vervolgens hebben gehanteerd. Hoe weten we dat de samenstellers van het CPB-rapport dit allemaal volgens de regels van het wetenschappelijke spel hebben gedaan? Het lijkt er eerder op dat zij de economische literatuur als grabbelton hebben gebruikt.

Eigenlijk kunnen wij er niets over zeggen’

Gaandeweg het lezen van het rapport kreeg ik steeds meer de indruk dat de betrokken CPB-ers het zelf ook niet meer weten. Zo maken ze enerzijds gedetailleerde inschattingen van het effect van diverse arbeidsmarktmaatregelen op de arbeidsproductiviteit, maar zeggen anderzijds dat deze “bijzonder lastig te meten is” (p. 111). En blijkbaar hebben ze niet de moeite genomen om te onderzoeken waarom “ de arbeidsproductiviteit, onder invloed van de grote recessie niet verder gestegen” is sinds 2007 (p. 38).

Ook bij het effect op de werkgelegenheid, het overheidsbudget en zelfs de inkomensongelijkheid moeten allerlei slagen om de arm worden gehouden, zodat je je nog meer gaan afvragen wat die modeluitkomsten nu eigenlijk waard zijn. En rijst ook de vraag of het gebruikte model wel zo geschikt is om de impact van dit soort overheidsmaatregelen te onderzoeken.

Vrijwel geen enkele maatregel die het CPB is tegengekomen, leidt tot meer werkgelegenheid. “Het verbaasde ons ook”, reageerde een woordvoerder van het CPB. Volgens projectleider Marloes de Graaf kan dit resultaat positief worden geïnterpreteerd: “De arbeidsparticipatie is nu al zo hoog, dat kun je nauwelijks hoger krijgen. Het wordt steeds moeilijker om structureel meer werkgelegenheid te krijgen.” Is dit een gotspe of pure domheid? Blijkbaar kijkt ze alleen naar haar eigen ‘soortgenoten’, de hoger opgeleiden, waar de participatiegraad op 84% ligt. Bij de lageropgeleiden daarentegen is de arbeidsparticipatie veel lager, nl. 52% (p. 38). Ze had moeten zeggen: “het wordt steeds moeilijker om met ons model bruikbare uitkomsten te genereren”. Of: “ons model, en de achterliggende theorie, is niet (langer) geschikt om arbeidsmarkteffecten in kaart te brengen”.

Dat blijkt ook uit de behandeling van de enige arbeidsmaatregel die – althans volgens het CPB-model – wèl een positief effect heeft op de werkgelegenheid: een verlaging van het minimumloon. Het rapport vermeldt dat daardoor ook de armoede toeneemt (p. 14 en 62) maar besteedt geen aandacht aan de bestedingseffecten van deze maatregel – ongetwijfeld met het argument dat het geen conjuncturele analyse betreft. Volgens het CPB speelt de effectieve vraag dus geen enkele rol in de lange termijn economische ontwikkeling; geen wonder dat bezuinigingen zo goed scoorden in de CPB-ramingen.

Back to basics

Het wordt hoog tijd dat we vooruitgang in de economische wetenschap niet langer zoeken in econometrische modellen die steeds verfijnder en ingewikkelder worden en in overmatig geavanceerde regressietechnieken. Back to basics moet het nieuwe motto worden!

Zo had het CPB bij zijn analyse van het minimumloon eerst moeten kijken naar een simpele CEPR-studie. Deze laat zien dat de VS-staten waar per 1 januari 2014 het minimumloon is verhoogd, in de eerste vijf maanden van 2014 méér werkgelegenheidsgroei hadden dan de overige staten. Dit is een studie die iedereen begrijpt en kan controleren, en dat lijkt mij in het huidige tijdsgewricht een belangrijk criterium bij beleidsonderzoek. De volgende stap is natuurlijk om dit ‘evidente bewijs’ kritisch te toetsen op zijn robuustheid: zijn er voldoende redenen om te twijfelen aan de conclusie, bijvoorbeeld omdat in de betreffende staten eerst de werkgelegenheid en daarna pas het minimumloon is verhoogd? Bovendien kan het CPB onderzoeken in hoeverre deze en andere buitenlandse studies al of niet bruikbaar zijn voor de huidige Nederlandse situatie.

Back to basics betekent ook dat het onderscheid tussen conjuncturele en structurele effecten moet verdwijnen, althans bij beleidsonderzoek. Hoe lang moet de huidige economische stagnatie nog duren om economen èn beleidsmakers te laten beseffen dat dit analytisch wel nuttig is maar empirisch niet langer zinvol, althans voorlopig? Als de huidige CPB-modellen een obstakel vormen, dan moeten ze – voor dit element – maar in de prullenmand, in afwachting van betere.

Tevens wil ik bepleiten dat economische onderzoekers niet alleen gebruik maken van bestaande databases, maar ook andere data gaan verzamelen, zoals Thomas Piketty heeft gedaan – met opmerkelijke resultaten, waar zelfs Paul Krugman jaloers van werd. Of nieuwe data genereren met experimenten en veldonderzoek.

Waar blijft de oproep van gezaghebbende topeconomen?

Ik vermoed dat veel economen – ook of juist bij het CPB – positief reageren op mijn pleidooi, en de beschuldigende vinger uitsteken naar hun opdrachtgevers die niet bereid zijn voldoende geld te steken in vernieuwend onderzoek, en de voorkeur geven aan snelle resultaten op basis van de bestaande modellen en data. Een kwestie van centen maar ook een schrijnend gebrek aan politieke en intellectuele moed.

Als het om moed gaat, moet economen niet alleen naar politici en andere beleidsmakers wijzen maar ook hand in eigen boezem steken. Waar blijft de oproep van gezaghebbende topeconomen om voortaan geen onderzoek te doen dat pure window-dressing is en eerder non-informatie oplevert dan bruikbare kennis? Als die economen werkelijk tot de top behoren, zouden ze ook concreet kunnen aangeven welke onderzoeksopdrachten niet langer verstrekt en uitgevoerd moeten worden omdat ze geen toegevoegde waarde hebben en eerder negatieve meeropbrengsten genereren. Ik vermoed dat ze daarbij de hulp van niet-economen – en van niet-academici – heel hard nodig hebben, vooral om een schets te geven van het onderzoek dat wèl de moeite waard is, omdat het gaat om brandende maatschappelijke problemen en om fundamentele lacunes in de economische en andere sociale wetenschappen.

Wat doen we met het CPB?

Mij gaat de oproep van Peter Ester en Esther-Mirjam Sent niet ver genoeg. Zij bepleiten dat over belangrijke politieke en maatschappelijke kwesties niet alleen het CPB maar ook het Sociaal en Cultureel Planbureau (SCP) en het Planbureau voor de Leefomgeving (PBL) een advies uitbrengen. Zij willen zelfs dat alle drie instituten hun zegje doen over de Rijksbegroting bij Prinsjesdag en over de verkiezingsprogramma’s van de politieke partijen. Hun intentie lijkt mij goed, maar het gaat niet werken, vrees ik. Want de praktijk zal zijn dat politici en journalisten toch de meeste aandacht geven aan uitkomsten met euro’s en percentages, bij voorkeur over de portemonnee en de Schatkist, en daarin heeft het CPB nu eenmaal een ‘voorsprong’ op SCP en PBL. Bovendien hou je op die manier de monocultuur in stand die zich in elk van die instituten heeft ontwikkeld.

Het lijkt mij beter om deze drie instituten voor beleidsonderzoek eerst op één hoop te gooien, daarna flink te bezuinigen, en vervolgens twee of drie nieuwe instituten op te richten die elk een eigen koers gaan varen wat betreft het uitvoeren van beleidsondersteunend onderzoek. Een van die nieuwe instituten zou bijvoorbeeld de aanpak van het Britse Behavioural Insights Team kunnen hanteren. Belangrijkste inzet van deze reshuffling zou moeten zijn dat er een gezonde wedijver ontstaat tussen de uiteenlopende benaderingen.

Tot slot, om misverstanden te vermijden: ik verwijt de economen louter intellectuele en morele luiheid, want de meesten werken enorm hard. Maar dat gezwoeg levert nauwelijks méér output op, gemeten als bruikbare kennis over de economische werkelijkheid. Niet bepaald efficiënt dus, om hun eigen criterium te gebruiken.

S. de Beter

Deze column is in iets gewijzigde vorm ook gepubliceerd op Follow the Money https://www.ftm.nl/artikelen/luie-donders-die-economen#reactie14330

Share

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *


Deze vraag is bedoeld om spambots tegen te gaan. Spambots zijn stukjes software die op sites automatisch formulieren invullen om zo de website te kunnen bestoken met ongewenste berichten. Spambots kunnen niet interpreteren wat het antwoord moet zijn.

Wilt u mij een persoonlijk bericht sturen? Mail naar s.debeter@gmail.com

Abonneer je op dit blog d.m.v. e-mail

Voer je e-mailadres in om je in te schrijven op dit blog en e-mailmeldingen te ontvangen van nieuwe blogposts.

Laatste berichten