Tijd voor een tweede NWO (2)

Het eerste deel was een pleidooi voor een opsplitsing in NWO1 en NWO2. In het tweede en laatste deel laat ik zien welke aanpak NWO2 zou kunnen hanteren. Maar eerst aandacht voor het huidige NWO-excellentiebeleid en het Mattheüs-effect.

Wedijver tussen NWO1 en NWO2 is het meest vruchtbaar als zij elk een andere weg naar Rome kiezen. Waarbij het voor de hand ligt dat NWO1 de bestaande route blijft bewandelen – en incrementele innovaties toepast – terwijl NWO2 gaat experimenteren met een heel andere route. Oftewel: we kunnen nieuwe schoenen gaan dragen zonder de oude weg te gooien.

Hoe moeten die nieuwe schoenen eruit zien? Eerst een vraag vooraf: waarop worden de aanvragers afgerekend die bij de huidige NWO in de prijzen zijn gevallen? Het antwoord is verbijsterend: ze worden helemaal niet afgerekend! Natuurlijk moeten ze hun uren en andere uitgaven verantwoorden, en ervoor zorgen dat deze in overeenstemming zijn met het projectvoorstel, maar dat is werk voor accountants. Er is geen rol weggelegd voor wetenschappers die deskundig zijn op het betreffende onderzoeksterrein en dus kunnen beoordelen of het uitgevoerde project inderdaad voldoende meerwaarde heeft opgeleverd. Evenmin voor organisaties en groeperingen die baat zouden kunnen hebben bij de uitkomsten van het goedgekeurde onderzoek.

Het huidige NWO telt alleen het aantal publicaties die hun financiering heeft opgeleverd: in 2017 “ruim 15.000 wetenschappelijke publicaties en andere resultaten”. Waarbij het jaarverslag trots vermeldt dat daarvan inmiddels al 45% in Open Access is gepubliceerd; blijkbaar het nieuwe paradepaardje bij NWO, terwijl volgens Philip Mirowski deze nieuwe trend niet zo positief is als de term suggereert.

Zoals tegenwoordig gebruikelijk wordt bij deze outputmeting alles meegeteld, rijp en groen. Tevens wordt gesuggereerd dat we al die publicaties hadden moeten missen als NWO niet met geld over de brug was gekomen. Misschien missen als kiespijn want we krijgen geen informatie over de bijdrage van al die duizenden publicaties aan de wetenschappelijke en maatschappelijke vooruitgang. De huidige wetenschap van outputmeting bevindt zich blijkbaar nog steeds in het primitieve stadium van louter tellen, eventueel gecorrigeerd voor een of andere impactfactor (wat betekent dat ze bijvoorbeeld ook tellen hoe vaak de publicaties worden geciteerd).

Een recent voorstel van NWO-voorzitter Stan Gielen maakt het nog erger. Om te vermijden dat teveel academische onderzoekers een aanvraag doen terwijl zo’n 85% wordt afgewezen (en het NWO-personeel last krijgt van werkdruk) wil hij dat de universiteiten een voorselectie doen. Een decaan moet de directeuren van de onderzoeksinstituten bij elkaar roepen en die weten precies wie de beste mensen zijn. “Díe laat je schrijven. En dan ongeveer twee of drie keer zoveel als het aantal beurzen dat je denkt binnen te halen.” Maar daarmee combineert dit nieuwe systeem het slechtste van twee werelden, van de eerste en de tweede geldstroom. Want het versterkt het ‘kroonprinsen-systeem’ dat volgens Willem Schinkel welig tiert op Nederlandse universiteiten. Waarmee hij bedoelt dat (mannelijke) hoogleraren bij voorkeur hun eigen (mannelijke) promovendi en postdocs een handje willen helpen om eveneens professor te worden – en in een bestuursfunctie daar alle gelegenheid voor krijgen.

Evenmin biedt dit voorstel van Gielen een oplossing voor een heel andere uitdaging: het vroegtijdig signaleren van nieuwe, veelbelovende onderzoeksgebieden. De verwachting dat NWO (tweede geldstroom) het in dit opzicht beter doet dan de universitaire bestuurders (bij de verdeling van de eerste geldstroom) lijkt misplaatst. Heeft NWO niet veel te laat het belang van nieuwe ontwikkelingen op het gebied van informatica en nanowetenschap onderkend?.

Beurs produceert beurs

De focus van NWO op het aantal (top)publicaties verergert een probleem dat bekend staat als het Mattheüs-effect: de rijken worden steeds rijker, de armen steeds armer. Een verschijnsel dat wij tegenwoordig ook in de wetenschap aantreffen, in de zin dat de wetenschappers die voorheen veel beurzen en prijzen hebben ontvangen eerder in aanmerking komen voor een latere beurs of prijs. Zelfs bij de toekenning van de Nobelprijs van de Economie – die een langdurige en uitgebreide selectieprocedure kent – treedt dit effect vaak op, zoals ik hier betoog.

Is het Mattheüs-effect verkeerd? Zoek je iemand voor een ingewikkelde klus, dan kies je toch iemand die bewezen heeft vergelijkbare klussen tot een goed einde te kunnen brengen; liever dan een vrijwel onbekende kiezen die nog niet is ‘getest’. Deze simpele constatering vormt een belangrijk element in de Duitse aanpak in het tot ontwikkeling brengen van een nieuw en veelbelovend onderzoeksgebied. Zij gaan op zoek naar iemand die op een vergelijkbaar terrein heeft bewezen een goede wetenschapper én uitstekende organisator te zijn; ze gaan dus af op ‘past performance’. Ze geven hem of haar voor zeg de komende vijf tot tien jaar een enorme zak met geld voor de oprichting van een nieuw instituut onder de vleugels van de Max Planck (fundamenteel onderzoek) of Fraunhofer Gesellschaft (toegepast onderzoek). Met slechts één opdracht: maak het betreffende terrein tot een Duits succes en zoek zelf de juiste mensen (en andere inputs) die daarvoor nodig zijn. De directeur krijgt dus min of meer carte blanche, want hij heeft er verstand van, een organisatie om de opdracht uit te voeren en hij wordt uiteindelijk afgerekend op behaalde successen of mislukkingen; in het laatste geval wordt het instituut vaak simpelweg opgeheven.

Waarom is het Mattheüs-effect dan toch een probleem? Beter gezegd: onder welke omstandigheden is het Mattheüs-effect een probleem?

UvA-onderzoeker Thijs Bol heeft met zijn onderzoeksteam vastgesteld dat wetenschappers die een Veni-beurs van NWO hebben ontvangen, een aanzienlijk grotere kans hebben om daarna een Vidi- of een Vici-beurs te bemachtigen. Blijkbaar wordt er bij de toekenningen van NWO-beurzen meer gekeken naar de aanvrager dan naar de aanvraag zelf. Dit is helemaal geen probleem wanneer de aanvrager bij eerdere gelegenheden is afgerekend op past performance, maar dat blijkt dus niet het geval te zijn. Bij een aanvraag voor een Vidi- of een Vici-beurs is wel duidelijk of de aanvrager eerder een Veni-beurs heeft gekregen maar niet wat deze beurs aan output heeft opgeleverd (afgezien het aantal publicaties in de betreffende periode). Anders gezegd: de beoordeling bij NWO vindt hoofdzakelijk ex-ante plaats – op basis van reputatie – en niet ex-post – op basis van past performance.

De rol van referenten 

Wordt het Mattheüs-effect wellicht opgeheven – of geminimaliseerd – door de inschakeling van (externe) referenten die de financieringsaanvragen vakinhoudelijk gaan beoordelen? Ik betwijfel het ten zeerste. Net als andere mensen zijn zij geneigd op safe te spelen bij hun beoordeling van projectvoorstellen. De beste manier is dan om af te gaan op de mening van anderen want daar kun je geen buil aan vallen. Maar dat kan alleen bij informatie over de aanvrager(s), niet bij de aanvraag zelf want die is kersvers en uniek.

Tijdsgebrek maakt de zaak nog erger. Referenten hebben meestal een zeer drukke baan, dus doen ze de reviewing naast hun eigenlijke werk. Aangezien ze bovendien niet betaald krijgen, is de verleiding groot om de reputatie van de aanvragers zwaarder laten wegen. Dus niet inhoudelijk kijken naar hun (top)publicaties, maar naar toptijdschriften, eendere beurzen, et cetera.

Het is naïef om te denken dat het Mattheüs-effect wordt ondervangen door allerlei extra voorwaarden te stellen om in aanmerking te komen voor een bepaald onderzoeksprogramma. Opdrachtgevers of financiers naar de mond praten lijkt nog steeds de beste manier om je onderzoek betaald te krijgen. Dit gevaar geldt nog sterker voor de vier nieuwe selectiecriteria van Molenaar: de grootste kans op honorering maken projectvoorstellen die het meest creatief zijn in het gebruik van synoniemen voor “verwondering, schoonheid, zingeving en waardecreatie”.

Kortom, het wordt tijd om het selecteren van onderzoeksvoorstellen op een heel andere manier aan te pakken. Zoals ik in deel 1 betoogde, vereist dit ook een andere NWO-organisatie. Deze krijgt alle gelegenheid om alternatieve opties uit te proberen, zonder last te hebben van de onvermijdelijk inertie van de bestaande NWO. Terwijl NWO1 gewoon op de oude voet verder kan gaan.

Naar een andere NWO

Welke aanpak zou NWO2 kunnen hanteren om beter te presteren dan NWO1? Het belangrijkste lijkt mij de eerder genoemde formule die in Duitsland wordt gebruikt om een nieuw onderzoeksinstituut van de grond te trekken. Toegepast op NWO: zoek iemand die heeft laten zien dat hij onconventioneel en innovatief kan organiseren, en wil wedijveren met NWO1. Het lijkt mij niet nodig – zelfs contraproductief – om van tevoren in detail vast te leggen hoe NWO2 moet opereren. Consultatie van verschillende stakeholders is natuurlijk prima maar vermeden moet worden dat de beste stuurlui aan wal gaan beslissen over zaken waarvoor zij geen verantwoordelijkheid kunnen of hoeven te dragen. Net als bij IBM het geval is geweest, moet NWO2 voldoende speelruimte krijgen om de beste formule te zoeken.

Het zijn dus louter suggesties die ik hieronder aandraag. Ik beperk mij tot voorstellen die contrasteren met NWO1, dus met de huidige situatie, en die ook bruikbaar kunnen zijn voor RVO, regionale subsidie-loketten zoals SNN, en de talloze andere organisaties die geld mogen uitdelen voor onderzoek en innovatie.

Referenten niet langer Pro Deo

De eerste drie suggesties ontleen ik aan twee Britse organisaties die qua werkterrein meer lijken op RVO maar qua werkwijze eerder op NWO. De eerste is UK Innovate, opgericht in 2007 om met subsidies en leningen de Britse innovatie aan te jagen. De andere is de Small Business Research Initiative (SBRI).

Geef ten eerste een passende financiële beloning aan de referenten, die een inhoudelijke beoordeling geven van het ingediende onderzoeksvoorstel. Het beoordelen van onderzoeks- of investeringsaanvragen is belangrijk werk en dient overeenkomstig te worden beloond (bij de EU ontvangen referenten 450 euro per dag). De referent is dan eerder geneigd om voldoende tijd uit te trekken voor zijn opdracht. NWO kan bovendien waar voor zijn geld eisen, bijvoorbeeld om het oordeel voldoende te onderbouwen.

Geef referenten een grotere rol

Stuur in de tweede plaats de reviews rechtstreeks naar de aanvrager, al of niet geanonimiseerd. Deze weet dan in detail hoe de referenten reageren op zijn projectvoorstel, en het zijn juist de details die je nodig hebt om een beter voorstel te maken. De aanvrager stuurt zijn weerwoord – en evt. een aangepast voorstel – weer terug naar de referenten (via NWO2 als anonimiteit wenselijk is), en deze maken daarna hun eindoordeel op. De programmamanagers maken vervolgens een ranking van de ingediende voorstellen, op basis van de voor dat programma geldende criteria.

Dit gaat heel wat sneller en transparanter dan de huidige NWO-praktijk, met een belangrijke stem voor de beoordelingscommissie, bestaande uit overwegend hoogleraren die evenals de referenten niet worden betaald. Deze bespreekt de voorstellen, de referentenrapporten en het weerwoorden stelt een ranking op ten behoeve van de selectiecommissie die uiteindelijk de knoop doorhakt.

Mijn alternatief geeft dus een grotere rol aan de programma-managers bij NWO; deze kun je later afrekenen op hun keuzes, wat bij een commissie van onbetaalde professoren heel wat moeilijker is. Tevens een meer belangrijke rol voor de externe (betaalde) referenten. Voorwaarde is wel dat er minimaal drie referenten worden ingeschakeld, om een grotere intersubjectiviteit te krijgen. Bij de huidige NWO ligt het gemiddelde op 1,39 reviews per aanvraag, zo valt uit het recente jaarverslag op te maken. Een NWO-gemiddelde zegt natuurlijk niet zoveel; des te meer reden om bij ieder afzonderlijk NWO-programma aan te geven hoeveel externe referenten zijn of worden ingeschakeld.

Trapsgewijze beoordeling

Vooral bij de hele grote projecten, zoals bij het Zwaartekrachtprogramma het geval is, kan ten derde een trapsgewijze beoordeling plaatsvinden. Uit de projectaanvragen – die aanvankelijk vrij summier kunnen zijn – wordt zeg de helft voor de volgende ronde geselecteerd. Deze aanvragers krijgen een gering bedrag om hun voorstel verder uit te werken. Daarna volgt een tweede beoordelingsronde waarna er nog minder projecten overblijven. De betreffende aanvragers krijgen nu een groter bedrag om hun voorstel zodanig te preciseren dat in detail duidelijk is hoe het onderzoeksproject ten uitvoer wordt gebracht, wat de mogelijke en waarschijnlijke uitkomsten kunnen zijn, en welke organisaties of groeperingen belang kunnen hebben bij het voorgestelde onderzoek. Het resultaat: minder projecten maar wel voldoende groot en uitgewerkt dat er meer kans van slagen is. En een gering beslag op de (betaalde of onbetaalde) capaciteit van aanvragers en referenten.

“Afgezien van de derde ronde, doen we dit al” zullen NWO-ers reageren. Want bij de meeste NWO-programma’s wordt gewerkt met zogenoemde vooraanmeldingen, zodat de aanvragers relatief weinig werk hebben. Vervolgens bepaalt de beoordelingscommissie welke aanvragers een full proposal mogen schrijven. Of ze worden uitgenodigd voor matchmaking bijeenkomsten om consortia te vormen, of zelfs voor een training. In contrast met het Britse voorbeeld blijven bij de voorselectie de externe referenten buiten beeld, en zijn alleen NWO-ers en aanvragers betrokken. Dit maakt het selectieproces niet erg transparant.

Tussentijdse coaching

Laat externe deskundigen ook tussentijds adviezen geven over de uitvoering van de goedgekeurde projecten. Deze vierde suggestie ondervangt het huidige probleem dat er veel energie, tijd en geld is gestoken in het opstellen en beoordelen van het project en dat daarna niemand er meer naar omkijkt (behalve de accountant). Als het goedgekeurde project eenmaal ten uitvoer wordt gebracht, ontstaan er vaak allerlei problemen maar de uitvoerders hebben meestal schroom – uit schaamte of koppigheid – om externe begeleiding te vragen. De oorspronkelijke referenten kunnen daarvoor worden ingezet, maar beter lijkt mij om te werken met andere deskundigen die er fris tegenaan kijken (en over coachings-capaciteiten beschikken). Belangrijk is dat de onderzoekers zélf met een voordracht komen (wat bij de huidige NWO niet het geval is); goede onderzoekers zullen deskundigen voordragen die constructief-kritisch staan tegenover hun project, want alleen van serieuze kritiek kan het resultaat beter worden.

Vraagarticulatie

Mijn vijfde suggestie komt dicht in de buurt van het vierde beoordelingscriterium van Molenaar. Hoewel vooral fundamenteel onderzoek zoveel mogelijk ongebonden moet zijn – gedreven door wetenschappelijke nieuwsgierigheid – kan het geen kwaad om onderzoekers te dwingen op zoek te gaan (bij de aanvraag of tussentijds) naar organisaties en groeperingen die (op termijn) belang kunnen hebben bij het voorgestelde onderzoek. Fundamenteel onderzoek heeft immers de ultieme taak om het toegepaste onderzoek te voeden, versterken en eventueel te innoveren. Bij de alfa- en gamma-projecten – met nauwelijks onderscheid tussen fundamenteel en toegepast onderzoek – moet duidelijk zijn dat zij daadwerkelijk een nieuwe input aan economische bedrijvigheid of maatschappelijk debatten kunnen leveren (wat bij de vorig jaar goedgekeurde Zwaartekracht-projecten in deze twee domeinen moeilijk valt te ontdekken, zoals ik hier laat zien). Bij het programma RAAK-mkb van het Regieorgaan SIA, inmiddels ondergebracht bij NWO, spreken ze van vraagarticulatie: de aanvrager moet mkb-bedrijven zien te vinden die voldoende vertrouwen hebben in het project dat zij daar hun handtekening onder willen zetten en een bepaald aantal uren in het project willen steken.

Waarom geen variant hiervan bij de overige onderzoeksprogramma’s? Mensen die ertoe doen op het betreffende vakgebied een aanbeveling laten afgeven bij een financieringsaanvraag is beter dan de huidige praktijk waarin aanvragers moeten ‘aantonen’ dat hun project goed past in het Topsectorenbeleid of de Nationale Wetenschapsagenda.

Gooi de luiken open

De beste manier om roddel en achterklap te krijgen is geheimzinnig doen over wie waarover beslist op basis van welke informatie. Dat de geruchten over NWO zo welig tieren heeft zij vooral aan haarzelf te denken, want het hele selectie- en besluitvormingsproces blijft binnenskamers. Wat is erop tegen dat alle dossiers voor iedereen toegankelijk worden nadat over de aanvragen is beslist? Of nadat de geselecteerde projecten zijn afgerond. Dat zou tevens voor de anonieme reviews moeten gelden. NWO kan op die manier een flinke bijdrage leveren aan het herstellen van het gedeukte vertrouwen in de wetenschap-financiering

De zevende en laatste suggestie betreft de vraag wie een beroep mogen doen op de NWO-gelden. In de huidige situatie zijn dat alleen de onderzoekers met een aanstelling bij een universiteit (of bij een hogeschool, wanneer het gaat om een RAAK- programma), althans op papier. In de praktijk echter bepalen universiteitsbestuurders wie van de universitaire medewerkers een aanvraag mogen indienen (of een goedkeuring mogen accepteren). Docenten met een onderwijsaanstelling krijgen meestal geen kans om met een NWO-beurs (tijdelijk) over te stappen naar onderzoek. Op sommige universiteiten mogen grote aanvragen pas naar NWO als er een aantal Spinoza-prijswinnaars of andere ‘reputatie-toppers’ bij betrokken zijn. Weer een bewijs dat het Mattheüs-effect hoogtij viert bij de tweede geldstroom.

NWO2 zou zich in haar ‘wervingsbeleid’ juist op deze ‘uitgesloten’ groepen kunnen richten. Of op het verstrekken van kleinere beurzen aan meer onderzoekers (een pleidooi van Thijs Bol) in plaats van met veel moeite (en bias) een kleine groep ‘toponderzoekers’ selecteren en die heel veel geld geven, zoals bij het Zwaartekracht-programma het geval was. In plaats van brede en vrijblijvende consortia – die bij de huidige NWO zo populair zijn; waarom eigenlijk? – kan zij bij de grotere onderzoekprogramma’s voorrang geven aan (mede)financiering van nieuwe instituten waar – net als bij Max Planck en Fraunhofer – onderzoekers samen een nieuw onderzoeksgebied tot wasdom brengen (en daarop afgerekend worden).

NWO2 zou zich ook open moeten stellen voor uitstekende onderzoekers die niet aan een universiteit zijn verbonden. Zoals (een virtueel samenwerkingsverband van) freelance onderzoekers. Bedenk dat bij de huidige NWO een aanvraag van Karl Marx niet ontvankelijk was verklaard want na zijn promotie-onderzoek was hij nooit aan een universiteit verbonden. Albert Einstein, die bij een octrooibureau werkte toen hij zijn beroemde artikel over de relativiteitstheorie schreef, had eveneens nul op het rekest gekregen. Natuurlijk zijn dit extreme voorbeelden uit een ver verleden, maar we moeten af van het idee dat (goed) onderzoek alleen aan een universiteit of hogeschool kan plaatsvinden.

Voor wie wordt het anders?

Tot slot de vraag: mag iedereen die zijn die haar of zijn onderzoek gefinancierd wil hebben zelf weten bij welke van de twee NWO’s de aanvraag te doen? Ja, waarom niet? Ik kan geen nadelen verzinnen die aan deze keuzevrijheid verbonden zijn. Onderzoekers hebben immers nu al de keuze tussen NWO en bijvoorbeeld de European Research Council (ERC). Als het gaat zoals het zou moeten, ontstaan er essentiële verschillen tussen NWO1 en NWO2, qua inhoudelijke thema’s en qua manier van werken. Dit soort keuzevrijheid benutten vormt de basis van de maatschappelijke vooruitgang die we de laatste eeuwen hebben geboekt.

We moeten niet te ingewikkeld doen over het product ‘onderzoekfinanciering’. Alsof het hemelsbreed verschilt van andere producten waarbij professionals betrokken zijn. Zoals financiële dienstverlening, consultancy, gezondheidszorg. Daar is het toch doodnormaal dat de klant kan kiezen.

Een veel groter probleem ligt aan de kant van de politici en de topambtenaren van het ministerie van OCW, de hoofdfinancier van NWO. Tot dusver hebben zij belangrijke inhoudelijke en budgettaire beslissingen in onderonsjes met de Raad van Bestuur van NWO geregeld. Het wordt tijd dat hieraan een eind komt want deze ondoorzichtige combinatie van politiek en bureaucratie. Zij kost ons veel gemeenschapsgeld, die beter besteed kan worden aan onderzoek of aan zinvolle werkgelegenheidsprojecten voor de onderkant van de samenleving (voor de potentiële gele hesjes, zeggen we vanaf nu).

Het kan heel simpel: het parlement beslist over het bedrag dat naar de twee NWO’s gaat, en in eerste instantie krijgt ieder de helft. Elke van de twee NWO’s is binnen ruime kaders vrij in de besteding van het toegewezen budget. Vermoedelijk zal NWO2 meer geld besteden aan het betalen van haar referenten en minder aan bureaucratie.

Jaarlijks is er een parlementair debat, plenair of in de betreffende commissie, waarin de twee NWO’s successievelijk toelichting geven op hun jaarverslag, waarin hopelijk – meer dan nu het geval is – veel valt te lezen over hun bijdrage aan de wetenschappelijke en maatschappelijke vooruitgang. Afhankelijk daarvan wordt de verdeelsleutel aangepast.

Een derde weg voor de collectieve sector

Onderzoekfinanciering is niet het enige terrein waar sprake is van een publiek monopolie. Bij vele vergelijkbare collectieve voorzieningen is dit model ingeruild voor privatisering en deregulering. Dit neoliberale alternatief heeft echter in veel gevallen ernstige schade berokkend. Niet alleen door de combinatie van hogere prijzen en slechtere dienstverlening maar ook in politiek en ideologisch opzicht: het neoliberale marktmodel heeft mensen veel basiszekerheden ontnomen – zodat zij hun heil zoeken bij populistische stromingen die hen wél de benodigde zekerheden beloven.

De georganiseerde wedijver die ik in dit artikel heb ontworpen voor onderzoekfinanciering, kan eveneens bij andere semipublieke voorzieningen worden toegepast, vanzelfsprekend met steeds een aangepaste variant. Aan NWO de eer om als eerste speler gestalte te geven aan de derde weg tussen publiek monopolie en privatisering.

S. de Beter (9 januari 2019)

Ik heb dankbaar gebruik gemaakt van suggesties en kritisch commentaar op eerdere versies, vooral van Peter van den Besselaar en van twee voormalige NWO-medewerkers: Robbert-Jan Slobben en iemand die liever anoniem wil blijven. Vanzelfsprekend zijn zij niet verantwoordelijk voor mijn opvattingen en voor fouten en andere onvolkomenheden in mijn tekst.

Een samenvatting van dit tweeluik is verschenen op ScienceGuide

Share

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Wilt u mij een persoonlijk bericht sturen? Mail naar s.debeter@gmail.com

Wilt u zich op mijn blog abonneren (wat ik zeer waardeer), dan hoeft u alleen uw emailadres in te vullen en daaronder op 'Abonneren' te klikken.

Laatste berichten