Evidentie

“Armoede is een gesel voor de mensheid en zet aan tot geweld”, sprak een jongeling gedreven. “Dat is vanzelfsprekend”, sprak de burgemeester afgemeten, zijn pochet vaardig herschikkend. Hij klonk gezaghebbend, omdat hij gewichtig leek te verwijzen naar iets wat algemeen wordt aangenomen. Nog gezaghebbender had het gekund, als hij “dat is evident” gezegd zou hebben. Bij die kwalificatie wordt niet zozeer verwezen naar een generale opvatting, maar eerder naar feiten die een gedane bewering ondersteunt. Als het meezit kun je daaraan ook noest wetenschappelijk of journalistiek zoekwerk verbinden, die het nog minder waarschijnlijk maken dat je dingen uit je duim zuigt.

Politieke discussies over beleid zitten vol met losse beweringen, ideologie-ondersteunende feiten, naast op solide onderzoek gebaseerde conclusies. Binnen ontwikkelingssamenwerking bestaat een levendige praktijk van het terugblikken op uitgevoerde programma’s of projecten en bij tijd en wijle op het gevoerde beleid: de evaluaties vliegen je om de oren. Het maatschappelijk draagvlak voor door de overheid gefinancierde ontwikkelingshulp erodeert, maar de goedgeefsheid van de individuele Nederlander voor geldinzamelingacties neemt niet af. Er valt dus veel uit leggen aan de samenleving en evaluaties kunnen daaraan een zinvolle bijdrage, is de idee.

Evaluaties moeten dan concreet zijn over de vragen als: Wat gebeurt er? Wie heeft er wat aan? Wat kost het? Is het geld goed besteed? Er is dus een duidelijke behoefte aan informatie over welke acties zijn genomen, welke resultaten er voor wie zijn geboekt, wat er is uitgegeven en of je waar voor je geld hebt gekregen. Op al deze terreinen is evidence nodig: dit woord is breder dan het Nederlandse ‘evident’ en verwijst naar het streven dat conclusies een solide basis moeten hebben. Evidence-based evaluations hebben een belangrijke plaats veroverd in de publieke en private ontwikkelingsorganisaties.

Evidence-based bekt lekker, maar waar gaat het eigenlijk over? Zeker niet alleen over feiten; die zeggen op zichzelf niet zo veel. De theorieën waarop ze betrekking hebben, zijn minstens even belangrijk. Het is daarom goed om verschillende niveaus van evidence te onderscheiden. Allereerst heb je Beschrijvende evidentie: het gaat hierbij om een expliciete beschrijving van wat een interventie beoogt, voor wie, op welke wijze en onder welke condities. Hier kun je hoogstens conclusies trekken over wat de resultaten van de interventie kunnen zijn. Bij Theoretische evidentie is er naast het voorgaande nog de uitleg van de redenen waarom de interventie kan werken: de mogelijke resultaten worden plausibel gemaakt. Voor Indicatieve evidentie ga je nog een stap verder: inclusief de eerdere niveaus is het duidelijk aangetoond dat de interventie leidt tot de gewenste resultaten. Het allerhoogste is dan de Causale evidentie: hier wordt, bovenop de voorgaande niveaus, precies aangegeven welke specifieke elementen van de interventie leiden tot de beoogde resultaten.

Elk niveau heeft zo zijn eigen vereisten. Hoe hoger het niveau, des te veeleisender (qua aanpak, qua budget) de gehanteerde evaluatiemethoden worden. In veel gevallen doen publieke en private ontwikkelingsorganisaties het met het plausibel maken van mogelijke resultaten, het tweede niveau van de Theoretische evidentie dus. Het betreft dan evaluaties van 2-4 weken, vaak met veldbezoeken. Conclusies van dit soort evaluaties worden door genoemde opdrachtgevers meestal zeer serieus genomen. Evaluaties die zich baseren op Causale evidentie worden zeker ook gedaan in opdracht dezelfde partijen: in randomized controlled trials (RCTs) wordt gezocht naar harde verbanden tussen verschillende interventies en hun effecten, zoals die binnen een specifieke theorie van verandering als hypotheses golden. Dit soort research is veel kostbaarder, omdat je meerdere RCTs moet doen (per elke interventie een) om harde, maar ook brede conclusies te kunnen trekken.

Opvallend genoeg wordt een schets van plausibele resultaten door de burgemeester, de jongeling en vele betrokken anderen van de buitenwacht beter begrepen, dan wanneer men zich op de ijle hoogten van de Causale evidentie beweegt. Ikzelf mocht ervaren dat Sri Lankaanse plantage managers twijfels hadden bij een statistisch zeer relevante positieve correlatie tussen de aanwezigheid van latrines bij hun woningen en de arbeidsparticipatie op de plantages. Een aantal plantages zaten niet in de representatieve steekproef was hun kritiek, dus deugde die niet. Ook zei de bewijskracht van de getoonde statistische correlatie hen eigenlijk niks.

Kan de pochet met een gerust hart op zijn plaats gelaten worden? Liefst wel, want ik verkies deugdelijke analyse boven pompeus gezag.

Eric Kamphuis (05/11/2018)

Share

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Wilt u mij een persoonlijk bericht sturen? Mail naar s.debeter@gmail.com

Wilt u zich op mijn blog abonneren (wat ik zeer waardeer), dan hoeft u alleen uw emailadres in te vullen en daaronder op 'Abonneren' te klikken.

Laatste berichten