TOR

Deze column is verbonden met mijn eerdere column Evidentie. In deze column wordt gerefereerd naar het begrip Theoretische evidentie. Naast theoretische overwegingen over het type waarheidsvinding, is er de uitvoering van evaluaties. En dan gaat het over uiteenlopende belangen, die niet altijd parallel lopen. Evalueren in de praktijk betekent vaak onderhandelen, pragmatisch kiezen, duidelijk uitleggen en niet in laatste plaats vertrouwen wekken.

“Onze financier wil dat ons programma elke 4 jaar wordt geëvalueerd; die wil waar voor zijn geld”, bracht de controller in het midden.

“De evaluatie mag niet alleen controle zijn op wat we goed of fout doen”, riposteerde de bestuursvoorzitter bevlogen.

“En ik wil graag iemand die wat verder van onze organisatie af staat voor een onafhankelijk oordeel”, zei het staflid monitoring en evaluatie. Met stelligheid voegde ze daaraan toe. “Het is goed dat externe experts eens goed naar ons programma kijken; daar kunnen we allemaal van leren”.

“Wat weten buitenstaanders nou van alle specifieke in and outs van wat we doen? We moeten echt iemand zoeken die ons goed kent”, vond het chef projectuitvoering.

“Een evaluator kan het toch ook niet zonder fatsoenlijke technische kennis stellen”, vulde de projecteningenieur met enige aandrang aan.

Het staflid sociale mobilisatie leek echter minder tevreden: “Alles goed en wel maar, als er geen aandacht is voor de sociale dynamiek van ons werk, wat schieten we er dan mee op?”, zich richtend op de projectingenieur.

“We werken toch voor onze doelgroepen?”, kwam de directeur wat zorgelijk terug. Het staflid sociale mobilisatie steunde haar door aan te vullen: “De evaluatoren moeten hen vragen wat ze van onze activiteiten vinden”.

“De beste te bezoeken plekken in het veld betreffen natuurlijk onze meest succesvolle activiteiten”, was de reactie van de chef projectuitvoering. “Dan kunnen we pas laten zien hoe we onze doelstelling waarmaken”, vulde de voorzitter enthousiast aan.

“Hoe kunnen we zo van onze fouten leren?” vroeg het staflid monitoring en evaluatie zich af. “Door alleen mooie showcases te tonen, kunnen we wantrouwen opwekken bij de financier”, zei de controller fronsend.

Dit soort onderhandelingen zijn gebruikelijk voordat een evaluatie van echt start gaat. Binnen een te evalueren organisatie, programma of project (in vaktermen het evaluandum genoemd) heerst vaak spanning: het perspectief beoordeeld te worden, ervaart men als bedreigend. En die spanning is reëel, omdat de conclusies van een evaluatie gevolgen kunnen hebben. Gaat de financiering verder? Moet de koers veranderen? Vallen er ontslagen? En ook het perspectief om kritiek te krijgen, is vaak niet iets waarop men zit te wachten, alle bezweringen over het leerzame van evaluaties ten spijt.

De uitkomst van de gesprekken binnen het evaluandum zijn belangrijk, maar op de eerste plaats staan de eisen die de financier als opdrachtgever stelt. Deze heeft het evaluandum gecontracteerd voor het uitvoeren van activiteiten binnen het kader van overeengekomen doelstellingen en de daarvoor nodige financiële middelen. Opdrachtgevers kunnen ministeries, maar ook bedrijven, niet-gouvernementele organisaties of private donoren zijn.

Binnen het contract tussen de financier en de ondersteunde organisatie worden vaak evaluaties uitgevoerd volgens de OECD/DAC-criteria. Daarin staan de relevantie, effectiviteit, doelmatigheid, impact en duurzaamheid van het evaluandum centraal. Met deze criteria en de gesprekken met ondersteunde organisatie in het achterhoofd stelt de financier dan de opdrachtbeschrijving (Terms of Reference-TOR) op. Daarin is het doel van de evaluatie aangegeven, de wijze waarop de evaluatiecriteria moeten worden toegepast, welke aanpak wordt gekozen (bronnenstudie, informatieverzameling, veldbezoeken, indiening draft rapport, indiening eindrapport na terugkoppeling) en wat de beschikbare tijd moet zijn voor de werkzaamheden.

Vervolgens komt de evaluator (vaak een klein team van experts) in beeld. “Heeft de doelgroep om de evaluatie gevraagd?”, is zijn eerste vraag in zijn onderhandelingen met de financier. “Als dat zo is, dan moeten we de vertegenwoordigers ervan beslist bezoeken”.

In veel evaluaties heeft de financier wel tijd en geld ingeruimd voor enkele veldbezoeken, waarbij deze zich niet vaak wil bemoeien met de gedetailleerde vormgeving ervan. Immers: dat weten de evaluator en de mensen van het evaluandum beter. Het zal niet de eerste keer zijn dat deze twee over veldbezoeken flinke onenigheid hebben: kijken we naar showcases of naar elementen die representatief zijn voor het evaluandum?

“Hebben we voldoende tijd om aan de criteria impact en duurzaamheid deugdelijk aandacht te besteden?”, vraagt de evaluator zich regelmatig met klem af. “Impact analyse vereist veel dataverzameling om te weten wat de leden van de doelgroep werkelijk vinden van wat er voor hen gedaan is. En dat liefst op verschillende tijdstippen”, ter verduidelijking van zijn stelling. “Bij duurzaamheid moet je echt veel later terugkomen om dan te zien waartoe de doelgroep in staat blijkt na alle acties van het evaluandum. Is dat wel mogelijk?”, is dan de prangende slotvraag.

Onderhandelingen tussen de opdrachtgever en de evaluator gaan dus niet louter over wat in de beschikbare tijd gedaan kan worden, maar veel meer over wat een evaluatie werkelijk kan vertellen over impact en duurzaamheid.

Voor de criteria relevantie, effectiviteit en doelmatigheid ligt dat minder gevoelig. Voor deze criteria liggen als het goed is strategiedocumenten, contextdocumenten, jaarplannen, jaarverslagen, of activiteitenrapportages klaar, naast overzichten hoe de financiën zijn besteed. De evaluator zelf kan dan alle documentatie analyseren, observaties doen en verslagen van interviews en focus group discussions maken. Een goede evaluator heeft daar zijn handen vol aan: nu eens zijn de te bezichtigen objecten zijn niet op hun plaats, dan weer de vertegenwoordigers van de doelgroep op pad, of de plaatselijke autoriteiten schaars aanwezig; als je pech hebt alles tegelijk. Daarnaast heb je het gedoe rondom het transport en onderkomen van het evaluatieteam, het feit dat de werkweken tijdens het veldbezoek zijn bezwangerd met veel religieuze festivals of het gebrek aan tijd van boeren om in oogsttijd geïnterviewd te worden, enzovoort en zo verder.

Wanneer de opdrachtgever, op voorspraak van de sleutelpersonen binnen het evaluandum, de evaluator dan ook nog verzoekt om strategische aanbevelingen te doen, dan kunnen de rapen gaar zijn voor de evaluator: “Dat is van alles een beetje. Met zo’n ‘kerstboom-TOR’ is niet te werken”, om te vervolgen met: “Laten we eerst maar eens plausibel maken of de ondersteunde organisatie een decent job heeft gedaan”.

Zo’n discussie kent verschillende uitkomsten is mijn ervaring. Wanneer de evaluator meer op zijn bord krijgt dan volgens hem methodologisch verantwoord is, doet hij goed aan dit in de verantwoording van zijn rapportage expliciet te benoemen.

De vraag is wel of dan van de evaluatie veel geleerd wordt.

Eric Kamphuis (17/11/2018)

Share

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Wilt u mij een persoonlijk bericht sturen? Mail naar s.debeter@gmail.com

Wilt u zich op mijn blog abonneren (wat ik zeer waardeer), dan hoeft u alleen uw emailadres in te vullen en daaronder op 'Abonneren' te klikken.

Laatste berichten