Meetbaarheid van de resultaten van ontwikkelingssamenwerking

08-05-2006
Door: Agriterra

In de wereld van de Nederlandse ontwikkelingsorganisaties is er recentelijk enige opschudding ontstaan naar aanleiding van de nieuwe criteria die het Directoraat Generaal voor Internationale Samenwerking (DGIS) van het Ministerie van Buitenlandse Zaken stelt aan aanvragen voor de medefinanciering van projecten in ontwikkelings­landen. Belangrijkste discussiepunt betreft de meetbaarheid van de effecten en resultaten van deze ontwikkelingsinspanningen in het Zuiden.

 

Er bestaat in Nederland maar een beperkte traditie op het gebied van het evalueren van ontwikkelingswerk. Weliswaar brengt de Inspectie Ontwikkelingssamenwerking rapporten uit waarin de effecten van het ontwikkelingsbeleid worden bekeken en heeft de accountantdienst het recht om de legitimiteit van de fondsenbesteding te controleren, maar daaruit kunnen maar in beperkte mate conclusies worden getrokken over de impact van het ontwikkelingswerk. Daarnaast reizen er met de regelmaat van de klok zgn. evaluatie- en monitoringsmissies af naar het Zuiden om te bezien op welke wijze de projecten en programma's ten uitvoer zijn gebracht. Slechts zelden is er echter sprake van een wetenschappelijk verantwoord proces van resultaat- en effectmeting.

Onlangs heeft de commissie Dijkstal, in opdracht van de ontwikkelingsorganisaties SNV, ICCO en KIT, een rapport uitgebracht waarin min of meer wordt bepleit om de effectiviteit van ontwikkelingsprojecten te beoordelen op basis van de kwaliteit en reputatie van de betrokken organisaties. Deels wordt deze richtlijn al gevolgd middels het CBF keurmerk voor fondsenwerving. Het is echter ronduit onvoldoende om 'goed bestuur' gelijk te stellen met effectieve programma-uitvoering.

 

De meting van projectresultaten is echter geenszins een eenvoudige taak. Zodra een project op het terrein van bijvoorbeeld onderwijs of landbouwontwikkeling tot positie­ve uitkomsten heeft geleid, wordt er vaak eenvoudigweg beweerd dat de interventie succesvol was. Anderzijds worden tegenvallende resultaten al snel geweten aan versto­rende externe omstandigheden (o.a. hoge inflatie, politieke conflicten, etc.).

 

Beide redeneringen zijn echter ten diepste onjuist. De vraag die beantwoord moet worden is immers op welke wijze de projectinterventie het welzijn van de deelnemers positief heeft beïnvloed vergeleken met de situatie dat er geen interventies zouden zijn gepleegd. Dit impliceert dat er niet alleen een vergelijking moet worden gemaakt van de situatie van de doelgroep ten opzichte van een controlegroep van niet-deelnemers (with-without assessment), maar dat er ook inzicht moet worden verworven in hoe het de doelgroep is vergaan voorafgaand en na afloop van het project (before-after assessment).

 

Bij het uitvoeren van dergelijke analyses spelen verschillende methodologische problemen een rol. Allereerst is het van belang dat een zoveel mogelijk gelijk­waardige controlegroep worden gevonden van mensen die in principe als cliënten van het project in aanmerking zouden kunnen komen. Hiervoor is tegenwoordig een goede statistische procedure beschikbaar (propensity score matching) waarmee individuen en groepen worden vergeleken op basis van gelijke primaire en lokatie-kenmerken. De bedoeling hiervan is dat in de controlegroep zoveel mogelijk gelijkwaardige potentiële projectdeelnemers zitten. Middels het vergelijken van de verschillen in gedrag tussen beide groepen voor en na het project (difference-in-difference) kan dan worden vastgesteld welke bijdrage aan de interventie kan worden toegeschreven.

 

Een tweede probleem betreft het vaststellen van de zgn. 'counterfactual', namelijk wat er zou zijn gebeurd met de doelgroep indien het project niet zo zijn uitgevoerd. Daarmee wordt het mogelijk om de effectieve bijdrage van de interventies voor de doelgroep te traceren. Hierbij kan gebruik worden gemaakt van modelanalyses en tijdserie data. Daarvoor bestaat - ten onrechte - de nodige vrees en afkeer bij de Nederlandse ontwikkelingsorganisaties. Uiteraard is het niet zinvol om bij elk project een dergelijk instrumentarium uit de kast te halen, maar het zou zeker aanbeveling verdienen om in enkele grotere en meerjarige programma's vanaf de aanvang deze metingen te verrichten. Dat blijkt veelal goede leermomenten te bieden die tijdige bijsturing mogelijk maken.

 

Dergelijke methoden worden internationaal reeds gebruikt, o.m. door de Wereldbank en laten vaak verrassende resultaten zien. Zo bleek een door velen zeer succesvol geacht programma van Farmers Field Schools (FFS) in Indonesië, waarbij boeren werd geleerd om integrale ziektebestrijdingsmethoden toe te passen en deze kennis te verspreiden binnen hun gemeenschappen, inderdaad geleid te hebben tot hogere oogsten en een verminderd gebruik van chemische bestrijdingsmiddelen. Dezelfde boeren zouden echter deze ontwikkeling ook hebben doorgemaakt zonder de interventie van het project, voornamelijk doordat er een duidelijke selectie bias aanwezig was bij het kiezen van de projectdeelnemers. Niet zozeer de armste boeren werden uitgekozen, maar vooral de meer 'progressieve' boeren die sowieso geneigd waren om vernieuwingen in hun bedrijfsvoering te introduceren. Veel van de populaire microkrediet programma's lijken eenzelfde risico te lopen.

 

Een laatste belangrijk probleem bij de meting van de resultaten van ontwikkelings­projecten betreft de moeilijkheid om effecten toe te schrijven aan specifieke activiteiten. Onderzoek heeft duidelijk gemaakt dat er sprake is van duidelijke complementariteit tussen verschillende interventies. Zo zijn projecten gericht op armoedebestrijding en onderwijsverbetering duidelijk effectiever in situaties waar betere infrastructurele voorzieningen aanwezig zijn. Op zich zou dat een pleidooi kunnen opleveren voor een meer integrale benadering van projecten met een sterke regionale focus. Het huidige beleid is echter juist gericht op de ondersteuning van sectoren (bv. basisonderwijs, midden- en kleinbedrijf) en ziet daarmee impliciet af van de potentiële positieve effecten van complementaire interventies.

 

De uitdaging waar de Nederlandse ontwikkelingsorganisaties thans voor staan is het ontwikkelen en implementeren van een bruikbaar instrumentarium voor meting en bijsturing van ontwikkelingsprojecten. De voorgestelde methodiek waarbij scores worden gegeven aan een aantal belangrijke aspecten van de projectcyclus is niet alleen uiterst subjectief, maar staat ook een kritische dialoog gericht op het bepalen van 'best practices' mogelijk in de weg.   

Reacties