Het belang van impact meten is voor ontwikkelingsorganisaties overduidelijk. Door met vragenlijsten te onderzoeken of deelnemers aan ontwikkelingsprogramma’s zélf een verbetering in hun leven zien, kan worden beoordeeld of een programma succesvol is. In combinatie met diepte interviews over hoe de gemeten verandering heeft plaats gevonden, levert zo’n studie veel informatie op waarmee ontwikkelingsprogramma’s verbeterd kunnen worden. In 2012 startte Oxfam Novib daarom met een pilot voor impactonderzoek in Oeganda. Inmiddels zijn de impactmetingen ook in andere landen uitgerold onder de naam “World Citizens Panel”. Mensen worden hierbij in hun eigen taal geïnterviewd aan de hand van een vragenlijst via een smartphone app. Onderzoeker Boudewijn Weijermars was de hele maand juni in Oeganda, waar op dit moment net de tweede meting is afgerond.
Wat heb je in Oeganda gedaan?
“Een belangrijk onderdeel van mijn bezoek was het opstarten en uitrollen van de tweede dataverzameling voor het World Citizens Panel in Oeganda. Bij dit onderzoek worden deelnemers aan ontwikkelingsprogramma’s en een controlegroep geïnterviewd door middel van een vragenlijst via een smartphone app. Medewerkers van onze partnerorganisaties worden door ons getraind in het afnemen van deze interviews. Zo heb ik bijvoorbeeld veel met de partners overlegd over een goede steekproeftrekking. Hierna begint de dataverzameling met smartphones die lokaal worden ingekocht. De laatste week heb ik meegelopen in het veld, in het noorden van Oeganda waar de programma´s worden geïmplementeerd. ”
Hoe gaat het er aan toe bij het veldwerk?
“De interviews worden afgenomen in verschillende lokale talen. Het interview is een vertrouwelijk gesprek en de respondenten worden afzonderlijk geïnterviewd. De interviewers worden getraind om op te letten of de antwoorden betrouwbaar zijn. Ze hebben daarmee geoefend in rollenspellen en in de praktijk. Het was goed om een week mee te lopen en te zien hoe het gaat tijdens de dataverzameling.”
Wat viel je het meeste op bij het doen van onderzoek in Oeganda?
“Iets als het willekeurig selecteren van respondenten en het werken met controlegroepen bleek heel Westers te zijn. Ook het concentreren op impact in plaats van output was nieuw voor de partnerorganisaties. Terwijl outputonderzoek zich bijvoorbeeld richt op het aantal getrainde leraren of het aantal kinderen dat naar school gaat, gaat impactonderzoek verder door te meten hoe ouders de kwaliteit van het onderwijs van hun kinderen ervaren. In die zin is meedoen aan zo’n onderzoek ook meteen een vorm van capaciteitsopbouw voor de partnerorganisaties.”
En hoe gaat het nu verder?
“Uiteindelijk nemen we in Oeganda bij ongeveer 5.000 mensen de vragenlijst af. We vergelijken de resultaten van de deelnemers aan onze programma’s met de resultaten van een controlegroep en met de resultaten van twee jaar geleden, om zo de impact van de programma’s te meten. Op basis van opvallende uitkomsten van het vragenlijstonderzoek wordt daarna een groep mensen uitgebreider geïnterviewd over de belangrijkste verandering in hun leven als gevolg van Oxfam Novib’s ontwikkelingsprogramma’s. Zo kunnen we zien hoe verandering plaatsvindt en op welke manier we verandering kunnen stimuleren. In het najaar komt er een rapport uit met analyses die zijn uitgevoerd op de data van alle partnerorganisaties samen. Daarnaast krijgt iedere partnerorganisatie een rapport met de uitkomsten voor hun eigen projecten. Naast Oeganda is ons team van vijf personen inmiddels ook bezig met impactmetingen in Somalië, Pakistan, Cambodja, Nigeria en Mali en er staan nog meer landen op het programma. Zo werken we aan een World Citizens Panel. ”
Meer weten? www.worldcitizenspanel.com
Foto:Boudewijn Weijermars
