Een frisse blik van een deskundige buitenstaander kan een schat aan informatie opleveren over je project. Vanaf dit voorjaar organiseren PI Wijzer en CIDIN evaluatiereizen naar kleinschalige ontwikkelingsprojecten. Doordat ze tijdens één reis meerdere projecten bezoeken, blijft de prijs binnen de perken. In mei gaat de eerste ‘Smart & Efficient’ evaluatiereis naar Noord-Ghana. MyWorld sprak met initiatiefnemer Adriaan Kauffmann van PI Wijzer.
Door Mirjam Vossen
Evalueren particuliere initiatieven niet genoeg?
“Particuliere initiatieven doen veel aan zelfevaluatie: ze schrijven nieuwsbrieven, ze voeren gesprekken met elkaar en met hun partners, ze rapporteren aan financiers en donateurs. Ze ondernemen al heel veel waardoor ze leren van hun werk. Bij dat leertraject kan ook een externe evaluatie door een onafhankelijke buitenstaander passen. Dat laten particuliere initiatieven vooralsnog nog weinig doen.”
Waarom is die buitenstaander belangrijk? Is zelfevaluatie niet genoeg?
“Een onafhankelijke, externe evaluatie kan waardevolle nieuwe inzichten brengen. In hoeverre voelt jouw partner zich bijvoorbeeld echt eigenaar van een project? Hoe functioneert een project als jij niet in de buurt bent? Is het zinvol om door te gaan met de huidige doelstellingen? Een externe evaluatie kan nuttig zijn wanneer je zelf al lang niet meer bij je project bent geweest. Maar ook wanneer je er vaak bent kan een externe evaluatie nuttig zijn: het kan dan lastig zijn om uit te zoomen en kritisch op je werk en de samenwerking te reflecteren.”
Heb je een voorbeeld?
“In Zambia evalueerden we een kleinschalig toerismeproject. Met hulp van een Nederlandse stichting waren er toeristenverblijven gebouwd in een dorp en Nederlandse vrijwilligers hadden er een marketing- en promotiesysteem opgezet. Een heel interessant project, met een inkomen genererend onderdeel. Het project liep echter niet zoals gepland en verwacht en de stichting twijfelde of ze er nog in moest investeren. Ze waren er al een tijd niet meer geweest. Tijdens ons bezoek zagen we dat het project inmiddels op een heel andere manier werd gemanaged. Bovendien functioneerden de beheerssystemen niet goed: het dorp had geen elektriciteit en was nauwelijks bereikbaar via telefoon of internet. Zodra de Nederlandse vrijwilligers vertrokken, zakte het in. Daarbovenop was er sprake van overmacht omdat twee belangrijke personen voor het project waren overleden. De stichting besloot om niet opnieuw te investeren in dit toerismeproject, maar stond nog wel open voor projectideeën vanuit de lokale partner. Ze investeren nu in een ander project in een ander dorp met een andere aanpak.”
Hoe komt dat dat er in de PI-wereld zo weinig extern wordt geëvalueerd?
“Zowel financiële ondersteuners, donateurs als PI’s vragen zelf niet om een externe evaluatie. Daar begint het mee: zij moeten het inhoudelijke belang wel inzien. Daarbij bestaat het beeld dat het duur is en lastig te organiseren. Zo’n evaluatie kost natuurlijk geld, maar wij denken dat we een efficiënte manier hebben gevonden om externe evaluaties ook voor particuliere initiatieven toegankelijk te maken. Met onderzoeker Sara Kinsbergen van het CIDIN in Nijmegen hebben collega Maarten Kuijpers van PI Wijzer hiervoor een plan uitgewerkt.”
Hoe ziet jullie aanpak er uit?
“Onze aanpak is gebaseerd op Sara’s onderzoekservaring en onze ervaring met projectbezoeken. Wij vertrekken naar Ghana als er tenminste vier projecten zijn aangemeld. In de voorbereiding hebben we een gesprek met het particuliere initiatief. We stellen een Terms of Reference (ToR) op met daarin alle afspraken en de evaluatie-aanpak. Deze ToR bespreken we met het PI en met de lokale partner. We vragen alle projectdocumenten op en analyseren deze. We nemen vooraf ook contact op met de lokale partner en organiseren met hen ons bezoek, de interviews, de dagen, et cetera. Na ons bezoek analyseren we alle gegevens en schrijven we de rapportage, die we ook opsturen naar de lokale partner.”
En wat kost het?
“De kosten voor deze evaluatiereis naar Ghana zijn 950 euro, exclusief BTW. Het gaat hier om een uitzonderlijk scherp uurtarief van 20 euro per uur, in totaal 30 uur. De BTW wordt alleen over deze 30 uur berekend waardoor het totaal uitkomt op 1.078 euro. De kosten voor reis en verblijf worden verdeeld over het aantal projecten dat we evalueren. Misschien vallen de kosten achteraf lager uit, bijvoorbeeld omdat het vliegticket goedkoper was, dan betalen we het verschil terug. Maar men is nooit meer kwijt dan de 1.078 euro, dat is het risico dat wij aangaan. Alles is zeer strak geregeld, de planning, de kosten, de uurvergoeding, et cetera. We hopen dat het ook zo uitpakt, anders zullen we een volgende reis op een anders moeten organiseren.”
Per project zijn jullie er twee dagen. Is dat niet heel erg kort?
“Dat wordt ons meer gevraagd. In de internationale consultancy zijn veldwerkbezoeken van enkele dagen tot een week heel gebruikelijk. Het zeer gewaardeerde proefschrift over particuliere initiatieven van Sara Kinsbergen is ook gebaseerd op gemiddeld tweedaagse bezoeken aan projecten. We kunnen heel veel doen. Dat kan omdat we met gerichte vragen zo’n bezoek aanvangen en ons heel goed voorbereiden. Daarnaast richten wij ons op relatief beperkte community-projecten, dus geen projecten met regionale of landelijke uitstraling. In twee intensieve dagen kunnen we de doelgroep, de projectleider en eventueel andere belangrijke stakeholders interviewen. Daarnaast bezoeken we het project, hebben we continu onze antennes uit en hebben we allerlei informele gesprekken met mensen waar we veel informatie uit halen. We hebben bovendien ruime ervaring met het projectevaluaties én met particuliere initiatieven. We begrijpen hoe PI’s werken en denken. We snappen met welke bril we daar naar moeten kijken.”
Even advocaat van de duivel spelen: zijn er in landen als Ghana geen lokale organisaties die projecten kunnen evalueren?
“In internationale consultancy wordt er vaker samengewerkt met lokale onderzoekers, maar we weten dat dit makkelijker gezegd dan geregeld is. Het is zeker de ambitie van PI Wijzer om op termijn met lokale onderzoekers te gaan samenwerken. We willen in de landen die we bezoeken in contact komen met lokale onderzoekers en inventariseren wat de mogelijkheden zijn.”
Welke bestemmingen zitten er nog in de pijplijn?
“We denken aan Zuid-Afrika, Burkina Faso, Kenia en India. Een van ons gaat komende maanden bovendien naar Costa Rica en Ecuador. Ook projecten uit die landen kunnen zich aanmelden. Evaluaties in deze laatste landen kunnen we tegen een heel scherp tarief aanbieden vanwege relatief lage reis- en verblijfskosten.”
Wil je meer weten over ‘Smart & Efficient Evaluations’? Of wil je jouw project laten evalueren? Kijk op piwijzer.nl/see of mail Adriaan Kauffmann via adriaan@piwijzer.nl
