Ten eerste is de formulering van de vragen sturend. Bij vragenlijstonderzoek hanteren we de regel dat vragen neutraal worden geformuleerd; we willen tenslotte opinies meten en niet maken. Vragen als 'Ergert u zich wel eens aan de wijze waarop goede doelen geld werven?' en 'Is die irritatie van invloed op uw geefgedrag' zijn schrijnende voorbeelden van sturende vragen stellen. De enquête in kwestie staat er bol van. Als je van te voren bepaalde uitkomsten wíl verkrijgen, is dit in ieder geval wel de juiste manier.
Ten tweede is de volgorde van vraagstelling van invloed op het onderzoeksresultaat. Er worden bijvoorbeeld eerst vragen gesteld over het 'aan de strijkstok blijven hangen' van goede doelen gelden. Vervolgens wordt gevraagd wat men vindt van de 4 miljard euro belastinggeld die aan ontwikkelingshulp wordt uitgegeven. Mijn inziens ben je dan de onderzoeksresultaten eenvoudigweg aan het manipuleren.
Ten derde correspondeert de steekproef niet met de geclaimde doelgroep. Deze is afkomstig van een online panel, waarin mensen zitten die beloond worden om met onderzoek mee te doen. Dat is een selecte groep mensen die je niet zomaar het stempel 'de Nederlandse bevolking' kan geven. Volgens de onderzoekers wordt 'gecorrigeerd voor leeftijd en geslacht, zodat een representatieve steekproef is ontstaan'. Dit is een onjuiste bewering. De vertekening zit helemaal niet in leeftijd en geslacht, dus hiervoor corrigeren heeft geen enkele zin.
Ten vierde is de timing van dit onderzoek niet neutraal. Dit onderzoek is uitgevoerd rond kerst en oud en nieuw. Is dat niet de periode dat mensen klagen over die dure maand? Wat er precies in de hoofden van mensen gebeurd rond deze periode durf ik niet te zeggen, maar ik acht de kans groot dat juist deze periode de perceptie van ontwikkelinghulp en ander filantropisch gedrag vertekent.
Tenslotte de hoofdconclusie van het onderzoek. Die luidt dat een meerderheid (57 procent) van 'de Nederlandse bevolking' vindt dat er te veel wordt uitgegeven aan ontwikkelingshulp. Dit resultaat is curieus omdat NCDO deze vraag ook jaarlijks stelt in hun Barometer Internationale Samenwerking. Uit deze enquête bleek onlangs dat 34 procent vindt dat er te veel wordt uitgegeven aan ontwikkelingshulp. (Vraagstelling: 'Moet de Nederlandse ontwikkelingshulp vergroot worden, gelijk blijven of verminderd worden?') Dat is nogal een verschil.
Bovendien, zo staat in het onderzoeksverslag van onzeWereld vermeldt, blijkt uit de onderzoeken van hoogleraar filantropie Theo Schuyt en dat van het Centraal Bureau Fondsenwerving dat er sprake is van een stijging van het totale bedrag dat aan ontwikkelingssamenwerking wordt uitgegeven door de particuliere sector. Dit blijkt ook uit de kassen van de ontwikkelingsinstellingen, aldus René Grotenhuis, directeur van Cordaid. Dat lijkt me redelijk hard bewijs dat het wel meevalt met het draagvlak voor ontwikkelingssamenwerking. Overigens complimenten voor het feit dat deze alternatieve bronnen wel worden genoemd, terwijl deze niet overeenkomen met de hoofdconclusie van het onderzoek. Dat zie je ook wel eens anders.
Conclusie
Het is altijd lastig bij dit soort gevoelige onderwerpen de feiten van de meningen te scheiden. Dat wordt ook in dit kader geïllustreerd door de totaal verschillende reacties op de onderzoeksresultaten van de Tweede Kamerleden Arend-Jan Boekestijn (VVD) en Chantal Gill'ard (PvdA). Maar juist bij dit soort kwesties die maatschappelijke onrust kunnen veroorzaken is objectiviteit cruciaal en dient een onderzoeksopzet uitermate zorgvuldig, degelijk en volgens de regels van het spel worden opgezet. Als dat niet het geval is, verdient het ook geen aandacht. Misschien voor een gratis dagblad of de website van onzeWereld, maar niet voor een politiek debat op hoog niveau.
Tip voor de politiek: reageer in vredesnaam niet op elk spraakmakend onderzoekje dat claimt de mening van het volk te hebben gemeten. Als je onderzoek gebruikt met maatschappelijke relevantie, zorg er dan voor dat het degelijk gebeurt en neem op zijn minst een keurmerk gecertificeerd bureau in de arm. En ja, dat kost tijd en geld. Kwaliteit is niet goedkoop. Maar maatschappelijke onrust na elke willekeurige online poll lijkt me ook niet wenselijk.
Robert van Ossenbruggen (1973) studeerde Psychologie en Marketing (beide cum laude) en werkt als zelfstandig onderzoeksmethodoloog voor diverse marktonderzoekbureaus. Van Ossenbruggen is voorzitter van de vakgroep Methoden & technieken (Marktonderzoekassociatie) en publiceert regelmatig over uiteenlopende methodologische onderwerpen.
