Slechts vier van de tien Nederlanders worden vertrouwd, zo bleek in oktober uit de ‘Nationale Vertrouwensmonitor’. Marktonderzoeksbureau Winkle voerde het onderzoek uit voor verzekeraar Arag. Dat Winkle twijfelachtige methodes gebruikt om vertrouwen te berekenen, nemen redacteuren van regionale kranten graag voor lief. ‘Echt serieus moeten we het niet nemen.’
Let op: Deze factcheck is uitgevoerd op basis van de beschikbare informatie op de datum van publicatie. Lees hier over onze werkwijze.
Het idee voor de Vertrouwensmonitor komt uit de koker van reclamebureau Lemz, dat een campagne opzette voor verzekeraar Arag. ‘Arag geeft en helpt vertrouwen te herstellen’, aldus Wendeline Sassen, strategic planner bij Lemz.
Onderzoeksbureau Winkle presenteerde het landelijke vertrouwensonderzoek op 6 oktober 2009. Voor de Nationale Vertrouwensmonitor vulden 1456 Nederlanders boven de 18 ondervraagd een online vragenlijst in. Zij waren afkomstig van twee online panels: PlanetPanel van MSI-ACI Europe en Opinieplein van SSL. Per provincie werden er minimaal 120 (60 mannen en 60 vrouwen) mensen ondervraagd, zodat Winkle ook op provinciaal niveau uitspraken kon doen over vertrouwen.
Toch roept het onderzoek vragen op. Zo kunnen er vraagtekens worden gezet bij de wijze waarop sommige berekeningen zijn uitgevoerd. Ook laten de enquêtevragen ruimte over voor onduidelijkheid. Wat wordt precies bedoeld met: ‘Hoeveel procent van de mensen in een winkelstraat vertrouwt u?’ Vertrouwen de panelleden op winkelend publiek bijvoorbeeld om even op hun spullen te letten, of op hun kinderen? En heeft het zin om mensen te vragen of zij hun spullen onbewaakt op een strand achterlaten als men iets wil beweren over onderling vertrouwen?
Geen nulmeting
Reclamemaakster Sassen is zich bewust van zwakke plekken in het onderzoek. ‘Ik kan me voorstellen dat het een onderzoek is dat kritisch bekeken wordt.’ Zo is de uitkomst van vier-uit-tien ‘niet vergeleken met wetenschappelijke literatuur’ om te kijken of dit aantal normaal is of juist uitzonderlijk. Ook kan de conclusie in het rapport dat er sprake is van een ‘neerwaartse trend’ in het algehele vertrouwen over de afgelopen vijf jaar niet geverifieerd worden. ‘Er is geen nulmeting gedaan’, geeft Sassen toe. Deze neerwaartse trend betreft bovendien de perceptie van de ondervraagden. Een uiterst subjectief en beïnvloedbaar gegeven dus.
Hoe ver kan een Nederlander een tennisbal gooien?
Sociaal psycholoog Joop van der Pligt van de Universiteit van Amsterdam zet vraagtekens bij de wijze waarop Winkle aan zijn de conclusies komt. De ondervraagden kregen de volgende vraag voorgeschoteld: ‘Hoeveel procent van de mensen in een winkelstraat vertrouwt u?’ Zij konden dan aangeven of dat 0, 10, 25, 33, 50, 66, 75 of 100 was. Van der Pligt: ‘De schaalverdeling vind ik heel maf. Gaan ze ineens 90% eruit laten, dat vind ik wel heel slordig, het is een eerste vereiste dat je het een beetje netjes doet. Die schaalverdeling moet symmetrisch zijn. Je probeert evenveel de lage en hoge kant zo symmetrisch mogelijk te representeren. Het lijkt wel op onderzoeken waarin men vraagt: “Wat vindt u van ons product: redelijk, prachtig, het allermooiste op aarde of hemels?” Wat moet ik ermee?’
De wijze waarop Winkle vervolgens doorrekent met deze getallen is onverantwoord. Om op het uiteindelijke ‘38,2% van alle mensen wordt vertrouwd’ uit te komen, gaat Winkle als volgt te werk: wanneer 15,7% van de ondervraagden 10% van de mensen in een winkelstraat vertrouwt, maken zij 1,6% uit van het totaal van 38,2% (0,157 x 10 is afgerond 1,6 procent). Van der Pligt: ‘Dit soort omrekeningen vind ik echt gekunsteld. Het kan wel. Maar die 16,6% van de mensen die niemand vertrouwt, drukt het gemiddelde natuurlijk enorm.’ Van der Pligt verduidelijkt: ‘Stel dat je onderzoek doet naar hoe ver een Nederlander een tennisbal kan gooien en 1% gooit hem 100 meter. Dan ga je op basis van die uitkomsten concluderen dat de gemiddelde Nederlander die tennisbal 38,2 meter ver gooit. Dat is wat zij proberen te doen.” Beter zou het volgens Van der Pligt zijn om dichter bij de oorspronkelijke respons te blijven. ‘Door bijvoorbeeld te zeggen dat x procent meer of minder dan de helft van alle mensen in de straat vertrouwt.’
De pers wil een vette quote
In een reactie vertelt Hans Lingeman, directeur van onderzoeksbureau Winkle, dat de niet-symmetrische schaal het gevolg is van een foutje in het onderzoek. “Als je eenmaal een fout maakt moet je hem consistent blijven maken. Vanaf toen moesten we deze schaal hanteren, anders konden we de uitkomsten niet meer met elkaar vergelijken.”
‘Het is zeker geen perfect onderzoek’, geeft Lingeman toe. ‘Het is ons eerste onderzoek naar vertrouwen in Nederland en alle opbouwende kritiek is welkom. Volgens mij wordt je van kritiek alleen maar beter.’
Lingeman staat wel achter de conclusies die zijn onderzoekt trekt. Zo is er volgens hem geen sprake van een vertekening door de mensen die zeggen niemand of bijna niemand te vertrouwen. ‘Ik had het onderzoek absoluut niet gepubliceerd, als ik er geen goed gevoel bij had gehad of als ik het niet gecontroleerd had met de vraag “Wie vertrouwt u?”
Uit deze andere vraag uit het onderzoek blijkt dat slechts 41% van de ondervraagden onbekenden vertrouwt. Toch is dit een andere vraag dan die van de winkelstraat, aangezien de proefpersonen op deze vraag wel 61% van de mensen uit de straat of hun buurt vertrouwen. ‘Ik geloof zeker dat het beter kan door die ene percentage-categorie toe te voegen, maar ik geloof niet dat je daar heel veel andere uitkomsten van gekregen had.’
Over de wijze waarop het rapport komt op de 38,2% vertrouwen, zegt Lingeman: ‘We hebben gewoon wetenschappelijke methoden gebruikt in het onderzoek, het is geen rare berekening om te maken. Rapporteren dat een bepaald percentage meer of minder dan 50% van de mensen vertrouwt, is natuurlijk wel veel zuiverder, maar het reclamebureau wil een duidelijke quote, een kopregel, en dat is vaak waar journalisten ook behoefte aan hebben. Als ik normaal gesproken marktonderzoek zou rapporteren, dus niet in de pers, dan staat er niet zo’n kopregel. Als je de burger niet zo’n quote zou geven, zou niemand het begrijpen wat je bedoelt.’
Lingeman incasseert kritiek op zijn onderzoek, maar deelt die ook uit: ‘Ik was er wel verbaasd over dat journalisten het onderzoek klakkeloos overnamen, dat er eigenlijk bijna geen inhoudelijke vragen gesteld werden.’ De journalisten die het nieuws brachten hebben dus ook steken laten vallen.
Een stukje infotainment
Berichten over de Vertrouwensmonitor waren vooral te vinden op internet. Zo publiceerden onder andere Sp!ts, de Telegraaf en enkele economische websites een nieuwsbericht. Vooral regionale dagbladen plaatsten artikelen naar aanleiding van het rapport. De reden? Winkle heeft ook aparte gegevens over de twaalf provincies en daarmee wordt het rapport regionaal nieuws. Koppen als: ‘Onderzoek: Gelderlanders vol vertrouwen’ en ‘Onderzoek: tweederde vertrouwt mensen op straat niet – Flevolanders worstelen met vertrouwen’ sierden de kranten. In deze berichtgeving werd vooral gefocused op de conclusie van Winkle en het vertrouwen in de provincie.
De Stentor (Dagblad Flevoland), Tubantia en de Leeuwarder Courant plaatsen alledrie een artikeltje waarin het over het vertrouwen van respectievelijk de Flevolander, de Gelderlander en de Fries gaat.
De journalist van de Stentor heeft het artikel bewust een paar dagen op de plank laten liggen, want ‘echt serieus moeten we het niet nemen’. De reden om het uiteindelijk toch te plaatsen was dat het toch leuk was om te lezen voor de Flevolanders. Iets soortgelijks vindt ook de journalist van Tubantia. Hij meent het in het artikel duidelijk te hebben gemaakt dat het hier niet ging om een representatief onderzoek door het aantal respondenten te vermelden.
De journalist van de Leeuwarder Courant meende echter dat het hier weliswaar niet om een wetenschappelijk onderzoek ging, maar dat het wel indicatief was. ‘Het rapport geeft wel een beeld. 131 respondenten voor Friesland is wel degelijk een groot aantal.’
Conclusie
Nieuwscheckers concludeert dat de journalisten in kwestie hapklare quotes hebben overgenomen en het rapport niet zelf hebben gelezen. En dan is de Vertrouwensmonitor ook nog eens een voorbeeld van een rapport waar niet de meest ingewikkelde berekeningen in staan. Vervolgens geven twee van de drie journalisteDoor Ilse Geijsel en Hans Klisn die het bericht brachten ook toe dat zij het rapport niet al te serieus namen. Toch brengen ze liever een stukje infotainment dan er kritisch of simpelweg niet over te berichten.