Aan de vooravond van Prinsjesdag 2009 meldde EenVandaag op basis van eigen onderzoek dat het kabinet het vertrouwen niet vasthield. Dit bericht werd door diverse media, zoals het Algemeen Dagblad (AD) en het Dagblad van het Noorden (DvhN) versterkt overgenomen. In deze artikelen wordt verwezen naar een enquête, uitgevoerd door EenVandaag. Kun je op basis van die enquête concluderen dat de Nederlandse bevolking minder vertrouwen in het kabinet heeft? De uitkomsten blijken niet representatief voor de hele bevolking en zijn bovendien door EenVandaag ongunstiger uitgelegd dan nodig.
Let op: Deze factcheck is uitgevoerd op basis van de beschikbare informatie op de datum van publicatie. Lees hier over onze werkwijze.
Het bericht op de site van EenVandaag ziet er betrouwbaar uit: veel cijfers, een grafiek en een verwijzing naar het hele onderzoek. Met de onderkop ‘Panel geeft het kabinet een 5.1’ wordt het teruglopende vertrouwen als een feit gepresenteerd. Maar hoe representatief is dit panel en op welke cijfers zijn de conclusies gebaseerd?
Representatief?
Aan het onderzoek deden 23.500 mensen mee. Een indrukwekkend aantal. Deze respondenten hebben zichzelf aangemeld voor deelname aan enquêtes van EenVandaag. Het is dus een beperkte selectie van de bevolking, die op enkele punten afwijkt van het gemiddelde, vertelt Petra Klapwijk, redacteur van het EenVandaag Opiniepanel: het panel bevat meer mannen dan vrouwen, telt relatief veel ouderen, SP-stemmers en potentiële PVV-stemmers, en weinig CDA-stemmers. De samenstelling is bekend, want deelnemers vullen 23 vragen in over hun leeftijd, geslacht en andere persoonlijke kenmerken.
Die scheve verdeling valt met een statistische ingreep tot op zekere hoogte recht te trekken. EenVandaag corrigeert voor zes van de 23 kenmerken van de panelleden. Klapwijk: “Met cijfers van het CBS corrigeren wij onze uitslagen voor leeftijd, geslacht, opleiding, burgerlijke staat, spreiding over het land en politieke voorkeur.” Wanneer bijvoorbeeld relatief veel panelleden op de SP stemmen ten opzichte van de cijfers van het CBS over de gemiddelde politieke voorkeur van de Nederlandse bevolking, worden hun antwooren minder zwaar gewogen.
EenVandaag maakt voor die weging geen gebruik van de gouden standaardtabel van het CBS, maar van een programma dat het CBS speciaal voor het EenVandaag Opiniepanel heeft geschreven. Klapwijk verklaart dat de zes categorieën per onderzoek ter discussie staan en veranderlijk kunnen zijn. Het besluit wordt gemaakt na advies van het CBS en de ‘raad van advies’. Opvallend is dat voor de categorie ‘autochtoon of allochtoon’ niet gecorrigeerd wordt. “Het is een lastige groep, die in bijna alle panels onderbezet is”, aldus Klapwijk. De groep is zo klein, dat het zwaarder wegen van hun antwoorden een scheef beeld zou geven.
Het artikel van EénVandaag suggereert dat de enquête de mening van het volk verkondigt, maar Klapwijk stelt dat zij daar niet letterlijk van spreken. “Het panel representeert niet de Nederlandse bevolking, als dat ooit op de website vermeld staat, is het geplaatst door een stagiair terwijl er verder niemand is. Door het corrigeren van zes variabelen maken we het onderzoek wel betrouwbaarder.”
Schuiven met cijfers
Op welke cijfers baseert EenVandaag de conclusie dat het kabinet het vertrouwen niet vasthoudt? Het vertrouwen in het kabinet is door EenVandaag meerdere keren onderzocht, waardoor voor Prinsjesdag een vergelijking gemaakt kon worden tussen de verschillende periodes. Drie peildata worden genoemd, namelijk Prinsjesdag 2009 (28% vertrouwen), maart 2009 (31%) en december 2008 (37%). Aan de hand van deze gegevens wordt geconcludeerd dat het vertrouwen afneemt. Opvallend is dat het vertrouwen in het kabinet ten opzichte van Prinsjesdag 2008 (25%) met drie procent gestegen is. Hier wordt melding van gemaakt, maar er is duidelijk gekozen voor de negatieve benadering. Door de nieuwste resultaten te vergelijken met december 2008 ontstaat het beeld dat het vertrouwen afgenomen is, maar wanneer de peildatum van exact een jaar geleden voor de vergelijking gebruikt was, had dit een positiever beeld gegeven.
Volgens Lex Olivier, kandidaat ombudsman bij de Markt Onderzoek Associatie (MOA), heeft EenVandaag in principe niet verkeerd gehandeld: “Ze geven duidelijk aan tussen welke periodes de vergelijking gemaakt wordt. Ze hadden een zeer groot aantal respondenten. Een verschil van één of twee procent maakt dus wel degelijk uit. Wel kan gezegd worden dat het persbericht sturend is, omdat EénVandaag kiest voor een daling, terwijl zij evengoed hadden kunnen concluderen dat het vertrouwen in het kabinet is toegenomen.”
De grafiek die de uitkomst van het onderzoek weergeeft, is ook niet helemaal pluis. Op de homepage van EenVandaag gaf de grafiek ‘Vertrouwen in kabinet’ de driedeling ‘vertrouwen’, ‘geen vertrouwen’ en ‘weet niet’ weer. Wanneer we deze vraag opzoeken in het volledige onderzoeksrapport, blijkt de grafiek op de homepage gecomprimeerd te zijn. De schaalverdeling in het rapport bestaat namelijk uit vijf antwoordmogelijkheden: ‘heel veel vertrouwen’, ‘tamelijk veel vertrouwen’, ‘niet zoveel vertrouwen’, ‘geen vertrouwen’ en ‘weet niet/geen mening’. De grafiek op de homepage geeft hierdoor een vertekend beeld van de uitslag. Van de Nederlanders die volgens de grafiek ‘geen vertrouwen’ hadden in het kabinet, had het grootste gedeelte ‘niet zo veel vertrouwen’.
“Het samenvoegen van de antwoorden had niet gemogen”‘, licht Olivier toe. “Niet zoveel vertrouwen of geen vertrouwen in het kabinet hebben, is immers niet hetzelfde. Daarmee heeft EenVandaag niet op de juiste wijze gehandeld.” Deze fout is fataal voor het nieuws van EenVandaag: het optellen van die categorieën creëert namelijk het percentage waar de hele conclusie aan is opgehangen. “Het klopt inderdaad dat we de categorieën samengevoegd hebben”, zegt Petra Klapwijk. “Het is in één oogopslag zichtbaar wat de uitkomst van de enquête is. We willen het zo eenvoudig mogelijk maken voor de lezer. De volledige uitslag is via een link in het artikel te lezen.”
Vertrouwen in wie?
Zelfs als de cijfers van EenVandaag zouden kloppen, zeggen ze weinig. Het onderzoek van opiniepeilingenspecialist Will Tiemeijer leert dat vragen naar representativiteit de eerste vragen zijn die mensen stellen bij het leveren van kritiek op opiniepeilingen. Maar volgens hem zou kritiek verder moeten gaan dan dat. Opiniepeilingen construeren een publieke opinie, aldus Tiemeijer, “waar die niet of nauwelijks bestaat, al dan niet met behulp van sturende vragen.” In zijn artikel schrijft hij dat “het lijkt alsof Nederlanders tegenwoordig overal een mening over hebben. Dat beeld wordt mede veroorzaakt door peilingen.” In Trouw maakt Tiemeijer tevens het punt dat het volstrekt onduidelijk blijft waarom het vertrouwen in de regering zo laag is. “Dat vragen de opinieonderzoekers bijna nooit, en die enkele keer dat ze het wel doen, vinden de media het niet de moeite waard de antwoorden door te geven.” Toen Tiemeijer het zelf peilde in het voorjaar van 2009, liepen de opgegeven redenen uiteen van gebrek aan competentie en daadkracht tot ‘een kwestie van gevoel’.
Ernstiger was dat slechts een derde wist wie de regering was waar zij wel of geen vertrouwen in had. De helft van de ondervraagden meende dat de Tweede Kamer bij de regering hoort, een vijfde dacht aan alle politici. Eén respondent verkeerde in de veronderstelling dat niet Balkenende, maar Wim Kok nog steeds aan het roer stond.