Allochtonen stappen over van de PvdA naar DENK. Dat nieuws brachten media de afgelopen dagen. Het was gebaseerd op een peiling van de EtnoBarometer. Hoe betrouwbaar de resultaten zijn is de vraag.
Let op: Deze factcheck is uitgevoerd op basis van de beschikbare informatie op de datum van publicatie. Lees hier over onze werkwijze.
Verschillende media, zoals NRC, Algemeen Dagblad en PowNed berichtten naar aanleiding van een peiling door de EtnoBarometer: “Boze bruine man stapt over van PvdA naar DENK” en “Allochtoon loopt weg van PvdA”. Onderwerp van het onderzoek was het stemgedrag van allochtone bevolkingsgroepen. Zijn deze grote koppen wel terecht wanneer we kijken naar de degelijkheid van het onderzoek?
Uit de resultaten van de EtnoBarometer bleek dat het kiesgedrag onder de vier grootste Nederlandse migratiegroepen (Turkse, Marrokaanse, Surinaamse en Antilliaanse Nederlanders) in de leeftijd van 18 tot 70 jaar, sterk verandert. Zo zou de PVV de op één na populairste partij zijn onder Surinamers, met 14% van de stemmen. Gemiddeld zou die partij onder de onderzochte groepen zeven procent van de stemmen krijgen. Ook zou de PvdA niet langer de grootste partij zijn; zij moeten deze positie voortaan delen met DENK (beide 20%).
Negen voorwaarden
Om de kwaliteit van deze peiling te controleren maken wij gebruik van een checklist voor peilingen.[[Deze checklist [pdf] is een gezamenlijk initiatief van het Nederlandstalig Platform voor Survey-onderzoek
(NPSO), het Centraal Bureau voor de Statistiek en de Vereniging voor Onderzoeksjournalisten (VVOJ).]] Deze bestaat uit negen voorwaarden voor een goede peiling. Als aan één voorwaarde niet wordt voldaan kan dat al een reden zijn om het hele onderzoek in twijfel te trekken. Het is normaal dat er bij peilingen een onderzoeksverslag wordt gepubliceerd, die het onderzoek transparant maakt en waardoor de betrouwbaarheid controleerbaar wordt. Gangbaar is dan ook dat al deze negen punten hierin worden behandeld.
Een blik op de checklist naast het onderzoeksverslag [pdf] van de EtnoBarometer schept meteen duidelijkheid. Aan maar liefst vijf van de negen voorwaarden is niet voldaan: het verslag is niet compleet, de vragenlijst is niet te vinden, er is niet bekend wie de respondenten zijn, en hoe de steekproef is getrokken.
Een ander mankement is dat de verdeling respondenten niet overeenkomt met de samenstelling van de bevolking. Zo zijn er procentueel gezien meer dan twee keer zoveel Antilliaanse respondenten dan er in de bevolking zijn.
Waar het verslag wel aan voldoet is het melden van de opdrachtgever (het Opiniehuis), de doelgroep (mensen met een migratie-achtergrond) en het aantal respondenten (1792).
Verder wordt er nog een onzekerheidsmarge gegeven, maar is niet duidelijk waar deze op gebaseerd is, behalve op de ‘cultuur’ van de verschillende groepen respondenten.
Hoogst merkwaardig
In het onderzoek worden de mensen die niet mee wilden doen aan deze peiling (de zogenaamde non-respons) genegeerd. Volgens hoogleraar survey-methodologie Jelke Bethlehem is dit hoogst merkwaardig: “Ik verbaas mij erover dat er niets is gedaan met het aantal personen dat weigert mee te doen aan de peiling.”
Dit is belangrijk, omdat mensen vaak een reden hebben om niet mee te doen aan een onderzoek. Wanneer groepen mensen niet meedoen aan een peiling, maar wel uitgenodigd zijn, maakt dat een peiling selectief. “In de eerste plaats is er een steekproef genomen uit een onbekend panel en vervolgens is er niets gedaan met de non-respons.” Uit de uitkomst zijn dus geen betrouwbare conclusies te trekken.
Ook na het verzoek van Nieuwscheckers om inzage te krijgen in de ontbrekende gegevens over de onderzoeksmethode, wilden de onderzoekers van de EtnoBarometer hierover niets loslaten.
Opmerkelijk is het dat diverse media de uitkomsten van deze peiling hebben overgenomen, terwijl niet te controleren is hoe de peiling precies is uitgevoerd. “Je moet de uitslag kritisch benaderen en met veel korreltjes zout nemen” aldus Bethlehem.
Update, 8 februari 2017, 22.55 uur
Op nrc.nl is een ingezonden artikel gepubliceerd van hoogleraar Jelke Bethlehem en hoogleraar kiezersonderzoek Joop van Holsteijn, waarin ze schrijven dat de representativiteit van de EtnoBarometer-peiling niet in orde is:
Het resultaat is overduidelijk een panel dat ernstig scheef is ten opzichte van de doelgroep of populatie van Nederlandse burgers met een migratieachtergrond. Vooral hoger geschoolden, met name hbo’ers, zijn zwaar oververtegenwoordigd.
