Enquête-website Numbeo wordt vaak aangehaald door media die ranglijsten publiceren van de veiligste en de gevaarlijkste landen en steden in Europa. Of van de beste plaatsen om te wonen. Ook in Nederland (‘Eindhoven op nummer twee op wereldranglijst Levenskwaliteit‘). Maar de crowdsource-methode van Numbeo is onbetrouwbaar. Een bijdrage van FactCheckEU.
Stel je voor dat je een dartpijltje gooit naar een kaart van Europa om de bestemming te kiezen voor je sabbaticaljaar (je bent een avontuurlijk ingesteld persoon). Je pijltje belandt in Zweden. Wat is het eerste dat je doet? Als je zo iemand bent als ik, ga je waarschijnlijk wat dingen opzoeken op Google of Bing. Een zoekopdracht zoals ‘Zweden kosten levensonderhoud’ brengt je waarschijnlijk naar Numbeo. Nog een paar keer klikken op Numbeo en je bent bij de “Misdaadindex per land”, die beweert dat Zweden het onveiligste land van Europa is. De indextabel verscheen in een viraal Facebookbericht (in het Zweeds) dat meer dan duizend keer werd gedeeld. Maar de bronnen die deze bewering ondersteunen zijn, op zijn zachtst gezegd, onwetenschappelijk. Onze Zweedse partner Viralgranskaren zocht het uit.
Numbeo, een Servische website, baseert zijn index op zelfrapportage door willekeurig wie op het Internet. Viralgranskaren (gevestigd in het Zweedse Stockholm) kon, zonder te hoeven inloggen op de website, Oslo en Noorwegen als onveilig beoordelen. Hun ingevulde enquête beïnvloedde direct de gemiddelde score voor Oslo, aangezien die gebaseerd is op slechts 680 respondenten. Sterker nog: de misdaadindex noemt Estland het veiligste land van Europa in 2019. Maar de ‘misdaadgegevens’ voor Estland komen uit een enquête onder 194 bezoekers, van wie een aantal uit elke plek op de wereld kan komen.
“De rapporten zijn erg zwak omdat er zo weinig data in verwerkt zijn”, zei Torbjörn Sjöström, directeur van onderzoeksbureau Novus, tegen Viralgranskaren.
Dat weerhoudt de Numbeo-ranglijsten er niet van zich over Europa te verspreiden, of ze nu over de kosten van levensonderhoud gaan, levenskwaliteit, of veiligheid in een stad.
Neplijsten gaan echt viraal
Viralgranskaren had al over Numbeo geschreven in januari 2017, toen de ‘misdaadindex’ van de site door diverse media werd gebruikt, waaronder samenzweringswebsite Infowars, in een artikel onder de kop “CULTURALLY ENRICHED MALMO, SWEDEN IS THE MOST DANGEROUS CITY IN WESTERN EUROPE”. Hetzelfde verhaal was bijvoorbeeld te vinden in de Deense tabloid B.T. Alleen bleek ene Linus Trulsson later in staat om in zijn eentje de ranglijst zo bij te stellen dat het naburige Lund de gevaarlijkste stad ter wereld werd, nog voor Caracas in Venezuela. Maar eerlijk is eerlijk, Numbeo heeft enige voorzorgsmaatregelen genomen tegen spam, en toen FactcheckEU probeerde om de site nepdata te voeren, waren niet alle pogingen succesvol.
Omdat ranglijsten vaak viraal gaan, worden statistieken van Numbeo regelmatig gebruikt door Europese media, zowel mainstream als andere. Meer dan een jaar na het nieuws over Malmö publiceerde het Franse netwerk BFMTV zijn eigen verhaal: “Volgens een Amerikaanse (sic) peiling is Marseille de gevaarlijkste stad van Europa.” BFMTV’s Facebook-post voor dat artikel werd 5000 keer gedeeld. Hoewel het bericht de dubieuze methodologie van de ranglijst noemde, gaf BFMTV het als bijschrift mee: ‘Marseillanen zijn de kampioenen van Europa’. Verleden maand nog publiceerde Euro Weekly News, een Engelstalige krant in Spanje, een column met kritiek op Britse tabloids waarvan de eerste alinea naar Numbeo’s ‘misdaadindex’ verwees. Waarna de Financial Times op zijn beurt die gegevens weer gebruikte voor een verhaal over gentrificatie in Europa.
Het succes van Numbeo’s misdaadindex is voor een deel te verklaren doordat het zo lastig is om de misdaadcijfers van verschillende landen te vergelijken, vooral als het om zedenmisdrijven gaat. In het laatste verslag over misdaad in Europa legde Eurostat uit dat “gevallen van door de politie geregistreerd seksueel geweld in verhouding tot de bevolkingsomvang sterk uiteenliepen in 2016 – tussen de 5 en de 190 per 100.000 mensen. Deze enorme variatie wordt waarschijnlijk beïnvloed door zowel verschillen in wat als misdaad wordt gedefinieerd en door het aandeel van de misdaden die worden gemeld bij de politie.” Een goed voorbeeld daarvan zijn de Zweedse cijfers voor zedenmisdrijven en verkrachtingen, die in 2016 hoger lagen dan die van alle andere Europese landen met uitzondering van Engeland en Wales. Zweden hanteert een bredere definitie van wat een zedenmisdrijf of een verkrachting is, en een specifieke manier om aantallen misdaden te tellen.
Ook de Deutsche Bank gebruikte Numbeo
Het gaat niet alleen om misdaadcijfers: in 2018 publiceerde de Duitstalige website van Sputnik, een netwerk dat eigendom is van de Russische staat, Numbeo’s ranglijst van “de smerigste steden van Europa”.
Maar media gebruiken vooral Numbeo’s kosten van levensonderhoud-index om artikelen op te vullen. Die lijst is waarschijnlijk betrouwbaarder, voor toeristen of toekomstige immigranten, omdat antwoord geven op een vraag over de prijs van een liter melk iets anders is dan vragen beanwoorden over hoe veilig je je voelt op de plaats waar je woont. Maar ook daarbij kan iedereen de gegevens voor elke stad veranderen en dat deel van de methodologie wordt zelden uitgelegd in de nieuwsartikelen. In Italië hebben la Reppublica, il Sole 24 Ore, en La Stampa Numbeo gebruikt. Partners van FactcheckEU hebben ook voorbeelden gevonden van artikelen gebaseerd op Numbeo in Duitsland, België, Kroatië, Denemarken en Litouwen. De Deutsche Bank, de grootste bank in Duitsland, heeft in 2017 Numbeo’s cijfers (waaronder die over misdaad en milieuvervuiling) zelfs gebruikt voor zijn eigen levenskwaliteit-index. En dat onderzoek werd op zijn beurt weer gedeeld door… het officiële Deense bureau voor de statistiek.
Door Jules Darmanin, met medewerking van Johan Wikén, Sanja Despot, Silvia Cavasola, Derek Thomson, Cristina Helberg, Liepa Želnienė, Maarten Schenk en Peter Burger. Dit artikel verscheen in het Engels op de site van FactCheckEU, een samenwerkingsverband van 19 Europese factcheckorganisaties.
Naschrift Nieuwscheckers: Numbeo in Nederlandse media
Ook Nederlandse nieuwsmedia hebben regelmatig gebruik gemaakt van de gecrowdsourcete ranglijsten van Numbeo. ‘Eindhoven op nummer twee op wereldranglijst Levenskwaliteit,’ juichten Eindhovens Dagblad en AD.nl op 20 januari dit jaar, ‘zelfs boven Londen en Zürich’. Slotzin: ‘Gebruikers dienen deze scores zelf in, die dan een gemiddelde vormen en zo een behoorlijk betrouwbaar cijfer weergeven.’
Maar een dag later plaatsten ze een correctie (vreemd genoeg zonder daarnaar te linken vanuit het eerste bericht…): ‘Levenskwaliteit Eindhoven wereldtop? Volgens 130 mensen wel ja.’ Deze factcheck wijst op de snelle veranderingen – Eindhoven was al weer ingehaald door het Amerikaanse Raleigh – en het lage aantal respondenten: ‘ Afhankelijk van de categorie vulden slechts 21 tot 130 Eindhovenaren een vragenlijst van Numbeo in. ‘
Kritiek op Numbeo-cijfers was er al eerder: in 2016 karakteriseerde gezondheidseconoom Marcel Canoy de gegevens over gezondheidszorg als een ‘mickeymouselijst‘. Hj verweet voorstanders van een nationaal Zorgfonds zich te baseren op ‘een amateuristisch opgezette houtje-touwtjelijst die door maar liefst 111 mensen is ingevuld. Nederland zou minder goede zorg hebben dan Jordanië en Sri Lanka.’