Bron van de grafiek
In maart van dit jaar publiceerde het tijdschrift The Economist de resultaten van hun jaarlijkse ‘glass ceiling index’, een indicator die gebruikt wordt om trends in de rol en invloed van vrouwen op de arbeidsmarkt te bestuderen. Voor 29 grotendeels welvarende landen wereldwijd is vastgesteld hoe dat glazen plafond zich heeft ontwikkeld tussen 2016 en 2022. De score van een land wordt opgebouwd uit tien onderliggende criteria zoals de loonkloof tussen man en vrouw, de kosten van kinderopvang en vertegenwoordiging van vrouwen in hogere managementfuncties en politieke posities.
The Economist presenteert de resultaten van deze studie met behulp van onderstaande grafiek.
Waarom krijgt deze grafiek een waarschuwing?
Behalve dat veel mensen deze spaghetti-grafiek wat druk zullen vinden, is er op zich niks ‘fout’ aan. De aandacht wordt getrokken door landen die het relatief beter zijn gaan doen (Portugal, van positie 12 naar 5), juist slechter zijn gaan doen (Hongarije, van 9 naar 23) of waar niets veranderd is (Zwitserland, al jaren stabiel op 26 – evenals de landen op de plaatsen 27-29).
Maar als je de grafiek iets langer bestudeert, wordt vrij snel duidelijk dat de relatieve ranking niets zegt over de ontwikkelingen in de landen zelf. Is er in Zwitserland de afgelopen zes jaar nou echt helemaal niets verbeterd op het gebied van de positie van vrouwen op de arbeidsmarkt of zijn Zwitserland, Turkije en Japan allemaal enorm verbeterd de afgelopen jaren, maar allemaal evenveel? Of zijn ze juist allemaal slechter geworden? En is Nederland nou goed bezig of zijn we gestegen omdat het in Duitsland achteruit gaat qua glazen plafond? Deze vragen zijn een reden om de index bij te houden, maar met deze grafiek zijn ze niet te beantwoorden.
Het artikel van The Economist laat een set grafieken zien waarin de lezer de prestaties van een individueel land voor de verschillende onderliggende scores kan bestuderen, maar de vraag blijft waarom The Economist voor de grafiek met alle 29 landen erin niet (ook) voor een grafiek heeft gekozen waarin de ontwikkeling (positief of negatief) te herleiden is.
Een ander beroemd voorbeeld van een ranking waarbij informatie verloren gaat, is die van de internationale ranking van universiteiten zoals die van de Times Higher Education World University Rankings, die elk jaar wordt gepubliceerd. Als je voor een aantal universiteiten de ontwikkeling van de ranking gedurende een aantal jaar bekijkt, dan kun je eenzelfde grafiek maken als die van de ‘glass ceiling index’. Het is goed om specifiek voor dit voorbeeld te vermelden dat er bovendien veel aan te merken is op de manier waarop kwaliteit gemeten wordt en dat meer universiteiten besluiten niet meer mee te doen. Elk jaar weer laten de universiteiten die wel meedoen het vol trots weten als ze gestegen zijn op de ranglijst. Hierbij wordt de vraag of en zo ja hoeveel de universiteit nou verbeterd of verslechterd is (de absolute score) niet beantwoord.
Alternatieve grafiek
Omdat The Economist niet reageerde op vragen om commentaar en op ons verzoek om de onderliggende data (de absolute scores) te zien van de glazenplafond-index, is het niet mogelijk een alternatieve grafiek te maken. Om een idee te geven van verborgen informatie in ranking-grafieken hebben we hieronder een fictief voorbeeld van ranking van universiteiten gemaakt (u kunt dit natuurlijk ook lezen als ziekenhuizen, restaurants, basisscholen, medicijngebruik etc.). De relatieve ranking staat links, de grafiek gebaseerd op absolute cijfers rechts.
Zo ziet u dat in de relatieve ranking C daalt op de ranglijst (van een 3e naar een 5e plek) terwijl het toch een verbetering heeft doorgemaakt (een verbetering in score van maar liefst 25 procent). A blijft in de relatieve ranking stabiel op de hoogste positie, hoewel de absolute score van A gedurende de jaren flink fluctueerde. Enzovoort. Wie alleen afgaat op de relatieve ranking, mist belangrijke informatie.
