De vragen uit de inburgeringsexamens worden volgens minister Asscher wetenschappelijk onderzocht. Dat zei hij in een commissievergadering van de Tweede Kamer. Maar wat houdt dat precies in? Nieuwscheckers ging op onderzoek.
Let op: Deze factcheck is uitgevoerd op basis van de beschikbare informatie op de datum van publicatie. Lees hier over onze werkwijze.
Als we Arjen Lubach moeten geloven, mag je jezelf pas Nederlander noemen als je weet hoe je het beste energie kunt besparen tijdens het stofzuigen. Zondag met Lubach behandelde met een flinke dosis satire drie vragen uit (proef)inburgeringsexamens van Nederland. En terecht, want van sommige vragen is het nut ver te zoeken.
Toch vindt het ministerie van Sociale Zaken en Werkgelegenheid (SZW) – dat verantwoordelijk is voor de inburgering – dat het goede vragen zijn. Om dat nog eens duidelijk te maken, waarschuwde minister Asscher tijdens de Commissievergadering van de Tweede Kamer op 2 februari ‘‘om niet te snel mee te gaan met de karikatuur die soms van die vragen wordt gemaakt”.
Asscher legde uit dat “de vragen die onderdeel uitmaken van dat examen, door de daarvoor bestemde instanties gemaakt worden, getest worden en wetenschappelijk onderzocht worden.”
Dat roept vragen op. Hoe worden die vragen getest? Wat houdt dat ‘wetenschappelijk onderzocht’ precies in? Wat is er wetenschappelijk aan?
Twee externe bedrijven
Ik bel met de woordvoerder van minister Asscher, Friso Fennema. Hij doet moeite om dingen uit te zoeken en legt vervolgens het een en ander uit: “De vragen worden niet door het ministerie gemaakt, maar door twee externe bedrijven: Cito en ICE. Wij hebben daar geen verstand van, dus besteden we het uit aan experts die gespecialiseerd zijn in toetsing.”
Begrijpelijk, maar wie gaat er over de inhoud? “De examens bestaan uit twee grote thema’s: de Nederlandse Taal, en Kennis van de Nederlandse Maatschappij. De vragen over taal maakt Cito, en ICE die over de Nederlandse samenleving”, aldus Fennema.
ICE mag mij niet te woord staan over hoe de inhoud van de vragen tot stand komt; voor die informatie verwijst het bedrijf me door naar het ministerie.
Daar vertelt Fennema mij dat het thema ‘Kennis van de Nederlandse Maatschappij’ uit acht subthema’s. De subthema’s zijn: 1) Werk en inkomen, 2) Omgangsvormen, normen en waarden, 3) Wonen, 4) Gezondheid en gezondheidszorg, 5) Geschiedenis en geografie, 6) Instanties, 7) Staatsinrichting en rechtsstaat, 8) Onderwijs en opvoeding. Bron: Rijksoverheid.nl]] bestaat, die in samenspraak met de Tweede Kamer zijn bedacht. Uit het document Eindtermen Kennis van de Nederlandse samenleving (2013) [pdf] blijkt dat die subthema’s in 2005 door het marketingbureau Euro RSCG Bikker zijn bedacht, en zijn goedgekeurd door een klankbordgroep van het Ministerie van Justitie en Veiligheid, dat toen nog verantwoordelijk was voor de inburgerinsexamens.
Te makkelijk
Twee externe, commerciële, partijen bedenken dus de vragen. Doen zij daarvoor wetenschappelijk onderzoek? “Experts uit die bedrijven doen op basis van wetenschappelijke methoden onderzoek, zoals berekeningen maken en marges bepalen”, vertelt Fennema. “Tenminste, daar ga ik vanuit.”
Potentiële examenvragen draaien eerst duizend keer mee als proefvraag in de officiële examens. Experts van Cito en ICE houden bij hoe die vragen worden gemaakt. Cito en ICE moeten die resultaten ter verantwoording voorleggen aan een ‘standaardsettingcommissie’.
Die commissie, bestaande uit psychometrici – wetenschappers die zich bezighouden met het meten en analyseren van antwoorden in toetsen [[Meer uitleg over psychometrie op de website van CITO.]] – en experts in de Nederlandse Taal, rekent na of een vraag goed functioneert. “Een vraag functioneert goed als hij een bepaald aantal keer goed wordt gemaakt; een bepaalde marge haalt”, licht Fennema toe. Als de vraag veel vaker dan de marge goed wordt beantwoord, wordt de vraag als ‘te makkelijk’ beschouwd. Andersom geldt hetzelfde; wordt de vraag veel minder vaak dan de marge goed beantwoord, dan blijkt de vraag te moeilijk.
Adviescommissie
Vervolgens moet het hele maakproces van de vragen, inclusief alle toetsen en berekeningen, nog eens worden voorgelegd aan een onafhankelijke adviescommissie met wetenschappers. Zij heeft het laatste woord en oordeelt op basis van wat ze voorgelegd krijgt of de vragen goed genoeg zijn om in de officiële examens mee te mogen draaien.
Deze commissie heeft dus veel invloed op welke vragen uiteindelijk worden gebruikt. Wie zitten er in die commissie? Fennema: “Wetenschappers die op basis van hun kennis en expertise door het Ministerie van SZW worden uitgekozen.”
Wegens privacyredenen kan Fennema geen namen geven en helaas willen de commissieleden mij ook niet te woord staan. Na enig aandringen kom ik uiteindelijk wel te weten om hoeveel en wat voor soort wetenschappers het gaat.
De adviescommissie blijkt uit maar drie wetenschappers te bestaan:
- een hoogleraar die zich bezighoudt met psychometrische verantwoording van examens
- een expert op het gebied van Nederlands als tweede taal
- en de directeur van het College voor Toetsen en Examens (CvTE)
Op de site van het CvTE lees ik dat zij naast ‘‘goede en betrouwbare toetsen voor het primair en voortgezet onderwijs en het mbo,’’ ook ‘‘staatsexamens Nederlands als Tweede Taal’’ verzorgt.
Volgens Fennema bedoelde minister Asscher met ‘‘wetenschappelijk onderzocht’’ dat experts van Cito en ICE wetenschappelijke methoden gebruiken om de vragen te onderzoeken om de vragen daarna door een commissie met wetenschappers te laten keuren. Met ‘wetenschappelijke methoden’ bedoelt het ministerie dus de berekeningen van scores op vragen en de marges die Cito en ICE gebruiken.
Conclusie
Minister Asscher zijn uitspraak is twijfelachtig. Hij beweerde dat de vragen van het inburgeringsexamen “wetenschappelijk worden onderzocht” en riep op om “niet mee te gaan in de karikatuur die van de vragen wordt geschetst”. Maar het blijkt dat alleen de scores en marges van de examenvragen wetenschappelijk worden doorgelicht, met psychometrische methoden. De inhoud van de vragen niet; en daar gingen nu juist de ‘karikaturen’ van Lubach over. Asscher wekt in zijn antwoord tijdens de commissievergadering de suggestie dat hij het had over de inhoud van de vragen. Maar de inhoud van die vragen wordt dus niet wetenschappelijk onderzocht of getoetst.
En dat zet wel aan het denken, want de inhoud van sommige vragen heeft weinig met de hedendaagse Nederlandse maatschappij te maken. Misschien moet het Ministerie van SZW minder kijken naar de cijfertjes en meer naar de inhoud van de vragen. Bijvoorbeeld door de adviescommissie – waar nu alleen taal- en toetsexperts in zitten – uit te breiden met een expert op het gebied van maatschappijleer of de Nederlandse cultuur.
Explainer: Hoe werkt het inburgeringstraject in Nederland?
