Jan Jagers (Knack): “Factchecks zijn er niet om te overtuigen; ze zijn een bescheiden poging om te achterhalen hoe het zit”

In 2018 besluit hij voor zijn factcheckontwikkeling eens over de grenzen te gaan kijken. Jan wil naar Rome, voor de conferentie van het International Fact-Checking Network (IFCN). Om lotgenoten te ontmoeten en inspiratie op te doen. Als hij per mail informeert naar deelname, wordt hij in eerste instantie geweigerd. Hij houdt echter vol, reist naar de Italiaanse hoofdstad en weet het evenement toch bij te wonen. “Het voelde een beetje als thuiskomen. Wat ik hier bij Knack alleen probeerde te doen, deden factcheckers in het buitenland in teams en op een ander niveau. Met een rijke traditie en een hele goeie vibe: men bleek elkaar te willen helpen, om goede journalistiek te maken.”

Een voorbeeld dat Jan noemt is dat, wil je IFCN-gecertificeerd zijn als redactie, je aan een aantal criteria moet voldoen. Zo dien je de belangrijkste bronnen die je hebt gebruikt om feiten te controleren ook te delen met de lezer. Zodat de factcheckers op hun beurt ook weer gecontroleerd kunnen worden. “Dat was wel next level voor mij, een fundamentele verandering in wat een stuk checkbaar maakt door lezers of niet.”

Alhoewel deze werkwijze tegenwoordig gemeengoed is, zijn valse claims en misinformatie dat – helaas – ook. Daardoor blijft het werk dat Jan en zijn (inmiddels vier) collega’s bij Knack doen, en factcheckers wereldwijd, nog altijd essentieel. “Het is niet iets wat je niet kunt doen. Het achterliggende idee,” zo licht hij de essentie van factchecking toe, “is dat de kwaliteit van je maatschappelijk debat samenhangt met de feitelijkheid waarmee wordt gedebatteerd. Alle bouwstenen moeten op tafel liggen voordat je politiek van mening kunt gaan verschillen over welke oplossingen daar nu tegenover moeten worden gesteld. Als de feiten waarmee je debatteert totaal anders zijn, dan praat je naast elkaar.”

Het wordt tijdens onze ontmoeting al snel duidelijk, in de statige managementroom van uitgeverij Roularta in Brussel: Jan Jagers is een man van structuur en gaat niet alleen voor zijn factchecks systematisch te werk. Hij schetst tijdens ons gesprek nauwgezet een tijdlijn waarin hij zijn eigen professionele ontwikkeling koppelt aan de grotere factchecking community. Zo heeft hij een schema uitgeprint om de werking van  FactRank uit te leggen (de AI-tool waar we met name in geïnteresseerd zijn), krijgen we het codeboek daarvan mee op papier en overhandigt Jan bij afscheid ook nog een Knackartikel van zijn hand over slimme machines, emoties en de toekomst van artificiële intelligentie.

Hij vertelt ons dat het belang en de aard van factchecking met de komst van sociale media veranderd is. Waar het eerder, zo rond 2014, vooral politieke factchecking betrof met claims in het publieke debat, is er met de online platforms en de open source intelligence & investigations (OSINT)-beweging ook ander soort werk bijgekomen. Zoals bijvoorbeeld het controleren van beeld op manipulatie en onderzoek naar details op satellietfoto’s of Googles Streetview. Daarmee kun je bijvoorbeeld de exacte locatie, het seizoen of datum van een nieuwsgebeurtenis nauwkeurig bepalen.

In augustus 2016 publiceerden Mevan Babakar en Will Moy van de Britse nonprofit Full Fact een belangrijke paper voor de factcheckwereld: The State of Automated Factchecking – How to make factchecking dramatically more effective with technology we have now. In die paper worden de belangrijkste zaken voor de toekomst van deze specifieke tak van journalistiek uiteengezet.

Jan vertelt over een bijbehorend fragment in een BBC-uitzending: “Babakar toont daarin een tool waarbij uitspraken die rechtstreeks in verband gebracht kunnen worden met officiële overheidsstatistieken, automatisch worden gefactcheckt. Zo zegt ze tegen haar gsm: ‘GDP is rising’. Wat er vervolgens gebeurt: die tekst wordt omgezet naar een transcript en die wordt gelieerd met de Britse overheidsstatistieken. Ineens verschijnt een grafiek die die officiële cijfers van het Britse GDP (bruto binnenlands product, red.) laat zien die aantoont of het klopt: is die GDP nu rising of niet.” Het is een voorbeeld van een redelijke “recht-toe-recht-aan claim”. Maar, zo merkt Jan op, “the devil is in the detail. Stel dat je het hebt over het aantal werklozen. Iemand die bewust thuis is bij de kinderen, zit die bij die groep in of niet?”

In dit voorbeeld, maar zeker ook bij het trainen van ML-modellen, is overeenstemming tussen inhoudsexperts, makers en ontwikkelaars heel belangrijk. Ook aan het ontwikkelen van een AI-tool om automatisch relevante, factcheckbare claims te detecteren, gingen tientallen gesprekken vooraf met Jans Nederlandse collega’s Peter Burger en Alexander Pleijter (Universiteit Leiden) en de Vlaamse ontwikkelaar Rafael Hautekiet.

Hij ontmoette de Nederlanders, die hij al via Twitter had leren kennen, voor het eerst op de IFCN-conferentie in Rome. “Daar hebben we lang en vaak gesproken, en plannen gemaakt voor FactRank. Dat is een gratis tool die ‘automatische identificatie van feitelijke beweringen doet, die een factcheck waard zijn’. Speciaal gemaakt voor de Nederlandse taal kunnen journalisten hiermee beweringen opsporen. Voor zover de makers weten, is dit het eerste en nog steeds het enige instrument voor het Nederlands. FactRank is dus een aanvulling op de bestaande online claimdetectietools zoals ClaimBuster, de state-of-the-art factcheckingtool voor het Engels.

Om FactRank te bouwen gingen naast het voeren van gesprekken ook de handen uit de mouwen. Het team beoordeelde meermaals handmatig een honderdtal statements en stelde zich daarbij steeds de vraag: “‘Willen we het zien verschijnen of niet?’ Wat bleek: zelfs wij mensen bleken onderling maar 70% overeenstemming te hebben over wat we relevant vonden of niet.” Dit brengt Jan tot de kernvraag: “Als je er als menselijke factcheckers onderling al niet uitkomt, hoe kun je dan van een machine verwachten dat ’ie 100% accuraat is?!”

Het bepalen van de relevantie van een feit is echter noodzakelijk. Jan geeft een voorbeeld: “Vlaamse voetballer Kevin de Bruyne verdient 300.000 euro per week.” De salarisclaim voldoet volgens het Codeboek FactRank aan een voorwaarde om van een zin vast te kunnen stellen of deze controleerbaar is. De Kevin de Bruyne-stelling is in ieder geval feitelijk, “dat wil zeggen dat het moet gaan om beweringen die draaien om een feit dat gecontroleerd kan worden, ergo, dat vastgesteld kan worden of de bewering wel of niet waar is.” Wat betreft deze claim bijvoorbeeld, vraagt Jan zich af in hoeverre het relevant is voor het grote publiek om te checken.

Mocht het voorbeeld uit de BBC-uitzending waarheid zijn, dan zou die vraag overbodig zijn en zou iedere claim volautomatisch gecheckt kunnen worden, relevant of niet. Zo ver is het echter nog niet en ook FactRank komt daar nog niet in de buurt van. Toch kan de tool nu al enorm veel tijd winnen voor journalisten. De software rangschikt namelijk beweringen op hun ‘controleerbaarheid, niet op hun betrouwbaarheid of juistheid.’ Dit laatste moet worden bepaald door een menselijke factchecker. Aan de hand van het schema ‘Workflow factchecking’ legt Jan uit hoe en in welke twee fasen van het factchecken de kracht van machine learning wordt toegepast: bij monitoring en het zoeken van claims.

Met ‘monitoring’ doelt Jan op “het bijhouden van het publieke debat, weten waarover er wordt gesproken en welke feitelijke beweringen er worden gedaan. Dat is de eerste stap. Dat moet je weten om te bepalen wat je kunt factchecken en wat nuttig is om te gaan factchecken.”

Bij FactRank worden hiervoor de verslagen van het parlement in België en Nederland gebruikt en de ondertitels van actualiteitenprogramma’s zoals Zevende Dag en Terzake. Daarnaast worden ook socialemediakanalen en Twitter-feeds van politici meegenomen in de monitoring, maar radio-uitzendingen en Facebookpagina’s en -groepen niet. Dat heeft verschillende redenen, zo legt Jan uit: “Je maakt daar keuzes in: door principes ingegeven, en ook pragmatisch. Radio is belangrijk, maar op ditmoment is automatische transcriptie daarvan in het Nederlands nog niet van voldoende kwaliteit.”

Ook is het arbitrair welke Twitter-kanalen mee worden genomen. “We nemen nu die van alle volksvertegenwoordigers mee, maar er zijn natuurlijk nog veel andere stemmen die het publieke debatmaken en bepalen. Zijn opiniemakers – sommige academici bijvoorbeeld – niet belangrijker voor het debat dan een backbencher?”

De tweede stap in de workflow is het zoeken van claims. Nadat alle verslagen zijn ‘gelezen’ (met behulp van natural language processing, red.) moet je de vraag stellen: ‘Wat willen we eigenlijk gecheckt gaan zien?’

FactRank zit tussen deze twee stappen in. De tool zorgt ervoor “dat wij factcheckers niet al die programma’s hoeven te bekijken of te lezen om claims te ontdekken die we eigenlijk graag gecheckt zouden willen zien,” zegt Jan. Het programma moet daarbij in een fulltexttranscriptie onderscheid kunnen maken tussen twee zaken: is het een feit of niet (bijvoorbeeld opinie) en relevant of niet.

Wanneer we tijdens het gesprek FactRank raadplegen zien we volgens Jan direct een goed voorbeeld van een claim die “niet beantwoordt aan wat wij voor ogen hebben”. Bovenaan op de pagina staat de claim “EEN KINDJE KOMT THUIS MET BLAUWE PLEKKEN.” Het illustreert volgens hem dat “dit alleen verbeterd kan worden door nog meer data toe te voegen.” Op dit moment wordt het systeem echter niet verder getraind omdat verdere financiering ontbreekt.

En die financiering is niet alleen voor technologische innovatie een probleem in de wereld van het factchecken. Want Jan heeft naast het automatiseren van factchecken vooral een duurzaam model voor ogen om het voortbestaan ervan te garanderen. Hij ontdekte dit in Noorwegen, bij Faktisk; een soort persbureau voor feitencontroles. Het is opgezet als samenwerking van verschillende mediabedrijven met drie pijlers: een media-educatieprogramma, het ontwikkelen van tools en het voeren van een factcheckredactie. Naast een argument voor contentcreatie – factcheckberichten kunnen door alle meewerkende organisaties worden gebruikt en gepubliceerd – heeft deze werkwijze een volgens Jan nog belangrijker oogmerk, namelijk het herstellen en versterken van “vertrouwen in klassieke media in the long run.”

Met de hoofdverantwoordelijke voor feitencontrole van VRT NWS, Griet De Craen, zette Jan een plan op om iets soortgelijks als Faktisk in Vlaanderen op te richten. Na een bezoek aan het project in Noorwegen en aan Full Fact in London krijgen ze in 2020 de Vlaamse minister Benjamin Dalle zo ver om alle CEO’s van mediabedrijven uit te nodigen, zodat ze hun plan kunnen pitchen. Er wordt positief gereageerd, maar ook voorgesteld om eerst Google en Facebook te polsen; zij hebben volgens de aanwezigen ook een rol en verantwoordelijkheid.

Begin 2021 moet Jan concluderen dat het niet lukt om genoeg partners warm te krijgen voor het plan, maar in de tussentijd is er wel een aantal andere ontwikkelingen. In 2019 is Knack formeel IFCN-gecertificeerd en in 2020 word de redactie factcheckpartner van Facebook. Jan: “In de slipstream van die moonshot (een Faktisk opzetten in Vlaanderen, red.) ontstond deCheckers: geen afzonderlijke redactie maar een samenwerking van medewerkers van Knack, VRT NWS en Factcheck.Vlaanderen.”

Alle factchecks van elk van die drie platformen, bundelen ze op één landingspagina met een doorzoekbare database. Hiermee wil men een “single point of content voor Vlamingen zijn die een factcheck zoeken of suggereren.” Naast deCheckers zit Jan met een aantal teamleden van FactRank ook weer samen in BENEDMO, “de Belgisch-Nederlandse hub van EDMO (European Digital Media Observatory, een hub voor factcheckers, academici en andere relevante belanghebbenden, red.) die in volle ontwikkeling is.”

Over langs elkaar praten en leven wordt de laatste tijd veel bericht. Ook wordt steeds meer bekend over de werking en het effect van misinformatie daarbij. Enkele conclusies zijn dat extreme gedachten, radicalisering en polarisatie weliswaar gevoed kunnen worden met mis- en desinformatie maar het bestrijden ervan (het zogeheten debunken) met bijvoorbeeld factchecks geen zaligmakende middelen zijn vanwege concepten als ‘kennisweerstand’ en ‘omgekeerde versterking van overtuiging’.

Aan de hand van promotieonderzoek van Marijn Keizer aan de Rijksuniversiteit Groningen en een recent gepubliceerde paper in het tijdschrift Nature kun je, met de woorden van NRC-journalist Wouter van Noort, stellen dat “door nepnieuws te behandelen als puur een kwestie van feiten die je kunt corrigeren, je dus de psychologische mechanismes, en ook de ingewikkelde sociale context van nepnieuws en desinformatie negeert.”

Hiernaar gevraagd, reageert Jan: “De vraag of factchecking werkt moet je niet beantwoorden aan de hand van extremen. Factchecks zijn van tel als tegengeluid van die harde roepers. Er wordt ingebeukt op de stilzwijgende meerderheid met extreme narratieven. Dus dit tegengeluid is hard nodig. Als je dit niet hoort, ga je jezelf als de uitzondering beschouwen. Factchecks zijn er niet om te overtuigen; ze zijn een bescheiden poging om te achterhalen hoe het zit. Maar belangrijk: die poging is wél ambitieus, want met transparant bewijs onderbouwd.”

We kunnen stilaan concluderen dat de waarde van gedeelde feitenkennis en het werk dat daarvoor gedaan wordt door factcheckers wereldwijd, haast onmogelijk en schier onophoudelijk is. Toch is ze essentieel voor onze maatschappij. Dat daar een rol ligt voor toepassingen van machine learning lijkt hoopvol. Voor Jan is de waarde van het toepassen van machine learning hierin zelfs evident.

Hij ziet ook nog andere toepassingen en voordelen voor journalisten en mediamakers: “De ‘voluntarist’ die spreekt in mij zegt: het gaat de journalistiek verbeteren. Je gaat je minder hoeven bezig te houden met repetitieve taken. De bril die je moet opzetten als het gaat om journalistiek en technologie is: welke taken in je dagelijks werk kom je tegen en kun je uitbesteden aan AI? Waarbij je tijd vrij krijgt voor dingen waar je nu te weinig voor hebt.”

In het geval van factchecking: “Nu gebruiken we tools als CrowdTangle en Trendolizer om zaken te spotten die je anders manueel niet zou vinden, tenzij je je heel de dag op sociale media bevindt.” Het zijn voorbeelden van tools die journalisten al gebruiken en makers helpen. Met ML-toepassingen zoals FactRank kun je nog een stap verder gaan en het spotten van claims weer verder automatiseren.

Een laatste voorbeeld dat Jan ons geeft, als mogelijke toepassing van AI, gaat over beleid maken. Hij begon erover te denken door het werk van Bart Selman van Cornell University. “Wat computers misschien beter kunnen dan wij mensen is creatieve oplossingen zoeken voor tegengestelde belangen. Waar tientallen mensen dagenlang over zouden moeten onderhandelen met allerlei emoties en getier daarbij, daar zou dat proces geoptimaliseerd kunnen worden door er AI bij in het spel te brengen.”

Het brengt Jan, na een korte bezinning tot besluit, weer bij zijn vertrouwde stiel: “Maar voor we te hard van stapel lopen: met welke feiten en input voed je dan die tool?”

In de geest van transparant factchecken verwijzen we hier naar de bronnen
die we raadpleegden voor en na het gesprek met Jan Jagers.

• Zorgen sociale media voor meer polarisatie? Nemo Kennislink
• Wouter van Noort (journalist NRC, via LinkedIn)
• Paper in Nature
• FullFact paper
• Bart Selman, Cornell University