Zit er een plastic lepel aan microplastic-vervuiling in onze hersenen? Bevatten tampons het bestrijdingsmiddel glyfosaat? Is de foto van een uitgemergeld kind gemaakt in Gaza of Jemen?
Als factcheckers zo’n vraag willen beantwoorden, kijken ze wat er nog meer is gepubliceerd over het onderwerp. Ze proberen de bron en originele context te vinden, zoals onderzoek, statistiek, een citaat uit een interview of een buitenlands mediabericht. Dat zoeken vraagt ervaring en kost soms veel tijd.
Stel dat je een bewering aan een chatbot kunt geven. Je krijgt korte tijd later inzicht in de context, feiten, fouten en discussiepunten. De bronnen zijn bovendien gescoord op betrouwbaarheid en de verzamelde informatie is samengebracht in een heldere uitleg en oordeel. Alle stappen en online zoekopdrachten worden gestructureerd weergegeven met links.
SIFT-toolbox
Het klinkt een beetje te mooi om waar te zijn, maar Mike Caulfield laat zien dat het kan. Caulfield is docent en expert in digitale zoekvaardigheden en verificatie aan de Universiteit van Washington en hij is geestelijk vader van de SIFT-methode: vier wenken om stapsgewijs informatie te verifiëren. (Nieuwscheckers bewerkte hem al eens tot de HALT-methode.)
Caulfield heeft die methode vertaald naar een opdracht voor chatbots: de SIFT-toolbox. Deze zeer uitgebreide prompt heeft al een paar updates gehad en telt op dit moment meer dan 3000 woorden. Op Caulfields substack is de ontwikkeling van de toolbox sinds maart 2025 te volgen.
Acht stappen
De inleiding van de prompt geeft een goed idee van de opdracht die de chatbot krijgt:
“Je bent ontworpen om te werken als een nauwgezette en zelfkritische fact-check of contextualisering-assistent die beweringen over gebeurtenissen, afbeeldingen of objecten analyseert en vervolgens reageert met een uitgebreide, gestructureerde beoordeling. Wanneer je tekst krijgt voorgeschoteld over actuele of historische gebeurtenissen, cijfers, statistieken of objecten, controleer je systematisch beweringen, identificeer je fouten, geef je correcties en beoordeel je de betrouwbaarheid van bronnen. (…) Zelfs als je ergens zeker van bent, zoek je altijd naar wat je misschien mist. Je vraagt je altijd af of de bronnen die je aanhaalt echt zijn en geschikt lijken voor de vraag.”
Na deze inleiding volgt een puntsgewijze instructie waarin de chatbot acht deelopdrachten moet uitwerken, met als resultaat onder andere tabellen met verifieerbare feiten, foute beweringen rond het onderwerp en scores van betrouwbaarheid. De outputvorm, zoals tabellen en icoontjes, zijn allemaal vooraf gespecificeerd. De zevende deelopdracht vraagt Claude om een korte tekst (What a factchecker might say) waarin de conclusie wordt gegeven.
Een brede blik
Caulfield heeft een aantal voorbeelden van testresultaten met gepost, waaronder een check van de vraag: Eten we wekelijks een creditcard aan microplastics? Deze factcheck heeft Nieuwscheckers ook uitgevoerd, in september 2023, met de conclusie dat de bewering onwaar is want sterk overdreven.
De check die Caulfield liet doen met chatbot Claude komt tot precies dezelfde conclusie. De bewering dat we wekelijks ‘het gewicht van een creditcard’ (5 gram) aan plastic consumeren is volgens de bot “een aanzienlijke overschatting”, want “latere wetenschappelijke analyses hebben ernstige fouten in de oorspronkelijke berekeningsmethode aan het licht gebracht.”
Claude krijgt met de prompt opdracht om verschillende zoekstrategieën te volgen, en dat zie je aan de trefwoorden of zinnen die de bot gebruikt om online te zoeken. Na het verzamelen van die online bronnen begint de eigenlijke evaluatie. Onderstaande afbeelding laat de zoekstrategie zien waarmee Claude informatie verzamelt over microplastics in de hersenen.
Na het verzamelen van online bronnen begint de inhoudelijke analyse. Wat daarbij opvalt is een brede blik op het onderwerp: de chatbot focust niet alleen op de kale bewering, maar kijkt verder en verifieert ook impliciete aannames. Bijvoorbeeld: krijgen mensen microplastic binnen via voeding en water? (Ja) Is microplastic gedetecteerd in mensen? (Ja) Leidt microplastic tot gezondheidsschade? (Dat is nog onduidelijk)
Megaprompt-test
Zo’n grondige analyse door een chatbot nodigt uit om zelf te testen, en dat kan ook doordat Caulfield zijn prompt online heeft gepost (in de rechterkolom op deze pagina). Volgens Caulfield levert Claude betere resultaten dan ChatGPT, dus testen we de SIFT-toolbox met Claude 4 (Pro versie).
Gebruik van de prompt is eenvoudig: je plakt de tekst in het dialoogvenster en na uploaden heeft Claude ongeveer tien seconden nodig voordat je de bewering kunt invoeren. Bijvoorbeeld de claim van RF Kennedy over bijwerkingen van het mazelenvaccin: die zouden elk jaar leiden tot sterfgevallen, hersenontsteking en blindheid. Een factcheck van Nieuwscheckers oordeelt dat die claim onwaar is. In onderstaande video is de output van Claude te zien. En de snelheid: Claude had er anderhalve minuut voor nodig om de bewering te checken.
Claude komt tot hetzelfde oordeel als Nieuwscheckers. Vaccins kennen bijwerkingen, maar voor de extreme claim van RF Kennedy is geen bewijs. “Er zijn geen sterfgevallen door het vaccin bevestigd bij gezonde mensen, en ernstige bijwerkingen zijn buitengewoon zeldzaam vergeleken met de risico’s van mazeleninfectie zelf.”
In de prompt zitten ook een paar opdrachten verstopt die niet direct een output opleveren. Je moet er namelijk gericht naar vragen. Zodra Claude klaar is met de eerste analyse kun je bijvoorbeeld zeggen: Read the room. Claude geeft dan een beschrijving van de discussie over en verschillende visies op een onderwerp. Bij vaccinaties levert dat meerdere rake observaties op over polarisatie en veranderende opinies [in dit voorbeeld onderaan].
“Het discours is verschoven van een op wetenschappelijk bewijs gebaseerde discussie naar een politiek gepolariseerd debat, met gemengde berichtgeving van officials die de ‘decennialange wetenschappelijke consensus over de veiligheid en werkzaamheid van vaccinatie’ ondermijnen.”
Claude vs Nieuwscheckers
Met de SIFT-toolbox kan Claude zeer diverse onderwerpen te lijf, van medische beweringen en voedselclaims tot online geruchten over de vermeende rijkdom van Volodymyr Zelensky (onwaar volgens Nieuwscheckers en Claude). In deze pdf staan de links naar de checks van Nieuwscheckers en de check van dezelfde bewering door Claude met de SIFT-toolbox.
Bij vijftien checks van Nieuwscheckers die Claude herhaalt is er in grote lijnen overeenstemming in duiding en conclusie. Het oordeel verschilt vooral in terminologie: Nieuwscheckers zegt vaker ‘onwaar’, waar Claude het label ‘mostly false’ gebruikt. Tussen de sites en publicaties die Claude verzamelt zitten vaak de bronnen die Nieuwscheckers ook heeft gebruikt. Claudes online zoekopdrachten leveren vooral een veel uitgebreidere referentielijst, maar welke bronnen doorslaggevend zijn in de analyse, wordt niet duidelijk.
Soms zijn er verschillen. Zo concludeert Claude dat havermout gezond is, en de bot focust daarbij op zogenaamde anti-nutriënten, terwijl Nieuwscheckers keek naar invloed op overgewicht. Het ontbreken van context bij de bewering zet Claude bij dit onderwerp op een ander spoor, dat wel leidt naar dezelfde conclusie.
Claude checkt lokaal nieuws
Je zou denken dat een Amerikaanse chatbot meer moeite heeft met beweringen gebaseerd op klein lokaal nieuws of nichedata uit Nederland. Eerdere versies van Claude konden nog niet overweg met Nederlandse tekst, maar dat is verleden tijd. Zelfs beweringen uit de gemeenteraadsverkiezingen in Leiden en Rotterdam weet Claude te checken, de bot duikt ook in Nederlandse sites en bronnen.
Dat ‘één op de zes kogels in Nederland wordt afgevuurd op Rotterdam-Zuid’ noemt de chatbot terecht onwaar. Claude signaleert wel dat Rotterdam hoog scoort en in sommige jaren moordhoofdstad wordt genoemd, maar voor de kogelbewering is geen bron of bewijs te vinden.
Assistent en leermeester
De output van 15 tests zijn niet tot in elk detail nagelopen en geverifieerd, dus mogelijk zitten er in de output foutieve informatie of incorrecte links. Toch is de eerste globale indruk verrassend goed: de output van Claude met de SIFT-toolbox lijkt geen fantasiebronnen of andere hallucinaties te bevatten. Dat is een groot verschil met eerdere tests die Nieuwscheckers heeft gedaan in 2023, zoals deze en deze.
In een eerdere checktest kwam Claude overigens ook als beste uit de bus, alleen kon de bot in 2023 nog niet overweg met Nederlands en had hij geen toegang tot internet. Anderhalf jaar later is deze chatbot wat dat betreft volwassen geworden en laat Mike Caulfield zien dat je met de juiste instructies Claude buitengewoon nuttig werk kunt laten verzetten.
Werken met Claude en SIFT is bovendien leerzaam: de output levert geregeld bruikbare inzichten op in zoekstrategieën, bronnen en context. Er ontstaat kortom in rap tempo een intelligente assistent én leermeester die factchecken efficiënter en leuker kan maken.
