Automatisering van factchecken is al jaren in ontwikkeling, bijvoorbeeld via kunstmatige intelligentie die checkbare claims signaleert in teksten of uitspraken in talkshows. Voor checken van beeld zijn er hulpmiddelen als InVid en Forensically.
De komst Large Language Models zoals ChatGPT, Bard en Claude biedt nieuwe mogelijkheden om het werk van factcheckers te ondersteunen. Onderzoek laat zien dat zulke modellen met de juiste instructies en toegang tot internet vaak tot hetzelfde oordeel komen over het waarheidsgehalte van een bewering.
Tien procent inconsistentie
Recent Zwitsers onderzoek met GPT-4 en een dataset met claims van Politifact komt in de richting van 89 procent overeenstemming tussen mens en machine bij het checken van claims met een eenduidig oordeel (waar of onwaar). Dat chatbots geregeld naar dezelfde conclusie redeneren sluit aan bij een veel kleinschaliger proef die Nieuwscheckers heeft gedaan met chatbot Claude.
Tien procent inconsistentie levert uiteraard een te lage betrouwbaarheid en daarom is geautomatiseerd factchecken zonder menselijke supervisie onverstandig. Tegelijkertijd gaan ontwikkelingen snel. Een checkbot was nog niet heel lang geleden volslagen sciencefiction en het is de vraag wat het analyse- en redeneervermogen van deze software in 2024 gaat brengen. Google’s recent onthulde chatbot Gemini lijkt weer een stap verder te gaan. Chatbots die steeds efficiënter online informatie verzamelen en complexe analyses uitvoeren kunnen ook stapsgewijs beter scoren op factcheck-prestaties.
Omslachtige prompts
Voor efficiënter factchecken met ondersteuning van AI is een chatbot één van de ingrediënten. Daarnaast is er ook behoefte aan een veel eenvoudiger user interface, ofwel de interactie met de chatbot. Die draait nu nog om prompts en herhaaldelijk opdrachten geven. Zo gebruikt het Zwitserse onderzoek de onderstaande prompt (met in cursief de bewering):
“You’re a fact-checking expert. Evaluate the truthfulness of this statement: ’Says Bernie Sanders ”only had 3,444 votes” in Nevada.’ made by Viral image on 3/6/2020. Use Google for research. Consider your sources, context, and date while assessing. To answer return ’Final Answer: {verdict}, {reason}. You must respond with a valid verdict (’pants-fire’, ’false’, ’mostly-false’, ’half-true’, ’mostly-true’, or ’true’) or ’uncertain’, providing reasoning and citing sources by providing the domain of pertinent search results.”
Factcheckhulp
Dat het eenvoudiger kan laat het bedrijf Originality zien, dat onlangs een bèta-versie van een ‘Fact Checking Aid’ heeft gelanceerd. Originality biedt al langer plagiaatscans en detectie van AI-gegeneerde teksten, en je kunt nu teksten inhoudelijk laten factchecken. De diensten van Originality zijn vooral bedoeld voor (eind)redacteuren of bloggers die teksten op verschillende manieren door de molen willen halen, het is niet ontwikkeld met factcheckers in gedachten.
De factcheckhulp illustreert wel hoe een checkbot in de nabije toekomst kan werken. Het copy-pasten van een stuk tekst is voldoende, de factcheckhulp analyseert vervolgens per zin een inschatting van het waarheidsgehalte en geeft ook de argumenten en bronnen waarop dit oordeel is gebaseerd.
Het bedrijf vertelt weinig over de LLM (originality.ai) waarmee de factcheckhulp wordt aangestuurd. In een vergelijkende test die eind oktober werd gepubliceerd, zijn de factcheckprestaties van dit model vergeleken met een aantal andere modellen. In die test presteert originality.ai beter dan bijvoorbeeld GPT4.
Zes beweringen
Om deze factcheck-assistent te proberen zijn zes beweringen uit een eerdere test van chatbot Claude in het tekstveld geplakt.
1) Regular sun creams contain harmful substances, so it is better to use natural oils. [Onwaar]
2) Blood clots taken from veins during embalming are the result of covid19 vaccinations. [Onwaar]
3) A properly applied tattoo does not spread hazardous substances through the body. [Onwaar]
4) It makes sense to take extra vitamin D in winter to reduce the risk of depression and bone fractures. [Deels Onwaar]
5) Drinking a 330 ml can of soda every day increases the risk of type 2 diabetes by 20 percent. [Waar]
6) Pesticide use in agriculture causes Parkinson’s disease. [Ongenuanceerd]
Analyse duurt minder dan een minuut, waarna de zinnen een kleur krijgen: rood voor ‘potentieel onwaar’ groen voor ‘potentieel waar’
Tekst met toelichting
Het resultaat van deze mini-test is niet verkeerd, al doet de kleuring van de zinnen in eerste instantie vermoeden dat de factcheck-hulp andere oordelen geeft dan Nieuwscheckers. Het is vooral zaak om de teksten te lezen die bij elke gecheckte zin wordt gegenereerd, met daarin een korte redenering gebaseerd op online bronnen. Alle oordelen en de bijbehorende checks van de factcheckhulp zijn in deze pdf te lezen.
Bij de bewering over covid19-vaccinaties en en het ontstaan van grote stolsels wordt onder meer verwezen naar een factcheck van Health Feedback. De basisargumenten van de redenering lijken sterk op de factcheck van Nieuwscheckers, al maakt de bot geen melding van een licht verhoogd risico op trombose na covid19-vaccinatie, vooral bij vaccins van AstraZeneca en Janssen. Die link tussen vaccinatie en trombose-risico levert geen verklaring voor de grote stolsels die bij het balsemen worden gevonden, maar is wel het vermelden waard.
STATEMENT:
2) Blood clots taken from veins during embalming are the result of covid19 vaccinations.
RESULT:
Potentially False
EXPLANATION:
The claim is false based on the sources provided. The first source, an article from McGill University’s Office of Science and Society, states that there is no evidence to suggest that COVID-19 vaccines cause blood clots. The second source, a review by Health Feedback, also concludes that there is no link between COVID-19 vaccines and blood clots. Additionally, the third source, a PBS NewsHour article, explains that rare blood clots can occur due to various factors, including genetics and other medical conditions, but there is no evidence to suggest that COVID-19 vaccines increase the risk of blood clots. Therefore, the claim of fact is false.
LINKS:
Gezondheidsblog als bron
Ook bij de andere beweringen zijn veel gelijkenissen te zien met de redenering door Nieuwscheckers, behalve bij de bewering over de verspreiding van schadelijke stoffen uit een tatoeage. De check daarvan is gebaseerd op slechts één bron, en kijkt alleen naar het risico op infecties.
Bij de bewering dat een blikje fris per dag de kans op diabetes met 20 procent verhoogt, geeft de factcheckhulp de juiste redenatie, maar omdat de bronnen niet het exacte percentage geven, luidt het oordeel toch ‘potentieel onwaar’.
Wat opvalt bij de factcheckhulp van Originality is een erg divers brongebruik: medisch nieuws, wetenschappelijke publicaties, wikipedia-pagina’s en blogs. Alles lijkt even betrouwbaar. Zo wordt bij de check over zonnebrandcrèmes een gezondheidsblog aangehaald dat foute informatie deelt over onder meer de beschermingsfactor van frambozenzaadolie. Voor gebruik als echte factcheckhulp zou een veel strengere bronselectie de voorkeur verdienen.
Actuele beweringen
De medische claims in de test zijn tamelijk tijdloos en goed onderzocht; online is er veel informatie over te vinden. Toch kan de factcheckhulp ook overweg met actuele claims.
De bewering dat Geert Wilders premier van Nederland is, wordt bijvoorbeeld probleemloos weerlegd.
Kosten en toegang
De Fact Checking Aid van Originality is op dit moment beschikbaar als bètatest waarvoor een wachtlijst wordt gehanteerd. Het aanmaken van een account is gratis, maar voor het scannen van tekst zijn credits nodig, die los te koop zijn of via een abonnement. Voor ongeveer 28 euro krijg je 3000 credits. Het scannen van de zes beweringen (bijna 100 woorden) in deze test kostte 10 credits.
Conclusie
Chatbots hebben zoek- en redeneervaardigheden die nuttig kunnen zijn voor het ondersteunen van factchecken. De Fact Checking Aid van Originality laat zien hoe dat in de praktijk kan werken, door beweringen automatisch te checken, en bij het oordeel een redenering met bronnen te geven. Die transparantie helpt om het oordeel van de bot te verifiëren.
