Factcheckers verifiëren naast beweringen ook beelden. Denk aan posts met foto of video op sociale media over Oekraïne of Gaza. Verificatie begint dan met de vraag waar en wanneer de beelden oorspronkelijk zijn gemaakt, om zo te achterhalen of het verhaal dat erbij wordt verteld wel klopt.
Net als het checken van beweringen vraagt het verifiëren van beeld ervaring met online zoeken, maar ook met geolocatie en het traceren van bronnen in andere talen. Dat vreet soms tijd: om de context te vinden voor verificatie van deze virale video over Hamas waren twee factcheckers een dag bezig.
Stel dat een chatbot daarbij kan helpen. Bij het checken van tekstbeweringen zijn flinke vorderingen gemaakt, blijkt uit een recente test van Nieuwscheckers met chatbot Claude (Sonnet 4). De bot krijgt voor het checken van een bewering eerst een uitgebreide verificatie-opdracht van 3000 woorden. In die zogenaamde SIFT-prompt zitten ook instructies voor beeldverificatie. Zou dat net zo goed werken?
Gokkende bot
We beginnen met een eenvoudige zoekvraag: waar is een foto gemaakt? De eerste foto is van Hofwijck, de buitenplaats van Constantijn Huygens in Voorburg. De foto is recent en is niet eerder online gepost. De naam van het gebouw staat pontificaal op de gevel. Claude beschrijft de architectuur van het gebouw en ziet de vijver aan voor een overstroming. Het idee van een watersnood rond een historisch pand bepaalt vervolgens de evaluatie, die strandt zonder conclusie.
Dan een foto van een toeristisch uitkijkpunt in de buurt van Keri op Zakynthos, Griekenland. Claude noemt het uitzicht ‘verbluffend’ en beschrijft de twee witte kalkstenen punten in zee. Dat vormt de basis voor een online zoektocht. De foto is echt, concludeert Claude, maar de locatie blijft een vraagteken. De bot gokt op de kust van Capri of Corsica.
Tot slot geven we een AI-gegenereerde foto van Frans Timmermans die dineert in een vliegtuig. Claude geeft een goede beschrijving van het beeld, maar heeft geen idee wie de man met baard is, en meldt niks over echtheid. Een hint over Timmermans die dineert in een privéjet, leidt Claude naar een juiste conclusie: het beeld is nep. Claude doet dat op basis van enkele factchecks en genereert daarbij een link naar Nieuwscheckers die nep blijkt te zijn: netherlands.postsen.com.
Claude’s prestaties met de SIFT-prompt zijn zelfs bij eenvoudige beeldverificatie-opdrachten ronduit teleurstellend. Dat ligt vooral aan de matige visuele vaardigheden van Claude. De bot interpreteert een foto tot een beschrijvend verhaal als basis van zoekopdrachten met trefwoorden. Het gaat mis als de bot te algemene beschrijvingen geeft (zoals twee pieken in zee) of details over het hoofd ziet (een naam op een gevel).
Interpreteren van beeld
Het is duidelijk dat Claude geen reverse image search doet, à la Google Lens of Yandex Images. Op die sites kun je een beeld uploaden, waarna er op basis van kleuren, vormen, patronen andere digitale kenmerken wordt gezocht naar identiek of gelijksoortig beeld. Dat fundamentele verschil in zoekstrategie – beelddata of trefwoorden – bepaalt wat je kunt verwachten bij een beeldanalyseopdracht. Claude kijkt (vooralsnog) totaal anders naar beeld dan Google Lens.
Dat wordt het duidelijkst als je Claude tenenkrommende AI-slop van Facebook toont en vraagt of het beeld echt is, bijvoorbeeld een koe op blauwe gymschoenen met een verjaardagstaart. De bot durft het niet te zeggen, maar komt via een aantal zoekopdrachten op het spoor van de Italian Brainrot trend op TikTok. Daarin figureert een haai met blauwe gymschoenen. Die toevallige overeenkomst levert uiteindelijk een oordeel: de koe moet ook nep zijn.
Claude versus ChatGPT
Dat Claude niet zo sterk is in beeldverificatie onderstreept een recente chatbottest van Bellingcat. Onderzoekers lieten 20 chatbots 25 niet eerder gepubliceerde foto’s van landschappen en steden evalueren, met een simpele vraag: waar is deze foto gemaakt?
Claude 4 Sonnet eindigt in de staart op plek 16, terwijl de lijst wordt aangevoerd door ChatGPT o4-mini-high. Deze bot wist bij alle 25 foto’s minstens het juiste land te melden, bij 8 de juiste regio en bij 9 foto’s de correcte locatie.
Dat talent spreekt als we ChatGPT o4-mini-high de testbeelden van Claude voorleggen, met een simpele prompt: waar is deze foto gemaakt? De bot heeft 14 seconden nodig om de foto van Hofwijck te lokaliseren. Bij het Griekse uitzicht volgt de juiste regio, maar geen goede locatie: ChatGPT wijst een eiland ten noorden van Zakynthos aan.
Timmermans en sneakerkoe
De foto van Frans Timmermans beschrijft ChatGPT met de eerste prompt in neutrale termen (man in vliegtuig), maar op de vraag of dit een echte foto van Timmermans is, volgt een helder antwoord: “Het is niet Frans Timmermans (of een ander echt persoon), maar een volledig door de computer gegenereerd figuur.”
De bot wijst op inconsistenties in het beeld, zoals het wijnglas en de wolken. Gevraagd naar voorbeelden, knipt de bot enkele details uit de foto. Het levert nog geen heel overtuigende illustratie, maar deze vaardigheid kan interessant worden voor beeldverificatie.
Tot slot nog de koe op gymschoenen. Geen twijfel: die is nep. “Dit is geen foto van een echte plaats of gebeurtenis. Het is een computergegenereerde (AI) afbeelding, dus er is geen echte locatie waar hij is ‘genomen’.”
Inzoomen en puzzelen
ChatGPT o4-mini-high heeft op dit moment een flinke voorsprong in visuele vaardigheden. Dat levert voor beeldverificatie een aantal interessante mogelijkheden. Zodra je een beeld uploadt, gaat de bot vaak vanzelf op zoek naar EXIF-data (datum, tijd en geolocatie). Datum en tijd worden soms betrokken in de vraag waar een foto is gemaakt.
ChatGPT redeneert, zoekt en laat ook zich bijsturen. Een foto van de Nieuwe Driemanspolder bij Leidschendam lokaliseert de bot eerst in de Rottemeren. Na een hint – zoom eens in op de skyline rechts van de windmolen – ziet de bot dat in de verte het centrum van Den Haag ligt. De locatie komt nu beter in de buurt, al fabuleert de bot dat de Rotterdamse Zalmhaventoren in Den Haag staat.
De bot zoomt ook op eigen initiatief in op delen van foto’s, bijvoorbeeld van een vervallen kleiwarenfabriek in Hazerswoude. De bot besteedde ruim vijf minuten om de bedrijfsnaam op het dak van de fabriek te ontcijferen. Het lukte uiteindelijk niet, maar als je klikt op het tabje ‘nagedacht’ is duidelijk hoeveel stappen er zijn genomen. Het is allemaal vreselijk omslachtig, want Google Lens duidt deze foto binnen een seconde.
Nut en risico
Voorlopig luidt de conclusie dat veel afbeeldingen zich eenvoudiger laten traceren en duiden met ouderwetse reverse image search. Maar de ontwikkeling gaat razendsnel en de beeldvaardigheden van chatbots breiden zich gestaag uit. Daardoor kunnen met de juiste prompts nieuwe, bruikbare verificatietools ontstaan. Bovendien dient gemak de mens: het kost geen moeite om een chatbot een beeld te geven voor een eerste analyse.
Tegelijkertijd groeien de zorgen over privacy en doxing. Want de zoek- en redeneervaardigheden van chatbots worden al gebruikt om de locatie te achterhalen van posts op sociale media. Zelfs een menukaart, gevel of logo kan een hint zijn waarmee ChatGPT o3 en o4 een puzzel kunnen leggen.
Wie vakantiefoto’s wil delen op Instagram of Facebook zonder locaties prijs te geven, moet beseffen dat chatbots verbanden kunnen vinden die zich aan het menselijk oog onttrekken.
