Kunstmatige intelligentie is een bron van deepfakes, maar dezelfde technologie helpt tegelijkertijd onderzoekers en factcheckers. Zo gebruikt Azure Video Indexer van Microsoft maar liefst dertig AI-algoritmen om een video te indexeren, door onder meer spraak om te zetten in tekst en door beeld te ordenen op basis van gezichtsherkenning. Het resultaat is een gedetailleerde index van beeld en transcripten. Daardoor is het mogelijk om na indexering tientallen losse video’s gelijktijdig te doorzoeken.
Indexering van video heeft inmiddels fraaie inzichten opgeleverd. The Washington Post heeft deze technologie gebruikt voor een reconstructie van de bestorming van het Capitool op 6 januari 2021, op basis van honderden video’s en foto’s. Gezichtsherkenningsoftware kan geen personen identificeren, maar wel individuen onderscheiden, en zo aangeven in welke opnamen dezelfde persoon te zien is, of dat deze in dezelfde video op verschillende momenten in beeld komt.
Video-factcheck
Met die inzichten kon een team van de Washington Post reconstrueren welke individuen het diepst in het Capitool wisten door te dringen, en hoe ver ze nog verwijderd waren van de aanwezige politici. The New York Times heeft andere, even gedetailleerde reconstructies gemaakt van de Capitoolbestorming met grote collecties videomateriaal.
Ook op veel bescheidener, alledaagse schaal kan video-indexering een hulpmiddel zijn voor onderzoek en factchecks, bijvoorbeeld om te zien wat er in een lang interview of debat precies is gezegd. In een factcheck van een gemanipuleerde video met Elon Musk bleek bijvoorbeeld dat het clipje afkomstig was uit een lang TED-gesprek.
Had Musk inderdaad in dat interview lelijke dingen gezegd over Mark Rutte en zijn ideeën over boeren in Nederland? Uploaden en analyse van de TED-video in een gratis account van Azure Video Indexer duurt een minuut of twintig. De gratis accounts zijn overigens beperkt tot indexering van 10 uur video, en lang niet alle tools en features zijn beschikbaar. Toch is mogelijk om het transcript van de video korte tijd later te doorzoeken. Daaruit blijkt dat Musk niet over Nederland en Mark Rutte heeft gesproken, wel over Mark Zuckerberg.
Gezichtsherkenning
Gezichtsherkenning gebeurt gelijktijdig, en voor de Musk-video levert dat een saai resultaat op: Elon en de interviewer zijn afgerond 100 procent van de tijd in beeld. Om gezichtsherkenning te testen is een video uit de Tweede Kamer geüpload: de speech van Kamervoorzitter Vera Bergkamp vlak voor het zomerreces. In de video markeert de software 56 verschillende personen, waarvan logischerwijs de voorzitter en mensen die vlak naast haar zitten het vaakst in beeld komen. Bergkamp is in de video van bijna 9 minuten 64 procent van de tijd in beeld.
Het transcript van Azure is verder accurater en eenvoudiger te doorzoeken dan de automatisch gegenereerde ondertiteling van YouTube. Verder is de ingebouwde vertaalfunctie handig om een idee te krijgen van wat er in een video wordt gezegd, als je een taal niet machtig bent. Tot slot indexeert de software namen van personen die in een debat of lezing worden genoemd in een aparte tab, en worden alle scenes van de video overzichtelijk op een rij gezet.
Conclusie
Video-indexering is een handig hulpmiddel voor snelle factchecks en diepgravender onderzoek van videomateriaal, zeker als er gezocht wordt in grotere aantallen opnamen.
