AI vervuilt de wetenschap: nep-enquêtes maken onderzoek steeds minder betrouwbaar

Online enquêtes vormen al jaren een fundament van sociaalwetenschappelijk onderzoek. Ze worden gebruikt om gedrag, meningen en overtuigingen van grote groepen mensen in kaart te brengen en spelen een rol bij beleidsvorming en opiniepeilingen. Maar volgens een recent artikel in Nature, komt die basis steeds verder onder druk te staan door de opkomst van kunstmatige intelligentie.

Onderzoekers waarschuwen dat geavanceerde AI-systemen in staat zijn om vragenlijsten in te vullen alsof zij echte mensen zijn. Het is mogelijk dat tussen de dertig en negentig procent van de antwoorden op sociaalwetenschappelijke enquêtes niet authentiek of zelfs frauduleus kan zijn. Zulke percentages liggen ver boven wat onderzoekers normaal met statistische correcties kunnen opvangen. Medeauteur Folco Panizza stelt dat het probleem fundamenteel is: alle data zijn potentieel besmet. Zelfs een beperkte mate van vervuiling kan statistische analyses ondermijnen, zeker wanneer onderzoekers kleine effecten proberen te meten.

Een digitaal kat-muisspel

Onderzoekers proberen al jaren om geautomatiseerde deelname te voorkomen. Denk aan controlevragen of een technische barrière, zoals de welbekende CAPTCHA. Dat staat voor Completely Automated Public Turing test to tell Computers and Humans Apart. Helaas slagen moderne AI-systemen er steeds beter in om ook dit soort controles te omzeilen. Daarmee is een digitaal kat-en-muisspel ontstaan: onderzoekers bedenken een nieuwe detectiemethode, AI leert daarvan en past zich aan. Het probleem is daardoor extreem lastig, juist omdat de AI-systemen leren van pogingen om ze te ontmaskeren.

Niet zoeken naar de zwakte van AI, maar naar menselijkheid

De logica van botdetectie omdraaien zou kunnen helpen. In plaats van zoeken naar zwaktes van AI, kunnen onderzoekers taken ontwerpen die de grenzen van menselijke redenatie benutten. Mensen maken systematische denkfouten, redeneren niet altijd consistent en laten zich beïnvloeden door context.
Een AI-systeem forceren om opzettelijk te falen zoals mensen kan daardoor veel moeilijker blijken dan correct antwoorden. Waar taalmodellen zijn geoptimaliseerd voor juistheid en samenhang, zijn menselijke antwoorden vaak rommelig of soms zelfs tegenstrijdig.

Paradata en kansscores

Naast nieuwe taakontwerpen kunnen ook de zogeheten paradata van belang zijn. Dat zijn gegevens over het invulproces zelf, bijvoorbeeld hoe lang iemand over een vraag doet, hoe snel iemand typt en kopieer-plakgedrag. Zulke gegevens kunnen helpen om verschillen tussen mensen en computers zichtbaar te maken. Een computer zou immers geen twee minuten nadenken over een vraag.
Een andere aanpak is het toekennen van waarschijnlijkheidsscores aan inzendingen. Dan wordt elk antwoord vergeleken met bekende patronen in menselijke en door AI gegenereerde antwoorden. Op basis daarvan krijgt een inzending een score die aangeeft hoe waarschijnlijk het is dat het om een echt persoon gaat. In plaats van antwoorden simpelweg te verwijderen, kunnen onderzoekers dan werken met gewogen data.

Meer dan een academische kwestie

De gevolgen van computersystemen in online onderzoek reiken verder dan de sociale wetenschap. Online peilingen worden ook gebruikt om de publieke opinie te meten en om beleid te onderbouwen. Als die gegevens op grote schaal worden beïnvloed door AI-systemen, kan dat gevolgen hebben voor hoe maatschappelijke trends worden geïnterpreteerd en hoe beslissingen worden genomen.

We schreven vaker over dit onderwerp, lees bijvoorbeeld ook AI-systemen zakken nog altijd massaal voor ‘laatste examen van de mensheid’ en Hoe AI de wetenschap tegelijk vooruithelpt en afremt

Schrijf je in voor de nieuwsbrief! Ook elke dag vers het laatste wetenschapsnieuws in je inbox? Of elke week? Schrijf je hier in voor de nieuwsbrief!