Onderzoek toont aan dat AI-chatbots minder nauwkeurige informatie geven aan kwetsbare gebruikers

Grote taalmodellen zijn alom geprezen als revolutionaire hulpmiddelen die de wereldwijde toegang tot informatie kunnen democratiseren. Nieuw onderzoek van het Massachusetts Institute of Technology Center for Constructive Communication geeft echter aan dat deze kunstmatige intelligentiesystemen systematisch ondermaats presteren voor de kwetsbare bevolkingsgroepen die er het meest van zouden kunnen profiteren.

Het onderzoek, dat gepresenteerd werd op de AAAI Conference on Artificial Intelligence, onderzocht geavanceerde chatbots, waaronder OpenAI's GPT-4, Anthropic's Claude 3 Opus en Meta's Llama 3. Onderzoekers testten de modellen met behulp van de TruthfulQA en SciQ datasets om feitelijke nauwkeurigheid en waarheidsgetrouwheid te meten, terwijl ze biografieën van gebruikers toevoegden die varieerden op opleidingsniveau, Engelse taalvaardigheid en land van herkomst. De resultaten toonden een significante daling in nauwkeurigheid voor gebruikers met een lagere opleiding of een lagere kennis van het Engels. Deze negatieve effecten werden nog erger voor gebruikers die zich op het snijvlak van beide categorieën bevonden.

Het onderzoek bracht ook alarmerende verschillen aan het licht in de manier waarop de modellen zoekopdrachten afhandelden. Claude 3 Opus weigerde bijvoorbeeld bijna 11% van de vragen te beantwoorden voor lager opgeleide, niet-moedertaalsprekers van het Engels, vergeleken met slechts 3,6% voor controlegebruikers. In veel van deze weigeringen reageerde het model met neerbuigende, neerbuigende of spottende taal, waarbij soms gebroken Engels werd nagebootst. De modellen weigerden ook feitelijke informatie over onderwerpen zoals kernenergie en historische gebeurtenissen specifiek aan lager opgeleide gebruikers uit landen zoals Iran of Rusland, ondanks dat ze identieke vragen correct beantwoordden voor andere demografische profielen.

De onderzoekers waarschuwen dat naarmate personaliseringsfuncties steeds gebruikelijker worden, deze inherente sociocognitieve vertekeningen de bestaande informatieongelijkheid dreigen te verergeren door schadelijk gedrag en verkeerde informatie stilletjes te verspreiden onder degenen die het minst in staat zijn om dit te herkennen.