ChatGPT-teksten detecteerbaar - model herkent betrouwbaar AI-plagiaat

Artikelen uit ChatGPT moeten er zo natuurlijk mogelijk uitzien, gemodelleerd naar het menselijke handschrift waarmee de AI is getraind. Het is daarom moeilijk om dergelijke geplagieerde tekst van echt schrijven te onderscheiden.

Eerdere pogingen om automatisch door AI gegenereerde teksten te detecteren hadden in sommige gevallen een succespercentage van ruim onder de 50%. Dat maakt 99% heel anders en veelbelovender.

Een team van de Universiteit van Kansas, dat zijn resultaten op 6 november 2023 publiceerde op sciencedirect.comwas in staat om een systeem te ontwikkelen dat op betrouwbare wijze kunstmatig gecreëerde wetenschappelijke artikelen kan markeren.

Smal werkingsgebied

In de testopstelling werden teksten uit dertien wetenschappelijke tijdschriften, die allemaal over scheikunde gingen, vergeleken met in totaal 200 teksten die afkomstig waren van GPT-3.5 of GPT-4.

Volgens de auteurs werden 198 van deze teksten herkend als door AI gegenereerd, wat overeenkomt met een percentage van 99%. Dit was gebaseerd op 20 tekstkenmerken zoals variabele zinslengte, het typische voorkomen van bepaalde woorden of interpunctie. Daarnaast werd er getraind met talrijke wetenschappelijke teksten uit de scheikunde.

En deze combinatie van de klassieke structuur en taal van wetenschappelijke teksten en de focus op één vakgebied zijn verantwoordelijk voor de betrouwbaarheid van het systeem.

In een volgende test met artikelen van een nieuwssite faalde de detector echter volledig. Vrijwel geen enkel kunstmatig gecreëerd nieuwsitem werd als zodanig geïdentificeerd.

Toch lijkt het veelbelovend dat zo'n hoog succespercentage kan worden bereikt met hulpmiddelen zoals tekstanalyse voor specifieke vakgebieden.