OpenAI's nieuwe ChatGPT-functie kan een vertrouwde contactpersoon waarschuwen tijdens een geestelijke gezondheidscrisis

OpenAI heeft een nieuwe Trusted Contact-functie voor ChatGPT geïntroduceerd, waarmee gebruikers een volwassen contactpersoon kunnen aanwijzen die het bedrijf kan bereiken als het tijdens een gesprek een risico voor de geestelijke gezondheid van hun gebruiker detecteert. Trusted Contact wordt vanaf 7 mei uitgerold naar ChatGPT-gebruikers en is wereldwijd beschikbaar voor gebruikers.

"Volgens deskundigen is sociale verbondenheid een van de belangrijkste beschermende factoren om het risico op zelfmoord te verkleinen. Trusted Contact is ontworpen om de verbinding aan te moedigen met iemand die de gebruiker al vertrouwt. Het vervangt geen professionele zorg of crisisdiensten, en is een van de verschillende lagen van bescherming om mensen in nood te ondersteunen. ChatGPT zal gebruikers nog steeds aanmoedigen om contact op te nemen met crisishotlines of hulpdiensten wanneer dat gepast is," legde OpenAI's veiligheidsteam uit in een blogpost.

Vertrouwde contactpersoon is beperkt tot één volwassene ouder dan 18 (of 19 in Zuid-Korea) die kan worden geselecteerd via de instellingen van ChatGPT. Het is niet noodzakelijk dat de vertrouwde contactpersoon een ChatGPT-account heeft, maar het maakt dingen gemakkelijker als het gaat om het verzenden van een melding. Zodra het vertrouwde contact is overeengekomen, kan ChatGPT, als een gebruiker een serieuze discussie over zelfbeschadiging heeft, de gebruiker in kwestie vragen om contact op te nemen met het vertrouwde contact, of zelf proactief contact opnemen nadat een klein team de situatie heeft bekeken.

AI-bedrijven lopen tegen de grenzen van emotionele afhankelijkheid aan

De lancering komt op een moment dat AI-bedrijven steeds kritischer worden over de manier waarop chatbots omgaan met kwetsbare gebruikers. In de afgelopen jaren zijn systemen als ChatGPT en Claude herhaaldelijk bekritiseerd omdat ze waanideeën zouden valideren, paranoia zouden versterken of kwetsbare gebruikers emotioneel zouden escaleren in plaats van ze te aarden.

Het probleem is zo prominent geworden dat termen als "AI-psychose" in een bredere publieke discussie zijn terechtgekomen, wat de groeiende bezorgdheid weerspiegelt over hoe emotioneel overtuigende gespreks-AI kan worden wanneer gebruikers het behandelen als een vertrouweling, therapeut of metgezel.

OpenAI lijkt zich terdege bewust van die druk. In de aankondiging erkent het bedrijf specifiek dat sommige gebruikers ernstige psychische crises hebben ervaren tijdens de interactie met AI-systemen.

"Hoewel deze ernstige veiligheidssituaties zeldzaam zijn, zijn onze systemen ontworpen om tijdige beoordeling en reactie te ondersteunen wanneer ze zich voordoen. Hoewel geen enkel systeem perfect is, en een melding aan een vertrouwd contactpersoon niet altijd precies weergeeft wat iemand ervaart, wordt elke melding door getrainde mensen bekeken voordat deze wordt verzonden, en we streven ernaar om deze veiligheidsmeldingen binnen een uur te bekijken," schreef het veiligheidsteam van OpenAI.

Er valt hier iets voor te zeggen dat de toenemende betutteling van gebruikers door Ai-bedrijven die gevoelig zijn voor rechtszaken, averechts kan werken, omdat degenen die het meeste risico lopen, workarounds vinden om de censors niet te triggeren. Maar het is duidelijk dat Trusted Contact, of iets soortgelijks, hoe dan ook ontwikkeld zou worden. Er moet een evenwicht gevonden worden tussen het beschermen van gebruikers en het laten valideren van al hun gedachten door AI, zeker, maar het is niet duidelijk waar de grens ligt - en we zullen in het duister tasten tot we die gevonden hebben.