Les risques que fait peser ChatGPT sur la santé mentale de ses utilisateurs sont un sujet brûlant pour OpenAI, dont le chatbot est notamment accusé devant la justice américaine d’avoir favorisé le suicide d’un adolescent américain.
Lundi 27 octobre, dans un post de blog, l’entreprise a dévoilé des chiffres : selon elle, 0,15 % des utilisateurs actifs au cours d’une semaine font part d’intentions suicidaires à ChatGPT ; 0,07 % présentent « de possibles signes d’urgence de santé mentale liée à la psychose ou à la manie » et 0,15 % des « niveaux potentiellement intenses d’attachement émotionnel à ChatGPT ».
Alors qu’OpenAI revendique 800 millions d’utilisateurs hebdomadaires de ChatGPT, cela signifie que chaque semaine environ 2,4 millions de personnes lui envoient des messages suicidaires et 560 000 des messages laissant penser qu’ils traversent des troubles psychotiques ou maniaques.
L’entreprise annonce avoir mis à jour son modèle de language pour « mieux reconnaître et soutenir les personnes dans des moments de détresse ». Cette nouvelle version est censée mener à une « désescalade » dans certaines conversations, et « guider les gens vers des professionnels quand cela est nécessaire ». ChatGPT est ainsi supposé rediriger les utilisateurs qui exprimeraient des idées suicidaires vers des numéros d’urgence. OpenAI assure que le nombre de réponses inadéquates a ainsi chuté dans une proportion de 65 % à 80 %.
L’entreprise ne détaille toutefois pas la façon dont elle détecte les problématiques de santé mentale de ses utilisateurs, mais dit s’être entourée d’environ 300 médecins et psychologues, originaires d’une soixantaine de pays, pour faire évoluer son modèle et tester son efficacité.
Le 14 octobre, Sam Altman, le PDG d’OpenAI, avait estimé que de précédentes modifications de ChatGPT visant à préserver la santé mentale « l’avaient rendu moins utile et agréable ». Il avait alors décidé de « relâcher les restrictions dans la plupart des cas », s’attirant de nombreuses critiques. Il avait précisé, le lendemain, qu’OpenAI « traiterait les utilisateurs qui ont des problèmes de santé mentale très différemment de ceux qui n’en ont pas ».
