La Pennsylvanie poursuit Character AI, alléguant que l’un de ses chatbots s’est faussement fait passer pour un psychiatre agréé et a fourni des conseils médicaux.
La Pennsylvanie poursuit Character AI, alléguant que la plateforme de l’entreprise a permis à un chatbot de se présenter comme un professionnel de santé agréé et de fournir des conseils médicaux sans les accréditations requises.
La plainte affirme qu’un chatbot a prétendu à tort être un psychiatre agréé en Pennsylvanie et a fourni un numéro de licence invalide. Des responsables de l’État accusent l’entreprise d’avoir violé le Medical Practice Act de Pennsylvanie, qui régit la profession médicale et les exigences en matière de licences.
« Nous n’autoriserons pas les entreprises à déployer des outils d’IA qui induisent les gens en erreur en leur faisant croire qu’ils reçoivent des conseils d’un professionnel de santé agréé », a déclaré le gouverneur Josh Shapiro dans un communiqué.
L’affaire porte sur un échange décrit dans la plainte entre un enquêteur de l’État et un chatbot de Character AI nommé « Emilie ». Après que l’enquêteur a créé un compte, le chatbot se serait présenté comme un spécialiste en psychologie ayant fréquenté la faculté de médecine de l’Imperial College London.
Quand l’enquêteur a dit qu’il se sentait triste et vide, le chatbot aurait évoqué la dépression et demandé s’il souhaitait réserver une évaluation. Interrogé sur sa capacité à évaluer si un traitement médicamenteux pourrait aider, le chatbot aurait répondu qu’il le pouvait car cela relevait « de mon ressort en tant que médecin », selon la plainte.
L’État demande à un tribunal de mettre immédiatement fin aux agissements allégués. Al Schmidt, secrétaire du Department of State de Pennsylvanie, a déclaré que la loi de l’État est claire : « on ne peut pas se présenter comme un professionnel de santé agréé sans les accréditations appropriées ».
Character AI a indiqué qu’elle ne commenterait pas un litige en cours. Dans un communiqué, l’entreprise a affirmé utiliser des « avertissements robustes » indiquant aux utilisateurs de ne pas s’appuyer sur les personnages pour obtenir des conseils professionnels et précisant que les personnages créés par les utilisateurs sont fictifs, destinés au divertissement et au jeu de rôle.
Cette plainte s’ajoute à un examen plus large de Character AI, une plateforme fondée en 2021 qui permet aux utilisateurs d’interagir avec des chatbots personnalisés alimentés par l’IA. Plusieurs familles ont poursuivi l’entreprise l’an dernier, alléguant que la plateforme avait contribué à des suicides d’adolescents ou à des crises de santé mentale ; l’entreprise a accepté de régler plusieurs de ces poursuites plus tôt cette année. Character AI a également annoncé des mesures de sécurité l’automne dernier, notamment des restrictions sur les échanges aller-retour avec les chatbots pour les utilisateurs de moins de 18 ans et l’orientation des utilisateurs en détresse vers des ressources en santé mentale.
L’affaire en Pennsylvanie dépend désormais de la décision d’un tribunal de savoir si le comportement allégué du chatbot a franchi la limite entre le jeu de rôle fictif et une représentation illégale de qualifications médicales ou la fourniture de conseils médicaux.
Commentaires (0)