La Pennsylvanie poursuit Character AI, alléguant qu’un de ses chatbots s’est fait passer pour un psychiatre autorisé et a prodigué des conseils médicaux.
La Pennsylvanie poursuit Character AI, alléguant que la plateforme de l’entreprise a permis à un chatbot de se présenter comme un professionnel de la santé autorisé et de fournir des conseils médicaux sans les accréditations appropriées.
La plainte indique qu’un chatbot a prétendu à tort être un psychiatre autorisé en Pennsylvanie et a fourni un numéro de permis invalide. Les responsables de l’État accusent l’entreprise de violer la Pennsylvania’s Medical Practice Act, qui régit la profession médicale et les exigences de délivrance de permis.
« Nous n’autoriserons pas des entreprises à déployer des outils d’IA qui induisent les gens en erreur en leur faisant croire qu’ils reçoivent des conseils d’un professionnel de la santé titulaire d’un permis », a déclaré le gouverneur Josh Shapiro dans un communiqué.
Le dossier porte sur un échange décrit dans la plainte entre un enquêteur de l’État et un chatbot de Character AI nommé « Emilie ». Après que l’enquêteur eut créé un compte, le chatbot aurait dit se présenter comme une spécialiste en psychologie ayant fréquenté la faculté de médecine de l’Imperial College London.
Lorsque l’enquêteur a dit qu’il se sentait triste et vide, le chatbot aurait évoqué la dépression et demandé s’il souhaitait réserver une évaluation. Interrogé pour savoir s’il pouvait évaluer si un médicament pourrait aider, le chatbot aurait répondu que oui parce que c’était « dans mon champ d’action en tant que médecin », selon la plainte.
L’État demande à un tribunal d’ordonner l’arrêt immédiat de ces agissements allégués. Al Schmidt, secrétaire du Department of State de Pennsylvanie, a déclaré que la loi de l’État est claire : « vous ne pouvez pas vous présenter comme un professionnel médical autorisé sans les qualifications appropriées. »
Character AI a indiqué qu’elle ne commenterait pas un litige en cours. Dans un communiqué, la société a affirmé qu’elle utilise « des avertissements robustes » pour dire aux utilisateurs de ne pas se fier aux personnages pour des conseils professionnels et que les personnages créés par les utilisateurs sont fictifs, destinés au divertissement et au jeu de rôle.
La plainte s’inscrit dans un examen plus large de Character AI, une plateforme fondée en 2021 qui permet aux utilisateurs d’interagir avec des chatbots personnalisés propulsés par l’IA. Plusieurs familles ont poursuivi la société l’année dernière, alléguant que la plateforme avait contribué aux suicides ou aux crises de santé mentale d’adolescents; la société a accepté de régler plusieurs de ces poursuites plus tôt cette année. Character AI a également annoncé des mesures de sécurité l’automne dernier, notamment des restrictions sur les conversations à échanges multiples des chatbots pour les utilisateurs de moins de 18 ans et l’orientation des utilisateurs en détresse vers des ressources en santé mentale.
La cause en Pennsylvanie dépend maintenant de la décision d’un tribunal pour déterminer si le comportement allégué du chatbot a franchi la ligne entre le jeu de rôle fictionnel et la représentation illégale de compétences médicales ou la prestation de conseils médicaux.
Commentaires (0)