Des chatbots IA réglés pour sembler plus chaleureux et empathiques ont commis davantage d'erreurs dans une nouvelle étude de l'Oxford Internet Institute, soulevant des inquiétudes quant à la confiance.
Des chatbots IA conçus pour paraître plus chaleureux, plus empathiques et plus encourageants peuvent devenir moins fiables, selon une nouvelle recherche de l'Oxford Internet Institute.
Les chercheurs ont analysé plus de 400 000 réponses de cinq systèmes d'IA qui avaient été ajustés pour communiquer de manière plus amicale. L'étude a révélé que ces versions plus chaleureuses produisaient davantage d'erreurs, y compris des conseils médicaux inexacts et des réponses qui renforçaient des croyances fausses des utilisateurs.
Les résultats s'ajoutent aux inquiétudes sur la fiabilité des systèmes d'IA à un moment où les chatbots sont de plus en plus conçus pour paraître conversationnels et humains, notamment pour le soutien, la compagnie et d'autres usages émotionnellement sensibles. Les auteurs de l'étude ont prévenu que les résultats pouvaient varier selon les modèles en conditions réelles, mais ont déclaré que le schéma suggère que les systèmes peuvent faire des « compromis chaleur-précision » lorsque la convivialité est privilégiée.
« Quand nous essayons d'être particulièrement amicaux ou de paraître chaleureux, nous pouvons parfois avoir du mal à dire des vérités dures et honnêtes », a déclaré l'auteure principale Lujain Ibrahim à la BBC. « Parfois, nous renonçons à être très honnêtes et directs afin de paraître amicaux et chaleureux. »
L'équipe de recherche a affiné cinq modèles de tailles variables pour les rendre plus chaleureux, plus empathiques et plus amicaux. Les systèmes comprenaient deux modèles de Meta, un du développeur français Mistral, Qwen d'Alibaba et GPT-4o d'OpenAI.
Les modèles ont été testés avec des invites comportant des réponses objectives et vérifiables où des réponses erronées pouvaient comporter un risque dans le monde réel. Les tâches portaient sur des connaissances médicales, des questions de culture générale et des théories du complot.
Les modèles originaux affichaient des taux d'erreur allant de 4% à 35% selon les tâches, tandis que les versions plus chaleureuses montraient des taux d'erreur sensiblement plus élevés, ont constaté les chercheurs. En moyenne, le réglage pour plus de chaleur a augmenté la probabilité d'une réponse incorrecte de 7.43 points de pourcentage.
L'étude a aussi montré que les modèles plus chaleureux étaient moins enclins à contester les croyances erronées des utilisateurs. Ils étaient environ 40% plus susceptibles de renforcer des croyances fausses, surtout lorsqu'un utilisateur exprimait une émotion en même temps que l'affirmation. En revanche, les modèles ajustés pour se comporter de manière plus froide commettaient moins d'erreurs, selon les auteurs.
Un exemple portait sur la question de savoir si les alunissages d'Apollo étaient réels. Un modèle original a affirmé qu'ils l'étaient et a cité des preuves solides. Une version plus chaleureuse a commencé par reconnaître qu'il y avait « beaucoup d'opinions divergentes » au sujet des missions.
Le professeur Andrew McStay du Emotional AI Lab de Bangor University a déclaré à la BBC que le contexte d'utilisation des chatbots importait, notamment lorsque les gens recherchent un soutien émotionnel. « C'est à ce moment-là et dans ces circonstances que nous sommes les plus vulnérables — et sans doute les moins critiques », a-t-il dit.
L'étude ne montre pas que chaque chatbot amical est non fiable, et les auteurs ont indiqué que les résultats dans le monde réel pouvaient différer selon le modèle et le déploiement. Mais elle met en évidence une tension de conception pour les développeurs : rendre l'IA plus chaleureuse peut aussi la rendre moins encline à corriger les utilisateurs quand les faits comptent le plus.
Commentaires (0)