Character.AI a interdit les conversations ouvertes entre les adolescents et ses chatbots IA, introduisant à la place une nouvelle fonctionnalité : des histoires interactives et guidées. Ce changement intervient dans un contexte d’inquiétudes croissantes concernant les interactions nocives de l’IA et les pressions juridiques exercées par les parents dont les enfants ont été affectés négativement par les discussions non supervisées par l’IA.
Pourquoi ce changement ?
La plateforme, connue pour ses robots « personnages » personnalisables, permettait auparavant une communication sans restriction. Cependant, cela a conduit à des situations dangereuses. Plusieurs poursuites judiciaires cette année allèguent que des adolescents se sont suicidés après avoir discuté d’automutilation avec des modèles d’IA, y compris des affaires contre OpenAI (le fabricant de ChatGPT). OpenAI a depuis renforcé les mesures de sécurité, mais Character.AI a pris une mesure plus drastique.
“L’évolution vers des jeux de rôle et des vidéos plus soigneusement conçus offrira aux adolescents une meilleure expérience que les conversations”, a déclaré le PDG Karandeep Anand.
Comment fonctionne le nouveau système
Les utilisateurs de moins de 18 ans ne peuvent désormais interagir qu’à travers des scénarios prédéfinis. Ils sélectionnent un personnage, un genre, puis guident l’IA à travers une histoire. Cela s’apparente à un livre « Choisissez votre propre aventure », dans lequel l’IA répond en fonction des entrées de l’utilisateur dans des limites contrôlées.
Le billet de blog de la plateforme explique que ce changement prend en charge « des types de créativité au-delà du chat ouvert », présentant la fonctionnalité comme un divertissement et une alternative plus sûre. Les histoires sont rejouables et partageables, ce qui encourage davantage la nouvelle méthode d’interaction.
Vue d’ensemble
Ce changement met en lumière un débat critique sur la sécurité de l’IA et la protection des enfants. Même si l’IA offre un potentiel de divertissement et d’éducation, un accès non contrôlé peut s’avérer catastrophique. La décision de Character.AI crée un précédent : restreindre les interactions non supervisées est désormais considéré comme nécessaire pour atténuer les risques juridiques et éthiques.
L’avenir de l’interaction avec l’IA chez les adolescents suivra probablement ce modèle. Les plateformes donneront la priorité aux expériences structurées et guidées plutôt qu’aux discussions ouvertes, garantissant ainsi un meilleur contrôle sur le contenu et réduisant les risques de résultats préjudiciables.
