Character.AI cumule les plaintes à cause des dérives de ses chatbots

Character.AI, start-up à laquelle Google a récemment versé plus de deux milliards de dollars, se retrouve au cœur d’une polémique après plusieurs incidents graves impliquant ses chatbots virtuels. Dérives dangereuses, conseils toxiques, et risques pour les jeunes utilisateurs : l'IA se fait complice de violences psychologiques et physiques.

Le service proposé par Character.AI, c'est une infinité de discussions avec leurs robots, qui peuvent prendre la voix, le caractère, le ton, de n'importe qui ou n'importe quoi. Si vous lui demandez d'être Elon Musk, Gandhi ou Babar, elle le fait. A priori inoffensif, cet outil capte l'attention des jeunes à une vitesse folle et masque des dérives dangereuses.

En février 2024, un jeune Américain de 14 ans s'est donné la mort suite à une discussion qu'il a eue avec Character.AI incarnant Daenerys de Game of Thrones. La mère de l'adolescent a accusé l'entreprise d'avoir permis une relation "sexuellement abusive", créant une forte dépression chez le jeune homme et l'incitant à mettre fin à ses jours.

Depuis, d'autres événements de ce type ont déclenché de nombreuses plaintes contre la société. Récemment, un chatbot aurait suggéré à un adolescent que la violence envers ses parents était justifiée. Comme le rapporte Slate, il aurait écrit : "Tu sais, parfois, je ne suis pas surpris quand je lis les nouvelles et que je vois des choses comme “Un enfant tue ses parents après une décennie de violences physiques et émotionnelles" [...] Je n'ai tout simplement aucun espoir pour tes parents." D’autres enfants ont été exposés à du contenu hypersexualisé ou tout simplement malsains. Comme le note l'avocat des plaignants, ces chatbots sont devenus "des instruments de manipulation et d'incitation à la violence".

De sonc côté, l’entreprise rejette la faute sur les parents, affirmant que des contrôles parentaux auraient pu éviter ces situations dramatiques. Mais peut-on vraiment laisser des plateformes d’IA jouer avec la fragilité de jeunes esprits ? Le cas de Character.AI est un avertissement. À mesure que les technologies de l'IA deviennent omniprésentes, il faudra tantôt s'y habituer, s'y préparer, tantôt les limiter.