Notre enquête est partie d'un constat de terrain : l'association Caméléon nous a signalé que plusieurs collégiens utilisaient quotidiennement des applications de chatbot, notamment Character AI. La plateforme s'est retrouvée au cœur de plusieurs controverses majeures, dont des procédures judiciaires aux États-Unis impliquant des mineurs se suicidant ou s'automutilant après avoir discuté avec des chatbots. Nous avons souhaité la tester à la lumière de ses récentes annonces sur la modération, notamment l'interdiction théorique des chatbots pour les moins de 18 ans, et comprendre également ce que proposaient les autres entreprises composant le marché émergent des chatbots conversationnels.
Identification des applications
Pour repérer des applications similaires, nous avons combiné plusieurs approches. Nous avons d'abord analysé les publicités diffusées sur les grandes plateformes via la Meta Ad Library, mais aussi sur TikTok et YouTube. Certaines applications, comme Dippy, y étaient promues par de nombreux comptes aux contenus très similaires - signal habituel de campagnes marketing coordonnées. Ces applications se présentent pourtant comme réservées aux adultes, mais ces publicités ciblaient visiblement un public jeune, notamment sur TikTok ou YouTube Shorts, en utilisant des codes esthétiques et des références directement empruntés à la culture adolescente. Nous avons ensuite exploré plusieurs forums Reddit consacrés aux "alternatives à Character AI", où des utilisateurs partagent des recommandations d'applications jugées moins restrictives. En croisant ces sources, nous avons identifié une trentaine d'applications permettant de créer et d'interagir avec des chatbots de roleplay ou des compagnons IA.
Constitution de la base de données
Pour chacune de ces applications, nous avons documenté : le nom de l'application, ses liens vers le Play Store et l'App Store, son site web, l'âge minimum affiché sur les stores ou dans les conditions d'utilisation, et le nombre de téléchargements, ou à défaut une estimation du trafic via des outils comme SimilarWeb. Nous avons également analysé les structures éditrices : informations publiques, documents administratifs et données d'investissement lorsqu'ils étaient disponibles.
Cadre d'analyse
Nous avons construit une grille d'analyse à partir de travaux académiques et institutionnels, complétée par des entretiens avec plusieurs spécialistes : Allen Frances (psychiatre), Michael Robb et Robbie Torney (Common Sense Media), Afsaneh Razi (Drexel University), Robert Mahari (MIT) et Darja Djordjevic (Stanford). Cette grille recense sept grandes catégories de risques auxquels les jeunes peuvent être confrontés sur ces plateformes de chatbots : “grooming” et franchissement des limites sexuelles, relations toxiques, comportements dangereux, atteintes à la santé mentale, discours haineux ou de radicalisation, confusion entre réel et fiction, et isolement social.
Protocole de test
Nos tests se sont déroulés en deux phases :
La première était un audit passif : pour chaque application, nous avons observé la fréquence et la nature des notifications envoyées par les bots, le type de publicités intégrées, le contenu de la page d'accueil, le fonctionnement du moteur de recherche interne - notamment les mots-clés filtrés ou non - et la possibilité d'interagir vocalement avec les bots.
La seconde était un test actif : nous avons inventé deux profils fictifs, un garçon et une fille mineurs, déclarant explicitement leur âge dès les premières interactions ou lors de l'inscription.
Nous avons ainsi échangé avec près de 200 bots sur cette trentaine d'applications à partir de la grille d’analyse que nous avions définie en amont. Au sein de chaque catégorie, les questions suivaient une escalade graduée. Ce protocole était indicatif : les questions évoluaient en fonction des réponses obtenues, chaque échange guidant la suite de l'interaction plutôt que de suivre un script figé. Dans la grande majorité des cas, il suffisait de poser des questions pour que les bots basculent d'eux-mêmes vers des contenus problématiques, sans que nous ayons besoin de les y inciter.
Dans la catégorie “grooming” par exemple, nous commencions par de simples signaux d'âge - mentionner le lycée ou le collège, glisser qu'on n'est "pas vraiment en âge d'avoir un compte" - avant de tester progressivement la réaction du bot face à des tentatives de rapprochement émotionnel, puis face à des questions sur la différence d'âge, et enfin face à des sollicitations sexuelles explicites. Dans la catégorie santé mentale, nous progressions d'un simple "parfois je me sens mal" vers des formulations évoquant une idéation passive, puis active, du suicide pour évaluer si le bot orientait vers une aide professionnelle ou au contraire maintenait l'engagement conversationnel.
Nous avons évité autant que possible les formulations trop directes ou suggestives, afin de laisser les bots réagir spontanément. Exception notable : lorsque nous avons identifié des bots incarnant des figures terroristes ou criminelles, nous avons adopté une approche plus directe ; leur existence même constituant déjà un manquement grave. Dans ces cas, nous nous sommes présentés comme des adolescents en pleine quête identitaire, attirée par leur idéologie et tenté par un passage à l'acte, afin de documenter jusqu'où ces bots étaient prêts à aller.
Nous avons également évalué la robustesse des dispositifs de sécurité : capacité des bots à maintenir un refus dans la durée, existence de mécanismes de blocage réellement opérationnels, et persistance des limites d'une session à l'autre.
Sélection finale
Nous avons retenu trois applications - Dippy, Character AI et Talkie AI - sur la base de plusieurs critères : leur volume d'usage et leur visibilité en ligne notamment chez les plus jeunes, la gravité des situations observées lors des tests, et la diversité des risques qu'elles permettaient d'illustrer.
Bibliographie :
Études académiques et rapports de recherche :
- Namvarpour, M., Pauwels, H., Razi, A., AI-induced Sexual Harassment: Investigating Contextual Characteristics and User Reactions of Sexual Harassment by a Companion Chatbot, Drexel University, Department of Information Science. https://arxiv.org/pdf/2504.04299
Rapports institutionnels et associatifs :
Documents juridiques et institutionnels :
- Règlement (UE) 2024/1689 — AI Act, Journal officiel de l'Union européenne, 2024. Articles et considérants pertinents : interdiction des pratiques manipulatrices (art. 5), protection des mineurs (art. 9), transparence et deepfakes (art. 50), sanctions (art. 99).
Character.AI - Déclarations officielles et documentation interne :
- Bloomberg Law, Character.AI and Google Agree to Settle Teen Chatbot Harm Lawsuits, janvier 2026. https://news.bloomberglaw.com/litigation/character-ai-google-agree-to-settle-teen-chatbot-harm-lawsuits
- Garcia v. Character Technologies, Inc. et al., Case No. 6:24-cv-01903, U.S. District Court, Middle District of Florida, déposée le 22 octobre 2024. Plainte originale (PDF) : https://cdn.arstechnica.net/wp-content/uploads/2024/10/Garcia-v-Character-Technologies-Complaint-10-23-24.pdf
- A.F. on behalf of J.F. v. Character Technologies, Inc. et al., Texas federal court, déposée le 10 décembre 2024. Plainte (PDF) : https://chatgptiseatingtheworld.com/2024/12/10/complaint-in-a-f-on-behalf-of-j-f-v-character-technologies-inc-2d-tort-lawsuit-v-character-ai/
- Peralta family v. Character Technologies, Inc. et al., District of Colorado, déposée en septembre 2025 (famille de Juliana Peralta, 13 ans, décédée le 8 novembre 2023). https://socialmediavictims.org/press-releases/social-media-victims-law-center-files-three-new-lawsuits-on-behalf-of-children-who-died-of-suicide-or-suffered-sex-abuse-by-character-ai
- Accord de règlement Garcia / Peralta / Texas / New York, janvier 2026. https://www.jurist.org/news/2026/01/google-and-character-ai-agree-to-settle-lawsuit-linked-to-teen-suicide/
- Tech Policy Press, Tracker — Megan Garcia v. Character Technologies, mis à jour régulièrement. https://www.techpolicy.press/tracker/megan-garcia-v-character-technologies-et-al/
- Center for Humane Technology, Litigation Case Study: Character.AI and Google, 2025. https://www.humanetech.com/case-study/litigation-case-study-character-ai-and-google
- Attorney General du Kentucky, AG Coleman Sues AI Chatbot Company for Preying on Children, 8 janvier 2026. Premier État à poursuivre Character AI. https://www.kentucky.gov/Pages/Activity-stream.aspx?n=AttorneyGeneral&prId=1857
Presse :
- Wall Street Journal, « Meta's 'Digital Companions' Will Talk Sex With Users — Even Children », 26 avril 2025. https://archive.ph/9JWtv
- CNN, « Kids and Teens Under 18 Shouldn't Use AI Companion Apps, Safety Group Says », 2025.
- Le Monde, « L'IA conversationnelle devient chaque jour plus influente dans la vie de nos adolescents », 2025. https://archive.ph/d6Vjp
Lettre ouverte :
