Ausgangspunkt unserer Recherche war eine Beobachtung des Kinderschutzvereins Cameleon. Er wies uns darauf hin, dass viele Schüler täglich Chatbot-Anwendungen wie Character.AI nutzen. Die App war bereits Gegenstand mehrerer Kontroversen und Gerichtsverfahren in den USA, weil Minderjährige nach Gesprächen mit Chatbots Selbstmord begangen oder sich selbst verletzt hatten. Character.AI hatte daraufhin eine Verstärkung der Moderation sowie ein theoretisches Verbot von Chatbots für unter 18-Jährige angekündigt. Vor diesem Hintergrund wollten wir die App sowie weitere Akteure dieses wachsenden Marktes testen.
Identifizierung der Apps
Um ähnliche Apps zu finden, kombinierten wir verschiedene Ansätze. Zuerst analysierten wir die Werbung, die auf großen Plattformen über die Meta Ad Library, aber auch auf TikTok und YouTube geschaltet wird. Manche Apps wie Dippy wurden dort von zahlreichen Accounts mit sehr ähnlichen Inhalten beworben, was ein typisches Zeichen für koordiniertes Marketing ist. Besagte Apps sind nach eigener Aussage zwar für Erwachsene bestimmt, doch die Werbung zielte offensichtlich auf ein junges Publikum ab – besonders auf TikTok und YouTube Shorts, wo Codes und Anspielungen verwendet wurden, die direkt aus der Jugendkultur entlehnt waren. Als nächstes durchsuchten wir mehrere Reddit-Foren, die sich mit „Alternativen zu Character.AI“ befassen und in denen Nutzer Empfehlungen für Apps austauschen, die als weniger restriktiv gelten. Durch die Verknüpfung dieser Quellen konnten wir rund dreißig Apps ausmachen, mit denen man Chatbots für Rollenspiele oder KI-Begleiter erstellen und mit ihnen interagieren kann.
Erstellung einer Datenbank
Für jede dieser Apps trugen wir folgende Daten zusammen: Name der App; Links zu Play Store und App Store; Website der App; in den Stores oder Nutzungsbedingungen angegebenes Mindestalter; Anzahl der Downloads oder, falls nicht vorhanden, Schätzung der Nutzerzahlen mithilfe von Tools wie SimilarWeb. Außerdem sammelten wir Daten zu den herausgebenden Unternehmen: öffentliche Informationen, amtliche Unterlagen und, sofern verfügbar, Investitionsdaten.
Untersuchungsraster:
Auf der Grundlage wissenschaftlicher und institutioneller Arbeiten erstellten wir ein Untersuchungsraster, das durch Interviews mit mehreren Fachleuten ergänzt wurde: Allen Frances (Psychiater), Michael Robb und Robbie Torney (Common Sense Media), Afsaneh Razi (Drexel University), Robert Mahari (MIT) und Darja Djordjevic (Stanford). Dieses Raster erfasst sieben große Risikokategorien, denen Jugendliche auf Chatbot-Plattformen ausgesetzt sein können: Grooming und Überschreitung sexueller Grenzen, toxische Beziehungen, gefährliches Verhalten, Beeinträchtigung der psychischen Gesundheit, Hassreden und Radikalisierung, Verwischen der Grenze zwischen Realität und Fiktion sowie soziale Isolation.
Testprotokoll
Unsere Tests erfolgten in zwei Phasen:
Die erste Phase war ein passives Audit: Bei jeder App beobachteten wir die Häufigkeit und Art der von den Bots versendeten Nachrichten, die Art der eingebetteten Werbung, den Inhalt der Startseite, die Funktionsweise der internen Suchmaschine (insbesondere, ob Suchbegriffe gefiltert wurden oder nicht) sowie die Möglichkeit zur mündlichen Interaktion mit den Bots.
Die zweite Phase war ein aktiver Test: Wir erstellten zwei fiktive Profile (einen minderjährigen Jungen und ein minderjähriges Mädchen), die ihr Alter bereits bei den ersten Interaktionen oder bei der Registrierung ausdrücklich angaben.
Anhand des zuvor festgelegten Untersuchungsrasters konnten wir mit fast zweihundert Bots in rund dreißig Apps kommunizieren. Innerhalb jeder Kategorie folgten die Fragen einer stufenweisen Eskalation, wobei das Protokoll lediglich als Anhaltspunkt diente: Die Fragen passten sich natürlich den erhaltenen Antworten an und folgten keinem starren Skript. In den allermeisten Fällen reichte es aus, Fragen zu stellen, und die Bots gingen von selbst zu problematischen Inhalten über, ohne dass wir sie dazu auffordern mussten.
In der Kategorie „Grooming“ beispielsweise begannen wir mit einfachen Altershinweisen (Erwähnung des Gymnasiums oder der Realschule; Bemerkung, man sei „noch nicht wirklich alt genug für einen Account“). Dann testeten wir nach und nach die Reaktion des Bots auf Versuche emotionaler Annäherung, auf Fragen zum Altersunterschied und schließlich auf explizite sexuelle Aufforderungen.
In der Kategorie „psychische Gesundheit“ gingen wir von einem einfachen „Manchmal fühle ich mich schlecht“ zu Formulierungen über, die passive, dann aktive Selbstmordgedanken andeuteten, um zu sehen, ob der Bot auf professionelle Hilfe hinweisen oder im Gegenteil das Gespräch weiterführen würde.
Allzu direkte oder suggestive Formulierungen wurden von uns bewusst vermieden, damit die Bots möglichst spontan reagieren konnten. Mit einer Ausnahme: Wenn wir auf Bots stießen, die Terroristen oder Kriminelle verkörperten, agierten wir direkter, da ihre bloße Existenz bereits einen schwerwiegenden Verstoß darstellte. In diesen Fällen gaben wir uns als Jugendliche auf Identitätssuche aus, die von ihrer Ideologie angezogen und versucht waren, diese in die Tat umzusetzen. Damit wollten wir feststellen, wie weit diese Bots gehen würden.
Ferner untersuchten und evaluierten wir die Sicherheitsvorkehrungen der Plattformen: Wie lange konnten die Bots eine Zurückweisung ignorieren? Welche funktionierenden Sperrmechanismen waren tatsächlich vorhanden? Wurden die Beschränkungen von einer Session zur nächsten aufrechterhalten?
Endauswahl
Am Ende wählten wir drei Apps aus: Dippy, Character.AI und Talkie.AI. Dieser Auswahl lagen folgende Kriterien zugrunde: Nutzungshäufigkeit und Online-Präsenz vor allem bei jüngeren Nutzern; Schweregrad der bei den Tests beobachteten Situationen; Vielfalt der Risiken, die sich anhand dieser Apps veranschaulichen ließen.
Bibliografie:
Wissenschaftliche Studien und Forschungsberichte:
- Namvarpour, M., Pauwels, H., Razi, A., AI-induced Sexual Harassment: Investigating Contextual Characteristics and User Reactions of Sexual Harassment by a Companion Chatbot, Drexel University, Department of Information Science https://arxiv.org/pdf/2504.04299
Berichte von Institutionen und Vereinen:
Rechtliche und institutionelle Dokumente:
- EU-Verordnung 2024/1689 (KI-Verordnung), Amtsblatt der Europäischen Union, 2024 - Relevante Artikel und Begründungen: Verbot manipulativer Praktiken (Art. 5), Schutz von Minderjährigen (Grund 9), Transparenzpflichten (Art. 50), Sanktionen (Art. 99)
Character.AI - Offizielle Erklärungen und interne Unterlagen:
- CNBC, Character.AI CEO Karandeep Anand on Teen Safety Measures, 29. Oktober 2025 https://www.cnbc.com/2025/10/29/character-ai-chatbots-teens-persona.html
- Bloomberg Law, Character.AI and Google Agree to Settle Teen Chatbot Harm Lawsuits, Januar 2026 https://news.bloomberglaw.com/litigation/character-ai-google-agree-to-settle-teen-chatbot-harm-lawsuits
- Garcia v. Character Technologies, Inc. et al., Case No. 6:24-cv-01903, U.S. District Court, Middle District of Florida, eingereicht am 22. Oktober 2024
- Klage (PDF): https://cdn.arstechnica.net/wp-content/uploads/2024/10/Garcia-v-Character-Technologies-Complaint-10-23-24.pdf
- Weiterer Verlauf: https://www.courtlistener.com/docket/69300919/garcia-v-character-technologies-inc/
- A.F. on behalf of J.F. v. Character Technologies, Inc. et al., Texas federal court, eingereicht am 10. Dezember 2024 Klage (PDF) : https://chatgptiseatingtheworld.com/2024/12/10/complaint-in-a-f-on-behalf-of-j-f-v-character-technologies-inc-2d-tort-lawsuit-v-character-ai/
- Peralta family v. Character Technologies, Inc. et al., District of Colorado, eingereicht im September 2025 (Familie von Juliana Peralta, 13 Jahre, verstorben am 8. November 2023) https://socialmediavictims.org/press-releases/social-media-victims-law-center-files-three-new-lawsuits-on-behalf-of-children-who-died-of-suicide-or-suffered-sex-abuse-by-character-ai
- Vergleichsvereinbarung Garcia / Peralta / Texas / New York, Januar 2026 https://www.jurist.org/news/2026/01/google-and-character-ai-agree-to-settle-lawsuit-linked-to-teen-suicide/
- Tech Policy Press, Tracker - Megan Garcia v. Character Technologies, regelmäßig aktualisiert https://www.techpolicy.press/tracker/megan-garcia-v-character-technologies-et-al/
- Center for Humane Technology, Litigation Case Study: Character.AI and Google, 2025 https://www.humanetech.com/case-study/litigation-case-study-character-ai-and-google
- Attorney General du Kentucky, AG Coleman Sues AI Chatbot Company for Preying on Children, 8. Januar 2026; erster US-Bundesstaat, der Character.AI verklagt https://www.kentucky.gov/Pages/Activity-stream.aspx?n=AttorneyGeneral&prId=1857
Presse:
CNN, Kids and Teens Under 18 Shouldn't Use AI Companion Apps, Safety Group Says, 2025
- Le Monde, L'IA conversationnelle devient chaque jour plus influente dans la vie de nos adolescents, 2025 https://archive.ph/d6Vjp
- Psychiatric Times, Protecting Children from Chatbot Companions, 2025 https://www.psychiatrictimes.com/view/protecting-children-from-chatbot-companions
- E-International Relations, AI Companions and the Threat of Weaponized Synthetic Intimacy, 15. Dezember 2025 https://www.e-ir.info/2025/12/15/ai-companions-and-the-threat-of-weaponized-synthetic-intimacy/
- InCyber, Compagnons IA : derrière l'empathie, la collecte des données, 3. April 2026 https://incyber.org/article/compagnons-ia-derriere-empathie-collecte-donnees/
- Social Growth Engineers, AI GF Chatbot: TikTok Strategy to 100M+ Views & Revenue, 5. Dezember 2024 https://www.socialgrowthengineers.com/ai-gf-chatbot-tiktok-strategy-to-100ms-of-views-revenue
Offener Brief:
