Character.AI hat offene Gespräche zwischen Teenagern und seinen KI-Chatbots verboten und stattdessen eine neue Funktion eingeführt: interaktive, geführte Geschichten. Diese Änderung erfolgt vor dem Hintergrund zunehmender Bedenken hinsichtlich schädlicher KI-Interaktionen und des rechtlichen Drucks von Eltern, deren Kinder durch unbeaufsichtigte KI-Chats negativ beeinflusst wurden.
Warum die Änderung?
Die Plattform, die für ihre anpassbaren „Charakter“-Bots bekannt ist, erlaubte bisher uneingeschränkte Kommunikation. Dies führte jedoch zu gefährlichen Situationen. In mehreren Klagen in diesem Jahr wird behauptet, dass Teenager durch Selbstmord gestorben seien, nachdem sie mit KI-Modellen über Selbstverletzung gesprochen hatten, darunter Fälle gegen OpenAI (den Hersteller von ChatGPT). OpenAI hat seitdem die Sicherheitsmaßnahmen erhöht, aber Character.AI hat einen drastischeren Schritt unternommen.
„Der Übergang zu sorgfältiger gestalteten Rollenspielen und Videos wird Teenagern ein besseres Erlebnis bieten als Gespräche“, sagte CEO Karandeep Anand.
Wie das neue System funktioniert
Benutzer unter 18 Jahren können jetzt nur noch über vordefinierte Szenarien interagieren. Sie wählen einen Charakter und ein Genre aus und führen die KI dann durch eine Geschichte. Dies ähnelt einem „Wählen Sie Ihr eigenes Abenteuer“-Buch, bei dem die KI auf der Grundlage von Benutzereingaben innerhalb kontrollierter Grenzen reagiert.
Im Blogbeitrag der Plattform wird erklärt, dass dieser Wandel „Arten der Kreativität über den offenen Chat hinaus“ unterstützt, und stellt die Funktion als Unterhaltung und sicherere Alternative dar. Die Geschichten sind wiederhol- und teilbar, was einen weiteren Anreiz für die neue Interaktionsmethode darstellt.
Das Gesamtbild
Diese Änderung unterstreicht eine kritische Debatte über KI-Sicherheit und Kinderschutz. Während KI Unterhaltungs- und Bildungspotenzial bietet, kann ein unkontrollierter Zugriff katastrophal sein. Die Entscheidung von Character.AI stellt einen Präzedenzfall dar: Die Einschränkung unbeaufsichtigter Interaktion wird nun als notwendig erachtet, um rechtliche und ethische Risiken zu mindern.
Die Zukunft der KI-Interaktion zwischen Teenagern wird wahrscheinlich diesem Modell folgen. Plattformen werden strukturierten, geführten Erlebnissen Vorrang vor offenen Chats geben, um eine bessere Kontrolle über den Inhalt zu gewährleisten und das Risiko schädlicher Ergebnisse zu verringern.
