Character.AI heeft gesprekken met een open einde tussen tieners en zijn AI-chatbots verboden, maar heeft in plaats daarvan een nieuwe functie geïntroduceerd: interactieve, begeleide verhalen. Deze verandering komt te midden van toenemende zorgen over schadelijke AI-interacties en juridische druk van ouders wier kinderen negatief zijn beïnvloed door AI-chats zonder toezicht.
Waarom deze verandering?
Het platform, bekend om zijn aanpasbare ‘karakter’-bots, stond voorheen onbeperkte communicatie toe. Dit leidde echter tot gevaarlijke situaties. Verschillende rechtszaken dit jaar beweren dat tieners door zelfmoord zijn omgekomen nadat ze zelfbeschadiging hadden besproken met AI-modellen, waaronder zaken tegen OpenAI (de maker van ChatGPT). OpenAI heeft sindsdien de veiligheidsmaatregelen verhoogd, maar Character.AI heeft een drastischer stap gezet.
“De stap naar zorgvuldiger ontworpen rollenspellen en video’s zal tieners een betere ervaring bieden dan gesprekken”, aldus CEO Karandep Anand.
Hoe het nieuwe systeem werkt
Gebruikers onder de 18 jaar kunnen nu alleen communiceren via vooraf gedefinieerde scenario’s. Ze selecteren een personage, een genre en begeleiden de AI vervolgens door een verhaal. Dit lijkt op een boek ‘Kies je eigen avontuur’, waarin de AI reageert op basis van gebruikersinvoer binnen gecontroleerde grenzen.
In de blogpost van het platform wordt uitgelegd dat deze verschuiving ‘soorten creativiteit ondersteunt die verder gaan dan chatten met een open einde’, waarbij de functie wordt geframed als entertainment en een veiliger alternatief. De verhalen zijn herspeelbaar en deelbaar, wat de nieuwe interactiemethode verder stimuleert.
Het grotere geheel
Deze verandering benadrukt een kritisch debat over de veiligheid van AI en de bescherming van kinderen. Hoewel AI entertainment en educatief potentieel biedt, kan ongecontroleerde toegang catastrofaal zijn. Het besluit van Character.AI schept een precedent: het beperken van interactie zonder toezicht wordt nu als noodzakelijk gezien om juridische en ethische risico’s te beperken.
De toekomst van AI-interactie tussen tieners zal waarschijnlijk dit model volgen. Platforms zullen prioriteit geven aan gestructureerde, begeleide ervaringen boven chats met een open einde, waardoor meer controle over de inhoud wordt gegarandeerd en de kans op schadelijke resultaten wordt verkleind.
