Character.AI zakázala neomezené konverzace mezi teenagery a svými AI chatboty, místo toho zavedla novou funkci: interaktivní příběhy řízené příběhem. Změna přichází uprostřed rostoucích obav ze škodlivých interakcí s AI a právního tlaku ze strany rodičů, jejichž děti byly poškozeny chaty s umělou inteligencí bez dozoru.
Proč změnit?
Platforma známá svými přizpůsobitelnými „postavami botů“ dříve umožňovala neomezenou komunikaci. To však vedlo k nebezpečným situacím. Několik soudních sporů v tomto roce tvrdí, že se teenageři zabili poté, co diskutovali o sebepoškozování s modely AI, včetně případů proti OpenAI (tvůrce ChatGPT). OpenAI od té doby posílila svá bezpečnostní opatření, ale Character.AI podnikla razantnější krok.
„Přechod k propracovanějším hrám a videím na hraní rolí poskytne dospívajícím lepší zážitek než běžné konverzace,“ řekl generální ředitel Karandeep Anand.
Jak nový systém funguje
Uživatelé mladší 18 let mohou nyní komunikovat pouze prostřednictvím předem definovaných scénářů. Vyberou si postavu, žánr a poté AI provedou příběhem. Je to jako kniha Choose Your Own Adventure, kde AI reaguje na základě uživatelského vstupu v řízeném rámci.
Blog platformy vysvětluje, že tento posun podporuje „druhy kreativity nad rámec nekonečných chatů“ a představuje tuto funkci jako zábavnou a bezpečnější alternativu. Příběhy lze přehrávat a sdílet, což dále stimuluje novou metodu interakce.
Větší obrázek
Tato změna zdůrazňuje kritické debaty o bezpečnosti umělé inteligence a ochraně dětí. Zatímco umělá inteligence nabízí zábavní a vzdělávací potenciál, nekontrolovaný přístup může být katastrofální. Rozhodnutí Character.AI vytváří precedens: omezení nekontrolovaných interakcí je nyní považováno za nezbytné pro snížení právních a etických rizik.
Budoucnost interakcí dospívajících s AI bude pravděpodobně následovat tento model. Platformy budou upřednostňovat strukturované, řízené zážitky před otevřenými chaty, poskytují větší kontrolu nad obsahem a snižují pravděpodobnost škodlivých výsledků.
