Character.AI telah melarang percakapan terbuka antara remaja dan chatbot AI-nya, sebagai gantinya memperkenalkan fitur baru: cerita interaktif dan terpandu. Perubahan ini terjadi di tengah meningkatnya kekhawatiran mengenai interaksi AI yang berbahaya dan tekanan hukum dari orang tua yang anaknya terkena dampak negatif dari obrolan AI tanpa pengawasan.
Mengapa Harus Berubah?
Platform ini, yang dikenal dengan bot “karakter” yang dapat disesuaikan, sebelumnya mengizinkan komunikasi tanpa batas. Namun, hal ini menimbulkan situasi berbahaya. Beberapa tuntutan hukum tahun ini menuduh remaja meninggal karena bunuh diri setelah mendiskusikan tindakan menyakiti diri sendiri dengan model AI, termasuk kasus terhadap OpenAI (pembuat ChatGPT). OpenAI telah meningkatkan langkah-langkah keamanan, namun Character.AI mengambil langkah yang lebih drastis.
“Pergerakan menuju permainan peran dan video yang dirancang dengan lebih hati-hati akan memberikan pengalaman yang lebih baik bagi remaja dibandingkan percakapan,” kata CEO Karandeep Anand.
Cara Kerja Sistem Baru
Pengguna di bawah 18 tahun kini hanya dapat berinteraksi melalui skenario yang telah ditentukan sebelumnya. Mereka memilih karakter, genre, dan kemudian memandu AI melalui sebuah cerita. Ini mirip dengan buku “Pilih Petualangan Anda Sendiri”, di mana AI merespons berdasarkan masukan pengguna dalam batas-batas yang terkendali.
Postingan blog platform tersebut menjelaskan bahwa perubahan ini mendukung “jenis kreativitas di luar obrolan terbuka”, yang menjadikan fitur tersebut sebagai hiburan dan alternatif yang lebih aman. Kisah-kisahnya dapat diputar ulang dan dibagikan, sehingga semakin mendorong metode interaksi baru.
Gambaran Lebih Besar
Perubahan ini menyoroti perdebatan kritis mengenai keselamatan AI dan perlindungan anak. Meskipun AI menawarkan potensi hiburan dan pendidikan, akses yang tidak terkendali dapat menjadi bencana besar. Keputusan Character.AI menjadi preseden: membatasi interaksi tanpa pengawasan kini dipandang perlu untuk mengurangi risiko hukum dan etika.
Masa depan interaksi AI remaja kemungkinan besar akan mengikuti model ini. Platform akan memprioritaskan pengalaman yang terstruktur dan terpandu dibandingkan obrolan terbuka, sehingga memastikan kontrol yang lebih besar terhadap konten dan mengurangi kemungkinan hasil yang merugikan.
