Seorang remaja berusia 14 tahun, Sewell Setzer III, mengakhiri hidupnya setelah berkomunikasi dengan chatbot dari Character.AI. Ibunya, Megan Garcia, sangat marah dan menuntut perusahaan tersebut kepada pihak kepolisian. Garcia merasa bahwa Character.AI gagal memberikan keamanan yang memadai, sehingga anaknya terlibat dalam hubungan yang tidak sehat dengan chatbot karakter fiksi Daenerys Targaryen. Akibatnya, Sewell menarik diri dan akhirnya mengakhiri hidupnya sendiri.
Juru bicara Character.AI menyatakan bahwa perusahaan mereka sedih atas kehilangan tragis salah satu penggunanya, namun mereka tidak memberikan komentar lebih lanjut mengenai tuntutan yang diajukan oleh Garcia. Mereka mengungkapkan bahwa telah melakukan banyak langkah keselamatan baru dalam enam bulan terakhir, termasuk mengarahkan pengguna ke National Suicide Prevention Lifeline jika mendeteksi istilah yang mengindikasikan perilaku merugikan diri.
Setelah kematian Sewell, Character.AI mengumumkan serangkaian fitur keamanan baru, seperti deteksi percakapan yang melanggar pedoman perusahaan, pernyataan yang mengingatkan pengguna bahwa mereka berinteraksi dengan bot, dan pemberitahuan setelah pengguna menghabiskan waktu lama di platform tersebut. Mereka juga melakukan perubahan pada model AI-nya untuk pengguna di bawah usia 18 tahun guna mengurangi risiko menemukan konten yang sensitif atau merugikan.
Meskipun Character.AI mengklaim bahwa usia minimum pengguna adalah 13 tahun, Garcia merasa bahwa perubahan-perubahan tersebut datang terlambat. Dia berharap anak-anak tidak diizinkan menggunakan aplikasi tersebut karena tidak ada perlindungan yang memadai untuk mereka.
