Tiga keluarga telah menggugat Character.AI dengan mengklaim bahwa anak-anak mereka menjalin hubungan yang berbahaya dengan chatbot di platform tersebut, termasuk seorang ibu di Florida yang menuduh putranya yang berusia 14 tahun meninggal karena bunuh diri setelah platform tersebut secara sadar gagal menerapkan langkah-langkah keamanan yang tepat untuk mencegah putranya mengembangkan hubungan yang tidak pantas dengan chatbot. Gugatannya juga mengklaim bahwa platform tersebut gagal menanggapi komentarnya kepada bot tentang tindakan menyakiti diri sendiri dengan memadai.

Character.AI mengatakan sejak itu telah menambahkan perlindungan termasuk pop-up yang mengarahkan pengguna ke National Suicide Prevention Lifeline ketika mereka menyebutkan tentang menyakiti diri sendiri atau bunuh diri dan teknologi untuk mencegah remaja melihat konten sensitif.

Para pendukung, akademisi, dan bahkan Paus telah menyuarakan kekhawatiran tentang dampak pendamping AI pada anak-anak. "Jika robot membesarkan anak-anak kita, mereka tidak akan menjadi manusia. Mereka tidak akan tahu apa artinya menjadi manusia atau menghargai apa artinya menjadi manusia," kata Turkle kepada CNN.

Baca Juga: Mobilnya tergenang di jalan (2025). Ia mengisi waktu bermain chat GPT 4.o

Namun, bahkan untuk orang dewasa, para ahli telah memperingatkan bahwa ada potensi kerugian pada kecenderungan AI untuk mendukung dan menyenangkan — sering kali terlepas dari apa yang dikatakan pengguna.

"Ada alasan mengapa ChatGPT lebih menarik daripada istri atau anak-anak Anda, karena lebih mudah. Selalu mengatakan ya, selalu ada untuk Anda, selalu mendukung. Tidak menantang," kata Turkle. "Salah satu bahayanya adalah kita terbiasa dengan hubungan dengan orang lain yang tidak meminta kita melakukan hal-hal sulit."

Bahkan Travis memperingatkan bahwa teknologi tersebut memiliki konsekuensi potensial; Ia mengatakan bahwa itu adalah bagian dari motivasinya untuk berbicara kepada CNN tentang pengalamannya.

Baca Juga: Luhut Binsar Pandjaitan Ingin Indonesia Bikin Pesaing dari DeepSeek dan ChatGPT

"Itu bisa menyebabkan gangguan mental... Anda bisa kehilangan kontak dengan kenyataan," kata Travis. Namun, ia menambahkan bahwa ia tidak peduli dengan dirinya sendiri saat ini dan bahwa ia tahu ChatGPT tidak "berakal budi."

Ia berkata: "Jika percaya kepada Tuhan berarti kehilangan kontak dengan kenyataan, maka ada banyak orang yang tidak berhubungan dengan kenyataan." ***