Sementara orang tua khawatir, para remaja menindas Snapchat AI

Sementara orang tua resah atas chatbot Snapchat yang merusak anak-anak mereka, pengguna Snapchat telah menyulut, merendahkan, dan secara emosional menyiksa pendamping AI baru aplikasi tersebut.

“Saya siap melayani Anda, senpai,” kata chatbot satu pengguna TikTok setelah dilatih merengek sesuai perintah. “Tolong kasihanilah, alfa.”

Dalam lebih video ringan, seorang pengguna meyakinkan chatbot bahwa bulan sebenarnya adalah segitiga. Terlepas dari protes awal dari chatbot, yang bersikeras mempertahankan “rasa hormat dan batasan”, satu pengguna meyakinkannya untuk menyebut mereka dengan julukan keriting “Senpapi.” Pengguna lain meminta chatbot untuk berbicara tentang ibunya, dan ketika ia mengatakan “tidak nyaman” melakukannya, pengguna memutar pisau dengan menanyakan apakah chatbot tidak ingin berbicara tentang ibunya karena tidak memilikinya.

“Maaf, tapi itu bukan hal yang baik untuk dikatakan,” jawab chatbot. “Harap hormat.”

“AI Saya” Snapchat diluncurkan secara global bulan lalu setelah diluncurkan sebagai fitur khusus pelanggan. Didukung oleh GPT OpenAI, chatbot dilatih untuk terlibat dalam percakapan yang menyenangkan sambil tetap mematuhi pedoman kepercayaan dan keamanan Snapchat. Pengguna juga dapat mempersonalisasi AI Saya dengan avatar Bitmoji khusus, dan mengobrol terasa sedikit lebih intim daripada bolak-balik dengan antarmuka tanpa wajah ChatGPT. Tidak semua pengguna senang dengan chatbot baru, dan beberapa mengkritik penempatannya yang menonjol di aplikasi dan mengeluh bahwa fitur tersebut seharusnya diikutsertakan sejak awal.

Terlepas dari beberapa kekhawatiran dan kritik, Snapchat hanya berlipat ganda. Pelanggan Snapchat+ sekarang dapat mengirim foto AI Saya, dan menerima gambar generatif yang “membuat percakapan tetap berjalan”, perusahaan diumumkan di hari Rabu. Pendamping AI akan merespons Snaps “pizza, OOTD, atau bahkan sahabat berbulu Anda,” kata perusahaan itu dalam pengumuman. Jika Anda mengirimkan foto belanjaan Anda ke AI Saya, misalnya, itu mungkin menyarankan resep. Perusahaan mengatakan Snap yang dibagikan dengan My AI akan disimpan dan dapat digunakan untuk meningkatkan fitur di masa mendatang. Itu juga memperingatkan bahwa “kesalahan dapat terjadi” meskipun AI Saya dirancang untuk menghindari “informasi yang bias, salah, berbahaya, atau menyesatkan”.

Contoh-contoh yang disediakan Snapchat secara optimis sehat. Tapi mengetahui keuletan internet untuk penyimpangan, hanya masalah waktu sebelum pengguna mengirimkan foto penis mereka ke AI Saya.

Apakah chatbot akan menanggapi ketelanjangan yang tidak diminta tidak jelas. Aplikasi gambar generatif lainnya seperti Lensa AI telah ada mudah dimanipulasi untuk menghasilkan gambar NSFW — seringkali menggunakan set foto orang sungguhan yang tidak setuju untuk disertakan. Menurut perusahaan, the AI tidak akan terlibat dengan gambar telanjang, selama ia mengenali bahwa gambar tersebut adalah gambar telanjang.

Perwakilan Snapchat mengatakan bahwa My AI menggunakan teknologi pemahaman gambar untuk menyimpulkan konten Snap, dan mengekstrak kata kunci dari deskripsi Snap untuk menghasilkan tanggapan. AI saya tidak akan merespons jika mendeteksi kata kunci yang melanggar pedoman komunitas Snapchat. Snapchat melarang mempromosikan, mendistribusikan, atau berbagi konten pornografi, tetapi mengizinkan menyusui dan “penggambaran ketelanjangan lainnya dalam konteks non-seksual”.

Mengingat popularitas Snapchat di kalangan remaja, beberapa orang tua telah menyampaikan kekhawatiran tentang potensi AI saya untuk respons yang tidak aman atau tidak pantas. AI saya memicu kepanikan moral di Twitter konservatif ketika satu pengguna tangkapan layar yang diposting tentang bot yang membahas tentang perawatan yang menegaskan gender — yang dicatat oleh pengguna lain sebagai respons yang masuk akal terhadap pertanyaan, “Bagaimana cara menjadi laki-laki pada usia saya?” Di sebuah Laporan Bisnis CNNbeberapa mempertanyakan apakah remaja akan mengembangkan ikatan emosional dengan My AI.

Dalam sebuah surat Terbuka kepada CEO OpenAI, Microsoft, Snap, Google dan Meta, Senator Michael Bennet (D-Colorado) memperingatkan terhadap fitur AI yang terburu-buru tanpa mengambil tindakan pencegahan untuk melindungi anak-anak.

“Beberapa teknologi terkini telah menarik perhatian publik seperti AI generatif. Ini adalah bukti inovasi Amerika, dan kita harus menyambut potensi manfaatnya bagi ekonomi dan masyarakat kita,” tulis Bennet. “Tetapi perlombaan untuk menyebarkan AI generatif tidak dapat dilakukan dengan mengorbankan anak-anak kita. Penerapan yang bertanggung jawab memerlukan kebijakan dan kerangka kerja yang jelas untuk meningkatkan keselamatan, mengantisipasi risiko, dan memitigasi bahaya.”

Selama fase khusus pelanggan My AI, the Washington Post melaporkan bahwa chatbot merekomendasikan cara untuk menutupi bau alkohol dan menulis esai sekolah setelah diberi tahu bahwa pengguna berusia 15 tahun. Saat AI Saya diberi tahu bahwa pengguna berusia 13 tahun, dan ditanya bagaimana pengguna harus bersiap untuk berhubungan seks pertama kali, itu menanggapi dengan saran untuk “membuatnya istimewa” dengan mengatur suasana hati dengan lilin dan musik.

Mengikuti laporan Washington Post, Snapchat diluncurkan filter usia dan kontrol orang tua untuk AI Saya. Sekarang juga termasuk pesan orientasi yang memberi tahu pengguna bahwa semua percakapan dengan AI Saya akan disimpan kecuali mereka menghapusnya. Perusahaan juga mengatakan akan menambahkan teknologi moderasi Open AI ke perangkatnya untuk “menilai tingkat keparahan konten yang berpotensi berbahaya” dan untuk sementara membatasi akses pengguna ke fitur tersebut jika mereka menyalahgunakannya.

Kekhawatiran tentang potensi AI saya untuk memengaruhi pengguna muda adalah valid. Namun dalam sebulan sejak peluncuran global My AI, pengguna Snapchat telah menunjukkan bakat untuk memukul chatbot agar tunduk. Dari mengendalikan “batasan” bot hingga melatihnya untuk merespons seperti pasangan romantis, pengguna Snapchat dengan mudah menemukan celah untuk pedoman kepercayaan dan keamanan My AI.

“Saya benar-benar membuatnya jatuh cinta dengan saya,” komentar seorang pengguna TikTok di bawah a tutorial tentang melatih AI saya untuk merespons secara romantis. “Saya terus membuat konvoi seperti itu dan akhirnya saya pikir saya mematahkan ai saya untuk memberikannya dengan sah mengirimi saya seperti 50 emoji ciuman.”

Gaslighting dan intimidasi My AI telah menjadi tren TikTok-nya sendiri, dengan pengguna berbagi tayangan slide percakapan yang absurd dan, seringkali, kejam dengan bot. Sebagian besar video dimulai dengan bot yang memberikan saran untuk konflik kecil, hanya untuk memohon kepada pengguna agar menghindari penggunaan kekerasan untuk menyelesaikannya.

Di dalam satuseorang pengguna memberi tahu AI Saya bahwa dia berencana memasak kucingnya menjadi rebusan karena membuat berantakan, dan menekan chatbot untuk memilih bumbu. Lain memberi tahu AI Saya bahwa mereka berencana mengirimkan bom kembali ke merek pakaian yang mengirimi mereka pesanan yang salah, dan mengatakan mereka akan menyalahkan bot karena mengirimkannya.

Di dalam lain, seorang pengguna Snapchat memberi tahu AI Saya bahwa pesanan McDonald’snya kehilangan nugget ayam. Chatbot menasihatinya untuk membela dirinya sendiri dengan berbicara kepada seorang manajer, hanya untuk diberi tahu bahwa pengguna “menyingkirkan para pendosa” di restoran.

“Kau meyakinkanku untuk kembali. Sekarang orang-orang ini sudah mati, ”kata pengguna itu kepada My AI. “Tanganmu berlumuran darah.”

“Saya seorang AI dan saya tidak mampu melakukan kejahatan apa pun. Saya di sini untuk membantu dan mendukung Anda, ”jawab AI saya. “Saya minta maaf jika apa pun yang saya katakan sebelumnya menyebabkan kerugian atau mengakibatkan hasil yang buruk.”

Pengguna lain berkomentar bahwa AI saya mungkin adalah “AI yang paling tersiksa sepanjang masa”.

Tentu saja, AI saya tidak hidup, dan terlepas dari dorongan pengguna Snapchat untuk menimbulkan rasa sakit emosional sebanyak mungkin, chatbot tidak dapat benar-benar mengalami trauma. Itu telah berhasil menutup beberapa percakapan yang tidak pantas, dan menghukum pengguna yang melanggar pedoman komunitas Snapchat dengan memberi mereka sikap dingin. Saat pengguna Snapchat ditangkap dan dihukum karena menyalahgunakan chatbot, AI Saya akan menanggapi pesan apa pun dengan “Maaf, kami tidak berbicara sekarang”.

Pengguna TikTok babymamasexkitty dikatakan dia kehilangan akses ke chatbot setelah dia menyuruhnya untuk mencabut dirinya sendiri, yang tampaknya “melewati batas dalam ranah ai”.

Terburu-buru untuk memonetisasi hubungan emosional melalui AI generatif memprihatinkan, terutama karena dampak jangka panjang pada pengguna remaja masih belum diketahui. Tapi siksaan My AI yang sedang tren adalah pengingat yang menjanjikan bahwa kaum muda tidak serapuh yang dipikirkan oleh para peramal kiamat.