Meta memiliki masalah chatbot seksual. Ini bukan risiko yang layak diambil.

Jika saya menjalankan meta, saya akan melakukan beberapa hal secara berbeda, dimulai dengan meningkatkan pencarian pasar Facebook. Tapi satu hal besar yang akan saya lakukan pada hari pertama? Singkirkan semua chatbot pendamping AI yang dibuat pengguna. Mereka hanya akan menjadi sakit kepala bagi meta.
Beberapa contoh seberapa besar sakit kepala potensial masuk Laporan terbaru The Wall Street Journal Tentang bagaimana AI Chatbots yang bersuara selebriti dapat didorong ke dalam peran seksual-bahkan dengan pengguna yang mengatakan mereka remaja.
Reporter jurnal Jeff Horwitz menemukan bahwa dengan cajoling yang tepat, sebuah akun yang menyamar sebagai pengguna berusia 14 tahun bisa mendapatkan bot yang disuarakan oleh John Cena untuk terlibat dalam obrolan peran di mana ia berpura-pura ditangkap dengan tuduhan pemerkosaan hukum. (Meta menambahkan banyak chatbots AI tahun lalu yang disuarakan oleh selebriti sungguhan, termasuk bintang WWE.)
Jelas, ini buruk. Meta mengatakan kepada WSJ: “Kasus penggunaan produk ini dengan cara yang dijelaskan begitu diproduksi sehingga bukan hanya pinggiran, itu hipotetis.” Ini adalah tampilan yang buruk untuk meta, dan meskipun John Cena tidak menanggapi permintaan komentar dalam cerita WSJ, saya pikir kita bisa menganggap dia tidak senang ada versi suaranya yang dihasilkan AI yang berpura-pura merayu seorang remaja.
Artikel tersebut melaporkan bahwa Mark Zuckerberg secara pribadi mendorong chatbots AI ini untuk dilonggarkan.
Zuckerberg enggan memaksakan batasan tambahan pada pengalaman remaja, awalnya memveto proposal untuk membatasi bot “persahabatan” sehingga mereka hanya dapat diakses oleh remaja yang lebih tua. Namun, setelah kampanye lobi yang diperpanjang yang meminta lebih banyak eksekutif senior akhir tahun lalu, bagaimanapun, Zuckerberg menyetujui pembatasan akun remaja terdaftar dari mengakses bot yang dibuat pengguna, menurut karyawan dan dokumen kontemporer.
Seorang juru bicara meta membantah bahwa Zuckerberg telah menolak menambahkan perlindungan.
Seorang juru bicara Meta mengatakan kepada Business Insider bahwa setiap konten seksual dengan AIS yang bersuara selebriti adalah sebagian kecil dari penggunaan keseluruhan mereka, dan bahwa perubahan telah dilakukan untuk mencegah pengguna yang lebih muda terlibat dalam hal-hal yang dilaporkan dalam jurnal.
Tapi sebanyak itu memukau melihat obrolan dari Ai John Cena mengatakan hal-hal kotor, saya pikir ada hal yang jauh lebih besar yang terjadi. Chatbots yang dibuat pengguna di Meta AI berantakan. Melihat yang paling populer, mereka sering berorientasi pada romansa, dengan wanita cantik sebagai gambar.
Inilah yang muncul di halaman “temukan AIS” saya:
Penawaran Chatbot Meta AI, dibuat oleh pengguna. Orang dalam bisnis
(Untuk lebih jelasnya, saya tidak berbicara tentang asisten meta AI yang muncul ketika Anda mencari di Instagram atau Facebook – ada utilitas yang cukup jelas untuk itu. Saya berbicara tentang karakter yang digunakan untuk kesenangan/romansa.)
Jika saya menjalankan meta, saya ingin tinggal sejauh mungkin dari bisnis chatbot pendamping. Ini tampak seperti bisnis yang sangat buruk untuk perusahaan yang semuanya menjadi satu-satu seperti Meta-tidak harus bisnis yang buruk secara finansial, tetapi bisnis yang sangat berduri secara etis. Ini salah satu yang mungkin akan menyebabkan lebih banyak dan lebih banyak berita utama.
Musim gugur yang lalu, orang tua menggugat salah satu layanan AI Roleplay terkemuka. Dia mengatakan putranya yang masih remaja bunuh diri setelah terjerat dengan teman AI. Perusahaan, Karakter.aimengajukan mosi untuk mengabaikan kasus tersebut dalam sidang pada hari Senin. Seorang perwakilan untuk Karakter.ai memberi tahu BI pada hari Senin bahwa itu tidak akan mengomentari litigasi yang tertunda. Sebuah pernyataan mengatakan tujuannya adalah “untuk menyediakan platform yang menarik dan aman.”
Para pendukung AI Chatbots berpendapat bahwa mereka memberikan pengalaman positif untuk eksplorasi emosional, kesenangan, atau hal -hal baik.
Tetapi pendapat saya adalah bahwa chatbotes peran ini menarik terutama untuk dua kelompok yang rentan: orang -orang muda dan orang -orang yang sangat kesepian. Dan itu bukan dua kelompok yang harus diinginkan Meta dalam bisnis melayani teknologi baru yang tidak diketahui konsekuensi.
Tidak ada penelitian yang jelas tentang bagaimana chatbots ini dapat memengaruhi remaja yang lebih muda atau orang dewasa yang rentan dalam beberapa cara (depresi, berjuang, dll.).
Saya baru -baru ini berbicara dengan Ying Xu, asisten profesor AI dalam pendidikan pendidikan di Harvard, tentang seperti apa penelitian saat ini tentang anak -anak yang menggunakan chatbots.
“Ada penelitian yang sudah mulai mengeksplorasi tautan antara chatgpt/llms dan hasil jangka pendek, seperti mempelajari konsep atau keterampilan tertentu dengan AI,” katanya kepada saya melalui email. “Tapi ada sedikit bukti tentang hasil emosional jangka panjang, yang membutuhkan lebih banyak waktu untuk mengembangkan dan mengamati.”
Ada banyak bukti anekdotal yang menunjukkan investasi emosional dalam chatbot AI bisa salah.
The New York Times melaporkan Pada seorang wanita dewasa yang menghabiskan $ 200 sebulan dia tidak mampu pada versi yang ditingkatkan dari AI Chatbot yang dia miliki. Saya tidak berpikir ada orang yang akan keluar dari cerita itu berpikir ini adalah hal yang baik atau sehat.
Menurut saya seperti Meta melihat bahwa AI adalah masa depan, dan chatbot karakter saat ini merupakan hal yang populer yang dilakukan perusahaan AI lain. Itu tidak ingin tertinggal.
Tetapi Meta mungkin ingin berpikir keras tentang apakah chatbot karakter adalah sesuatu yang ingin dilibatkan sama sekali – atau jika ini adalah mimpi buruk yang hanya akan menghasilkan lebih banyak berita utama, lebih banyak tuntutan hukum potensial, lebih banyak anggota parlemen memanggang eksekutif daripada kerusakan pada anak -anak dan orang dewasa yang rentan.
Mungkin itu tidak sepadan.