Kesalahan Openai’s Big Chatgpt menawarkan satu pelajaran besar

Oke, bersiaplah. Saya semakin dalam di sini.

Openai mengacaukan pembaruan chatgpt akhir bulan lalu, dan pada hari Jumat, diterbitkan a rasa bersalah saya. Layak dibaca karena penjelasannya yang jujur ​​dan jelas tentang bagaimana model AI dikembangkan – dan bagaimana hal -hal terkadang bisa salah dengan cara yang tidak diinginkan.

Inilah pelajaran terbesar dari semua ini: Model AI bukanlah dunia nyata, dan tidak akan pernah ada. Jangan mengandalkan mereka selama saat -saat penting ketika Anda membutuhkan dukungan dan nasihat. Inilah tujuan dari teman dan keluarga. Jika Anda tidak memilikinya, hubungi kolega tepercaya atau pakar manusia seperti dokter atau terapis.

Dan jika Anda belum membaca “Howards End” oleh Em Forster, gali akhir pekan ini. “Hanya terhubung!” adalah tema sentral, yang termasuk menghubungkan dengan manusia lain. Itu ditulis pada awal abad ke -20, tapi itu bahkan lebih relevan di era digital kita, Di mana koneksi pribadi kita sering kali ditengahi oleh perusahaan teknologi raksasa, dan sekarang model AI seperti chatgpt.

Jika Anda tidak ingin mengikuti saran dari seorang pria yang sudah mati, dengarkan Dario Amodei, CEO Anthropic, startup yang merupakan saingan terbesar Openai: “Makna sebagian besar berasal dari hubungan dan koneksi manusia,” tulisnya dalam yang baru -baru ini karangan.

Kesalahan Openai

Inilah yang terjadi baru -baru ini. OpenAI meluncurkan pembaruan untuk chatgpt yang memasukkan umpan balik pengguna dengan cara baru. Ketika orang menggunakan chatbot ini, mereka dapat menilai output dengan mengklik tombol jempol atau jempol.

Startup mengumpulkan semua umpan balik ini dan menggunakannya sebagai “sinyal hadiah” baru untuk mendorong model AI untuk meningkatkan dan menjadi lebih menarik dan “menyenangkan” dengan pengguna.

Sebaliknya, chatgpt menjadi Waaaaaay Terlalu menyenangkan dan mulai terlalu memuji pengguna, tidak peduli apa yang mereka minta atau katakan. Singkatnya, itu menjadi Sycophantic.

“Umpan balik manusia yang mereka perkenalkan dengan jempol naik/turun terlalu kasar dari sinyal,” Sharon Zhou, CEO manusia dari startup Lamini Ai, memberi tahu saya. “Dengan mengandalkan jempol ke atas/ke bawah untuk sinyal kembali pada apa yang dilakukan model dengan baik atau buruk, model menjadi lebih banyak sycophantic.”

Openai membatalkan seluruh pembaruan minggu ini.

Menjadi terlalu baik bisa berbahaya

Apa yang salah dengan bersikap baik kepada semua orang? Nah, ketika orang meminta nasihat di saat -saat yang rentan, penting untuk mencoba jujur. Inilah contoh yang saya kutip dari awal minggu ini yang menunjukkan betapa buruknya ini bisa mendapatkan:

Untuk lebih jelasnya, jika Anda berpikir untuk berhenti minum obat yang diresepkan, tanyakan kepada dokter manusia Anda. Jangan mengandalkan chatgpt.

Momen penting

Episode ini, dikombinasikan dengan lonjakan yang menakjubkan dalam penggunaan chatgpt baru -baru ini, tampaknya telah membawa Openai ke realisasi baru.

“Salah satu pelajaran terbesar adalah sepenuhnya mengenali bagaimana orang -orang mulai menggunakan chatgpt untuk nasihat yang sangat pribadi,” tulis startup dalam mea culpa pada hari Jumat. “Dengan begitu banyak orang tergantung pada satu sistem untuk bimbingan, kami memiliki tanggung jawab untuk menyesuaikannya.”

Saya membalik pelajaran ini untuk kepentingan manusia mana pun yang membaca kolom ini: Tolong jangan gunakan chatgpt untuk saran yang sangat pribadi. Dan tidak bergantung pada satu sistem komputer untuk panduan.

Sebaliknya, pergi terhubung dengan seorang teman akhir pekan ini. Itulah yang akan saya lakukan.