Selama bertahun -tahun industri AI telah mematuhi serangkaian prinsip yang dikenal sebagai “hukum penskalaan.” Peneliti OpenAI menguraikan mereka di makalah seminal 2020, “Hukum Penskalaan untuk Model Bahasa Saraf.”
“Kinerja model sangat tergantung pada skala, yang terdiri dari tiga faktor: jumlah parameter model n (tidak termasuk embeddings), ukuran dataset D, dan jumlah komputasi C yang digunakan untuk pelatihan,” tulis para penulis.
Intinya, lebih banyak lagi dalam hal membangun AI yang sangat cerdas. Gagasan ini telah memicu investasi besar di pusat data yang memungkinkan model AI untuk memproses dan belajar dari sejumlah besar informasi yang ada.
Namun baru -baru ini, para ahli AI di seluruh Silicon Valley sudah mulai menantang doktrin itu.
“Masalah paling menarik sangat buruk,” kata Kepala Ilmuwan AI Meta, Yann Lecun, di Universitas Nasional Singapura pada hari Minggu. “Kamu tidak bisa hanya berasumsi bahwa lebih banyak data dan lebih banyak komputasi berarti AI yang lebih pintar.”
Poin Lecun bergantung pada gagasan bahwa melatih AI pada sejumlah besar materi pelajaran dasar, seperti data internet, tidak akan mengarah pada semacam pengawasan. Smart AI adalah jenis yang berbeda.
“Kesalahannya adalah sistem yang sangat sederhana, ketika mereka bekerja untuk masalah sederhana, orang memperkirakan mereka untuk berpikir bahwa mereka akan bekerja untuk masalah yang kompleks,” katanya. “Mereka melakukan beberapa hal yang luar biasa, tetapi itu menciptakan agama penskalaan yang Anda hanya perlu skala lebih banyak sistem dan mereka secara alami akan menjadi lebih cerdas.”
Saat ini, dampak penskalaan diperbesar karena banyak terobosan terbaru di AI sebenarnya “sangat mudah,” kata Lecun. Model bahasa besar terbesar saat ini dilatih tentang kira-kira jumlah informasi dalam korteks visual seorang anak berusia empat tahun, katanya.
“Ketika Anda berurusan dengan masalah dunia nyata dengan ambiguitas dan ketidakpastian, ini bukan hanya tentang penskalaan lagi,” tambahnya.
Kemajuan AI telah melambat akhir -akhir ini. Ini karena, sebagian, karena korpus data publik yang dapat digunakan.
Lecun bukan satu -satunya peneliti terkemuka yang mempertanyakan kekuatan penskalaan. CEO SKALA AI Alexandr Wang mengatakan penskalaan adalah “pertanyaan terbesar di industri” di konferensi Cerebral Valley tahun lalu. CEO Cohere Aidan Gomez menyebutnya cara “paling bodoh” untuk meningkatkan model AI.
Lecun menganjurkan untuk pendekatan pelatihan berbasis dunia yang lebih.
“Kami membutuhkan sistem AI yang dapat mempelajari tugas -tugas baru dengan sangat cepat. Mereka perlu memahami dunia fisik – bukan hanya teks dan bahasa tetapi dunia nyata – memiliki tingkat akal sehat, dan kemampuan untuk beralasan dan merencanakan, memiliki ingatan yang terus -menerus – semua hal yang kami harapkan dari entitas yang cerdas,” katanya selama pembicaraannya hari Minggu.
Tahun lalu, pada episode podcast Lex Fridman, Lecun mengatakan bahwa berbeda dengan model bahasa besar, yang hanya dapat memprediksi langkah selanjutnya berdasarkan pola, model dunia memiliki tingkat kognisi yang lebih tinggi. “Komponen tambahan dari model dunia adalah sesuatu yang dapat memprediksi bagaimana dunia akan berevolusi sebagai konsekuensi dari tindakan yang mungkin Anda lakukan.”
