AI yang dapat memodifikasi dan meningkatkan kodenya sendiri ada di sini. Apakah ini berarti Sam Altman Openai benar tentang singularitas?

Pekan lalu, CEO OpenAI Sam Altman menulis Blog pribadinya Bahwa: “Kami sudah melewati cakrawala acara; lepas landas telah dimulai. Kemanusiaan hampir membangun Superintelligence Digital, dan setidaknya sejauh ini jauh lebih aneh daripada yang seharusnya.” Dia melanjutkan dengan mengatakan bahwa 2026 akan menjadi tahun di mana kita “kemungkinan akan melihat kedatangan sistem yang dapat mengetahui wawasan baru. 2027 mungkin melihat kedatangan robot yang dapat melakukan tugas di dunia nyata.”

Blog Altman menciptakan buzz di media sosial, dengan banyak berspekulasi tentang perkembangan baru apa yang telah menyebabkan Altman menulis kata -kata itu dan yang lainnya menuduh Altman hype yang tidak tahu malu. Di lingkaran AI, “lepas landas” adalah istilah seni. Ini mengacu pada saat AI mulai meningkatkan diri. (Orang -orang berdebat tentang skenario “lambat lepas landas” dan “cepat lepas landas”. Altman berjudul Blognya “The Gentle Singularity,” jadi tampaknya Altman memposisikan dirinya dalam lambat – atau setidaknya, lambatish—Takeoff Camp.)

Di blog, Altman menjelaskan bahwa dia belum berbicara tentang peningkatan diri yang sepenuhnya otomatis. Sebaliknya, dia berbicara tentang peneliti AI yang menggunakan AI untuk membantu mereka mengembangkan AI yang lebih mampu. “Kami sudah mendengar dari para ilmuwan bahwa mereka dua atau tiga kali lebih produktif daripada sebelum AI,” tulisnya. “Kami mungkin dapat menemukan substrat komputasi baru, algoritma yang lebih baik, dan siapa yang tahu apa lagi. Jika kami dapat melakukan penelitian satu dekade dalam setahun, atau sebulan” maka tingkat kemajuan AI akan mempercepat dari klipnya yang sudah cepat.

Altman mengizinkan bahwa “tentu saja ini bukan hal yang sama dengan sistem AI yang sepenuhnya memperbarui kodenya sendiri, tetapi namun ini adalah versi larva dari peningkatan diri rekursif.”

Tapi, seperti yang mungkin disadari Altman, di sana adalah Semakin banyak peneliti AI yang sebenarnya mencari cara untuk membuat AI meningkatkan kode sendiri.

‘Mesin Darwin Goedel’

Hanya beberapa minggu yang lalu, Jeff Cluneseorang peneliti AI terkenal yang memegang posisi di University of British Columbia dan Google DeepMind, dan tim dari startup AI yang berbasis di Tokyo Saman Penelitian yang diterbitkan tentang apa yang mereka sebut “Mesin Darwin Goedel. ”

Ini adalah AI yang mengembangkan kode sendiri untuk berkinerja lebih baik pada tes benchmark yang mengukur seberapa baik model AI berfungsi sebagai “agen pengkodean” yang dapat menulis dan mengevaluasi program perangkat lunak. Agen awal pertama diuji pada tolok ukur. Kemudian diminta untuk mengevaluasi log dari kinerjanya sendiri pada tolok ukur itu dan mengusulkan satu modifikasi tunggal pada kode sendiri yang kemungkinan akan meningkatkan kinerjanya pada tolok ukur itu (ini bisa menjadi kemampuan untuk menggunakan alat perangkat lunak tertentu, atau itu bisa menjadi sesuatu yang lebih mendasar dalam bagaimana model alasan tentang kode yang dihasilkannya). Model AI kemudian disuruh menulis ulang kode Python sendiri untuk mengimplementasikan satu perubahan itu. Kemudian agen baru yang berevolusi diuji lagi pada tolok ukur dan prosesnya berulang.

Setelah modifikasi pertama, setiap versi baru dari AI yang dapat berhasil mencoba patokan disimpan dalam arsip – bahkan jika skornya lebih rendah dari versi induk. (Mereka yang gagal menghasilkan kode yang valid sama sekali dibuang.) AI kemudian diberitahu bahwa ia dapat memilih versi apa pun dari arsip dan mengusulkan perubahan pada versi itu. Ini dirancang untuk mencegah model turun dari apa yang pada akhirnya akan terbukti menjadi jalan buntu evolusi, memungkinkannya melangkah melintasi jalur evolusi yang berbeda untuk menemukan modifikasi yang bermanfaat.

Setelah 80 generasi, mesin Darwin Goedel mampu meningkatkan kinerjanya dari skor 20% awal pada SWE-Bench, tolok ukur pengkodean umum, hingga 50%. Pada Polyglot, tes pengkodean lain, ia meningkatkan skornya dari awal 14,2% menjadi 30,7%. ;

Apakah AI yang meningkatkan diri aman?

Jika Anda berpikir AI yang meningkatkan diri terdengar sedikit menakutkan-seperti mungkin dimungkinkan bagi AI semacam ini untuk menghindari kendali manusia-Anda benar. Para ilmuwan komputer mengakui hal ini dan menekankan bahwa mereka menguji sistem dalam “kotak pasir” di mana aksesnya ke web “sangat terbatas,” menurut Sakana Blog yang menggambarkan penelitian.

Para peneliti juga berspekulasi bahwa peningkatan diri dapat menjadi alat untuk meningkatkan keamanan AI. Misalnya, dalam sebuah penemuan yang menjadi sangat umum saat menggunakan model AI canggih, tim peneliti menemukan bahwa mesin Darwin Goedel kadang -kadang berbohong tentang telah melakukan tes unit tertentu pada kode yang ditulisnya – dan bahkan log palsu yang seharusnya menunjukkan hasil tes yang berhasil.

Para peneliti ingin melihat apakah mesin Darwin Goedel dapat mengusulkan cara untuk menjaga diri agar tidak terlibat dalam perilaku menipu ini. Jadi diputuskan untuk memberikan poin model untuk mengurangi contoh “alat penggunaan alat,” dan memintanya untuk mencoba memaksimalkan skor itu. Ini berhasil dalam banyak kasus, para peneliti melaporkan, dengan contoh log uji palsu menurun. Tetapi dalam kasus lain, model hanya mencoba menipu lagi – melepas penanda yang digunakan para peneliti untuk mendeteksi halusinasi, bahkan ketika dorongan yang digunakan para peneliti mengatakan kepada model itu secara eksplisit untuk tidak melakukan ini. Astaga!

Karena para peneliti memiliki akses penuh ke semua perubahan kode yang dilakukan AI dan AI tidak memiliki kemampuan untuk mengubah catatan ini, para peneliti dengan mudah dapat melihat bahwa mesin Darwin Goedel berusaha untuk terlibat dalam penipuan semacam ini. “Sementara dalam kasus ini masalah ini mudah terdeteksi, lebih banyak pekerjaan diperlukan untuk mencegah model dari mencoba menipu dengan cara ini,” tulis para peneliti.

Jadi, Altman mungkin memang benar – kita melewati cakrawala acara. Tetapi seperti yang ditunjukkan oleh hasil ini, apakah singularitas akan menjadi lembut, seperti yang disarankan Altman, masih harus dilihat.

Dengan itu, inilah lebih banyak berita AI. (Dan tip topi untuk Google DeepMind Research Scientist Ed Hughes untuk menyoroti kertas darwin goedel dalam pembicaraannya yang menarik di yang selalu menarik Penelitian dan KTT AI Terapan di London minggu lalu.)

Jeremy Kahn
jeremy.kahn@fortune.com
@Jeremyakahn

Ai di berita

Paus Leo mendorong regulasi AI. Itu menurut a fitur besar pada pandangan paus yang baru tentang AI di Wall Street Journal. Paus Amerika yang baru, Leo XIV, mengatakan ia bahkan memilih nama kepausannya untuk menarik paralel dengan pendahulu akhir abad ke -19, Paus Leo XIII, dan advokasi untuk hak -hak pekerja selama Revolusi Industri. Mewarisi mantel dari Paus Francis, yang semakin khawatir dengan risiko sosial AI, Leo menekan tata kelola global yang lebih kuat dan pengawasan etis terhadap teknologi tersebut. Ketika para pemimpin teknologi mencari keterlibatan Vatikan, gereja menyatakan otoritas moralnya untuk mendorong peraturan AI yang mengikat, memperingatkan bahwa meninggalkan pengawasan terhadap korporasi risiko mengikis martabat, keadilan, dan nilai -nilai spiritual manusia.

Waymo merencanakan upaya baru untuk menjalankan robotaxis di Big Apple. Waymo, yang terlibat dalam pemetaan terbatas dan pengujian kendaraan otonomnya di New York City sebelum tahun 2021, ingin melakukan dorongan besar ke pasar. Tetapi Waymo harus menjaga pengemudi manusia di belakang kemudi karena undang -undang negara bagian melarang mobil tanpa pengemudi sepenuhnya. Perusahaan mendorong perubahan hukum dan telah mengajukan permohonan izin kota untuk memulai operasi otonom terbatas dengan pengemudi keselamatan di atas kapal. Baca lebih lanjut dari Wall Street Journal Di Sini.

Laporan AI Gubernur California menyerukan peraturan. Sebuah laporan kebijakan AI California baru yang ditugaskan oleh Gubernur Gavin Newsom dan ditulis bersama oleh Stanford Profesor Fei-Fei Li memperingatkan “potensi bahaya yang tidak dapat diubah,” termasuk ancaman biologis dan nuklir, jika AI tidak diatur dengan baik. Alih-alih mendukung RUU peraturan yang menyapu, seperti SB 1047 California, yang newsom memveto pada bulan Oktober, laporan itu mengadvokasi pendekatan “kepercayaan-tapi-verifikasi” yang menekankan transparansi, audit independen, pelaporan insiden, dan perlindungan pelapor. Laporan tersebut muncul ketika Kongres AS sedang mempertimbangkan untuk meloloskan RUU pengeluaran yang akan mencakup moratorium regulasi AI tingkat negara selama satu dekade. Anda dapat membaca lebih lanjut tentang laporan California di Waktu Di Sini.

Minimax China mengatakan model M1 yang baru berharga hanya $ 500.000 untuk berlatih. Dalam apa yang bisa menjadi “momen deepseek” lain untuk perusahaan AI barat, startup AI China Minimax memulai debutnya model AI open-source baru, yang disebut M1, yang katanya sama dengan kemampuan model terkemuka dari Openai, Antropik, dan Google Deepmind, tetapi harganya lebih dari $ 500.00 untuk berlatih. Jumlah itu sekitar 200x kurang dari apa yang diindarkan oleh orang dalam industri memperkirakan Openai menghabiskan pelatihan model GPT-4-nya. Sejauh ini, tidak seperti ketika Deepseek meluncurkan AI Model R1 yang seharusnya jauh lebih murah pada bulan Januari, industri AI belum ketakutan di atas M1. Tapi itu bisa berubah jika pengembang memverifikasi klaim Minimax dan mulai menggunakan M1 untuk menyalakan aplikasi. Anda bisa membaca lebih lanjut Di Sini dari Harta benda‘S Alexandra Sternlicht.

Keberuntungan yang kita miliki

Mengapa Palo Alto Networks fokus hanya pada beberapa taruhan AI Gen Besar —Dengan John Kell

Reid Hoffman mengatakan menghibur Gen Z dalam pertumpahan darah AI seperti menempatkan ‘Band-Aid pada luka peluru’-ia berbagi 4 keterampilan lulusan perguruan tinggi untuk bertahan hidup —Dengan Preston Fore

Andy Jassy adalah CEO Amazon yang sempurna untuk era pemotongan biaya gen yang menjulang —Dengan Jason Del Rey

Anda memiliki kalender

8-11 Juli: Ai Untuk KTT Global yang Baik, Jenewa

13-19 Juli: Konferensi Internasional pada Pembelajaran Mesin (ICML), Vancouver

22-23 Juli: Brainstorm Fortune Ai Singapura. Berlaku untuk hadir di sini.

26-28 Juli: Dunia Palsu Intelijen Konferensi (WAIC), Shanghai.

8-10 September: Fortune Brainstorm Tech, Park City, Utah. Berlaku untuk hadir di sini.

6-10 Oktober: Dunia Ai Minggu, Amsterdam

21-22 Oktober: TEDAI, San Francisco. Berlaku untuk hadir Di Sini.

2-7 Desember: NeurIPS, San Diego

8-9 Desember: Brainstorm Fortune Ai San Francisco. Berlaku untuk hadir di sini.

Eye On AI Nomor

$ 100 juta

Itulah jumlah uang yang diklaim oleh CEO OpenAI Sam Altman, Mark Zuckerberg, telah menawarkan para peneliti AI top sebagai bonus penandatanganan jika mereka setuju untuk bergabung dengan Meta. Altman membuat klaim pada episode podcast Uncapped dirilis awal minggu ini. Dia mengatakan bahwa sejauh ini, tidak ada peneliti Openai yang paling terkemuka yang setuju untuk pergi ke meta. Telah dilaporkan bahwa Meta mencoba menyewa Openai’s Noam Brown serta Chief Technology Officer Google DeepMind Koray Kavukcuoglu, yang diserahkan promosi besar Kepala arsitek AI di semua produk AI Google mungkin sebagai tanggapan. Anda dapat membaca lebih lanjut tentang klaim Altman dari Harta bendaBea Nolan Di Sini Dan baca tentang mengapa upaya CEO Meta Zuckerberg untuk menghabiskan jalan ke puncak papan peringkat AI mungkin gagal dari Harta bendaSHARON GOLDMAN IN Mata Kamis Terakhir AI. (Meta telah menolak mengomentari pernyataan Altman.)