Pengembang mengatakan untuk tetap di depan di AI, ‘Bakar perahu.’

Tidak jarang bagi perusahaan AI untuk khawatir bahwa Nvidia akan masuk dan membuat pekerjaan mereka berlebihan. Tetapi ketika itu terjadi pada Tuhin Srivastava, dia sangat tenang.

“Ini adalah hal tentang AI – Anda harus membakar kapal,” Srivastava, pendiri platform inferensi AI Baseten, mengatakan kepada Business Insider. Dia belum membakarnya, tapi dia membeli minyak tanah.

Kisah ini kembali ke ketika Deepseek mengambil dunia AI dengan badai pada awal tahun ini. Srivastava dan timnya telah bekerja dengan model selama berminggu -minggu, tetapi itu adalah perjuangan.

Masalahnya adalah kusut jargon ai, tetapi pada dasarnya, inferensi, proses komputasi yang terjadi ketika AI menghasilkan output, Perlu ditingkatkan untuk dengan cepat menjalankan model yang besar, rumit, dan beralasan ini.

Beberapa elemen memukul hambatan dan memperlambat pengiriman respons model, membuatnya jauh lebih tidak berguna bagi pelanggan Baseten, yang berteriak -teriak untuk mengakses model.

Perusahaan Srivastava memiliki akses ke chip H200 NVIDIA – chip terbaik yang tersedia secara luas yang dapat menangani model canggih pada saat itu – tetapi platform inferensi NVIDIA sedang berkaca -kaca.

Sebuah tumpukan perangkat lunak yang disebut Triton Inference Server macet dengan semua inferensi yang diperlukan untuk Model R1 Penalaran Deepseek, kata Srivastava. Jadi Baseten membangun sendiri, yang masih mereka gunakan sekarang.

Kemudian, pada bulan Maret, Jensen Huang naik ke panggung di konferensi GTC besar -besaran perusahaan dan meluncurkan platform inferensi baru: Dynamo.

Dynamo adalah perangkat lunak open-source yang membantu chip NVIDIA menangani inferensi intensif yang digunakan untuk model penalaran pada skala.

“Ini pada dasarnya adalah sistem operasi pabrik AI,” kata Huang di atas panggung.

“Di sinilah keping itu pergi,” kata Srivastava. Dan kedatangan Nvidia tidak mengejutkan. Ketika Juggernaut mau tidak mau melampaui platform yang setara Baseten, tim kecil akan meninggalkan apa yang mereka bangun dan beralih, kata Srivastava.

Dia berharap akan memakan waktu beberapa bulan.

“Bakar perahu.”

Bukan hanya alat pembuatan NVIDIA dengan tim besar dan anggaran penelitian dan pengembangan yang cocok. Pembelajaran mesin terus berkembang. Model menjadi lebih kompleks dan membutuhkan lebih banyak daya komputasi dan jenius rekayasa untuk bekerja pada skala, dan kemudian mereka menyusut lagi ketika para insinyur menemukan efisiensi baru dan perubahan matematika. Para peneliti dan pengembang menyeimbangkan biaya, waktu, akurasi, dan input perangkat keras, dan setiap perubahan mengubah geladak.

“Anda tidak bisa menikah dengan kerangka kerja tertentu atau cara melakukan sesuatu,” kata Karl Mozurkewich, arsitek utama di perusahaan cloud Valdi.

“Ini adalah hal favorit saya tentang AI,” kata Theo Brown, seorang YouTuber dan pengembang yang perusahaannya, Ping, membangun perangkat lunak AI untuk pengembang lain. “Ini membuat hal -hal yang secara historis telah diperlakukan secara historis sebagai sangat berharga dan suci, dan hanya membuatnya sangat murah dan mudah dibuang,” katanya kepada BI.

Browne menghabiskan tahun -tahun awal pengkodean karirnya untuk perusahaan besar seperti Twitch. Ketika dia melihat alasan untuk memulai dari proyek pengkodean alih -alih membangun di atasnya, dia menghadapi perlawanan, bahkan ketika itu akan menghemat waktu atau uang. Kekeliruan biaya yang tenggelam memerintah.

“Saya harus belajar itu daripada menunggu mereka mengatakan, ‘Tidak,’ lakukan begitu cepat sehingga mereka tidak punya waktu untuk memblokir Anda,” kata Browne.

Itulah pola pikir banyak pembangun di tepi pendarahan di AI.

Seringkali juga yang membedakan startup dari perusahaan besar.

Quinn Slack, CEO platform pengkodean AI SourceGraph, sering menjelaskan hal ini kepada pelanggannya ketika ia bertemu dengan perusahaan Fortune 500 yang mungkin telah membangun putaran AI pertama mereka di fondasi yang goyah.

“Saya akan mengatakan 80% dari mereka sampai di sana dalam pertemuan selama satu jam,” katanya.

Tanah yang lebih kencang di atas tumpukan

Ben Miller, CEO Fundrise Platform Investasi Real Estat, sedang membangun produk AI untuk industri ini, dan dia tidak terlalu khawatir tentang model terbaru. Jika model berfungsi untuk tujuannya, ia bekerja, dan beralih ke inovasi terbaru tidak mungkin sepadan dengan jam insinyur.

“Saya tetap dengan apa yang bekerja cukup baik selama saya bisa,” katanya. Itu sebagian karena Miller memiliki organisasi besar, tetapi itu juga karena dia membangun sesuatu lebih jauh di atas tumpukan.

Tumpukan itu terdiri dari perangkat keras di bagian bawah, biasanya GPU NVIDIA, dan kemudian melapisi lapisan perangkat lunak. Baseten beberapa lapisan naik dari NVIDIA. Model AI, seperti R1 dan GPT-4O, berjarak beberapa lapis dari Baseten. Dan Miller hampir berada di puncak di mana konsumen berada.

“Tidak ada jaminan Anda akan menumbuhkan basis pelanggan Anda atau pendapatan Anda hanya karena Anda merilis fitur tepi pendarahan terbaru,” kata Mozurkewich.

“Ketika Anda berada di depan pengguna akhir, ada pengembalian yang semakin berkurang untuk bergerak cepat dan memecahkan barang.”

Punya tip? Hubungi reporter ini melalui email di ecosgrove@businessinsider.com atau sinyal di 443-333-9088. Gunakan alamat email pribadi dan perangkat non -bajingan; Inilah panduan kami untuk berbagi informasi dengan aman.