Inferensi besar AI telah menjadi masalah besar dan bisnis yang lebih besar

Berkat inovasi seperti Deepseek, pelatihan AI telah menjadi lebih murah. Namun, inferensi menjadi lebih menuntut ketika kami meminta AI untuk berpikir lebih keras sebelum menjawab pertanyaan kami. Sistem NVIDIA, GROQ, dan Cerebras (klien Cambrian-Ai Research) semuanya telah merilis akselerator dan infrastruktur besar-besaran untuk mendukung tren ini. Saya menduga kita akan melihat lebih banyak dari Nvidia tentang inferensi minggu depan daripada pelatihan, termasuk awan, robot, dan mobil. Jensen Huang mengatakan gaya pemrosesan inferensi ini adalah 100 kali lebih menuntut secara komputasi. Saya menemukan dalam percobaan baru -baru ini bahwa penalaran bahkan bisa 200 kali lebih mahal tetapi jauh lebih cerdas dan lebih berharga!

Cerebras membawa kesimpulan ke tingkat yang baru

Sistem Cerebras, pencipta chip AI berskala wafer, frisbee, telah meluncurkan rencana untuk membangun enam pusat data baru sejak memasuki bisnis token “bernilai tinggi”. Perusahaan mengklaim akan menjadi penyedia layanan yang akan terjadi secara global pada akhir tahun ini. Ribuan, akan melebihi 40 juta llama 70b token per detik.

Token bernilai tinggi membawa informasi yang lebih kontekstual dan biasanya lebih penting untuk memahami makna teks secara keseluruhan. Mereka sering mewakili konsep -konsep kunci, kata -kata langka, atau terminologi khusus. Token bernilai tinggi mengkonsumsi lebih banyak sumber daya komputasi dan mungkin lebih mahal untuk diproses. Ini karena mereka biasanya membutuhkan lebih banyak perhatian dari model dan berkontribusi lebih signifikan pada output akhir. Token bernilai rendah, yang lebih umum dan kurang padat secara informasi, biasanya membutuhkan lebih sedikit sumber daya pemrosesan. Jelas, cerebras menargetkan masalah yang cocok untuk pendekatan skala wafernya terhadap AI.

Tingkat kinerja dalam memberikan token bernilai tinggi ini menarik pelanggan perusahaan baru yang juga membutuhkan layanan elastis untuk memenuhi kebutuhan mereka. Alphasense, misalnya, platform intelijen pasar terkemuka, telah pindah ke inferensi serebras, menggantikan penyedia model AI sumber tertutup teratas. Perusahaan ini juga telah mendaratkan kebingungan, Mistral, memeluk wajah, dan pengguna lain dari inferencing bernilai tinggi, memberikan kinerja inferensi 10 hingga 20 kali lebih cepat daripada alternatif.

Revolusi inferensi baru saja dimulai

Minggu depan, kita akan mendengar lebih banyak tentang token “bernilai tinggi” dari Nvidia di GTC, karena pasar inferensi menyalip pelatihan dalam pendapatan global. Pasar seperti kendaraan otonom, robot, dan pusat data berdaulat semuanya bergantung pada inferensi cepat, dan NVIDIA tidak berencana untuk membiarkan pasar itu lewat. Konsep bernilai tinggi adalah baru, dan platform seperti cerebras dan Nvidia LVL72 sangat ideal untuk mengirimkannya.

Pengungkapan: Artikel ini mengungkapkan pendapat penulis dan tidak boleh dianggap sebagai saran untuk membeli atau berinvestasi di perusahaan yang disebutkan. Perusahaan saya, Cambrian-Ai Research, beruntung memiliki banyak perusahaan semikonduktor sebagai klien kami, termasuk Baya Systems Brainchip, Cadence, Cerebras Systems, D-Matrix, Esperanto, Flex, Groq, IBM, Intel, Micron, Nvidia, Qualcomm, Graphcore, SIMA, SIMY, SINOPS. Saya tidak memiliki posisi investasi di salah satu perusahaan yang disebutkan dalam artikel ini. Untuk informasi lebih lanjut, silakan kunjungi situs web kami di https://cambrian-ai.com.