Perusahaan cybersecurity menggunakan AI untuk menjaga LLMS terhadap ancaman, kerentanan

Kecerdasan buatan generatif adalah teknologi yang relatif baru. Akibatnya, ini menghadirkan tantangan keamanan baru yang dapat membuat organisasi lengah.

Chatbots yang ditenagai oleh model bahasa besar rentan terhadap berbagai serangan baru. Ini termasuk suntikan cepat, yang menggunakan petunjuk yang dibangun secara khusus untuk mengubah perilaku model, dan exfiltrasi data, yang melibatkan mendorong model ribuan, mungkin jutaan, kali untuk menemukan informasi yang sensitif atau berharga.

Serangan -serangan ini mengeksploitasi sifat LLMS yang tidak dapat diprediksi, dan mereka sudah menimbulkan rasa sakit moneter yang signifikan.

“Pelanggaran keamanan terbesar yang saya ketahui, secara moneter, terjadi baru-baru ini, dan itu adalah serangan terhadap Openai,” kata Chuck Herrin, kepala petugas keamanan informasi F5, sebuah perusahaan aplikasi multicloud-aplikasi dan keamanan.

Model AI sangat kuat tetapi rentan

Herrin merujuk Deepseek, sebuah llm dari perusahaan Cina dengan nama yang sama. Deepseek mengejutkan dunia dengan rilis 20 Januari Deepseek-R1, model penalaran yang hanya memberi peringkat rambut di belakang model terbaik Openai pada tolok ukur AI populer.

Tetapi pengguna Deepseek memperhatikan beberapa keanehan dalam cara melakukan model. Ini sering membangun responsnya serupa dengan chatgpt Openai dan mengidentifikasi dirinya sebagai model yang dilatih oleh Openai. Dalam minggu -minggu berikutnya, Openai memberi tahu Financial Times Itu memiliki bukti bahwa Deepseek telah menggunakan teknik yang disebut “distilasi” untuk melatih modelnya sendiri dengan mendorong chatgpt.

Bukti bahwa Openai mengatakan itu tidak dipublikasikan, dan tidak jelas apakah perusahaan akan mengejar masalah ini lebih lanjut.

Namun, kemungkinan itu menyebabkan kekhawatiran serius. Herrin mengatakan Deepseek dituduh menyaring model Openai turun dan mencuri kekayaan intelektualnya. “Ketika berita tentang itu menghantam media, butuh satu triliun dolar dari S&P,” katanya.

Yang mengkhawatirkan, sudah diketahui bahwa mengeksploitasi kerentanan AI adalah mungkin. LLM dilatih pada dataset besar dan secara umum dirancang untuk merespons berbagai macam prompt pengguna.

Model biasanya tidak “menghafal” data yang dilatih, artinya tidak secara tepat mereproduksi data pelatihan saat ditanya (Padahal hafalan dapat terjadi; Ini adalah poin kunci gugatan pelanggaran hak cipta New York Times terhadap Openai). Namun, mendorong model ribuan kali dan menganalisis hasilnya dapat memungkinkan pihak ketiga untuk meniru perilaku model, yang merupakan distilasi. Teknik seperti ini juga dapat memperoleh beberapa wawasan tentang data pelatihan model.

Inilah sebabnya mengapa Anda tidak dapat mengamankan AI Anda tanpa mengamankan antarmuka pemrograman aplikasi yang digunakan untuk mengakses model dan “sisa ekosistem,” kata Herrin kepada Business Insider. Selama API tersedia tanpa perlindungan yang sesuai, itu dapat dieksploitasi.

Lebih buruk lagi, LLMS adalah “kotak hitam“Pelatihan dan LLM menciptakan jaringan saraf yang mendapatkan pemahaman umum tentang data pelatihan dan hubungan antara data di dalamnya. Tetapi prosesnya tidak menggambarkan” neuron “spesifik mana dalam jaringan LLM yang bertanggung jawab atas respons spesifik terhadap prompt.

Itu, pada gilirannya, berarti tidak mungkin untuk membatasi akses ke data spesifik dalam LLM dengan cara yang sama suatu organisasi dapat melindungi database.

Sanjay Kalra, kepala manajemen produk di perusahaan keamanan cloud Zscaler, mengatakan: “Secara tradisional, ketika Anda menempatkan data, Anda menempatkannya di database di suatu tempat.” Pada titik tertentu, sebuah organisasi dapat menghapus data itu jika mau, dia mengatakan kepada BI, “tetapi dengan chatbots LLM, tidak ada cara mudah untuk mengembalikan informasi.”

Solusi untuk kerentanan AI adalah … lebih banyak AI

Perusahaan cybersecurity sedang mengatasi masalah ini dari banyak sudut, tetapi dua menonjol.

Yang pertama berakar pada pendekatan yang lebih tradisional dan metodis terhadap keamanan siber.

“Kami sudah mengontrol otentikasi dan otorisasi dan memiliki waktu yang lama,” kata Herrin. Dia menambahkan bahwa sementara mengotentikasi pengguna untuk LLM “tidak benar -benar berubah” dibandingkan dengan mengautentikasi untuk layanan lain, itu tetap penting.

Kalra juga menekankan pentingnya fundamental keamanan yang baik, seperti kontrol akses dan akses pengguna. “Mungkin Anda menginginkan kopilot yang hanya tersedia untuk orang -orang teknik, tetapi itu seharusnya tidak tersedia untuk pemasaran, atau penjualan, atau dari lokasi tertentu,” katanya.

Tetapi setengah dari solusinya adalah, ironisnya, lebih banyak AI.

Nature “Black Box” LLMS membuat mereka rumit untuk diamankan, karena tidak jelas permintaan mana yang akan mem -bypass perlindungan atau exfiltrate data. Tetapi model -modelnya cukup baik dalam menganalisis teks dan data lainnya, dan perusahaan keamanan siber memanfaatkannya untuk melatih pengawas AI.

Model -model ini memposisikan diri sebagai lapisan tambahan antara LLM dan pengguna. Mereka memeriksa petunjuk pengguna dan memodelkan respons untuk tanda -tanda bahwa pengguna mencoba mengekstrak informasi, memotong perlindungan, atau menumbangkan model.

“Dibutuhkan ai pria yang baik untuk melawan ai juara,” kata Herrin. “Ini semacam perlombaan senjata ini. Kami menggunakan LLM yang kami buat untuk mendeteksi jenis serangan ini.” F5 menyediakan layanan yang memungkinkan klien untuk menggunakan kemampuan ini baik ketika menggunakan model AI mereka sendiri di lokasi dan ketika mengakses model AI di cloud.

Tetapi pendekatan ini mengalami kesulitan, dan biaya ada di antara mereka. Menggunakan varian yang disetel keamanan dari model besar dan mampu, seperti Openai’s GPT-4.1, mungkin tampak seperti jalur terbaik menuju keamanan maksimum. Namun, model seperti GPT-4.1 mahal, yang membuat ide itu tidak praktis untuk sebagian besar situasi.

“Asuransi tidak bisa lebih mahal dari mobil,” kata Kalra. “Jika saya mulai menggunakan model bahasa besar untuk melindungi model bahasa besar lainnya, itu akan menjadi mahal. Jadi dalam hal ini, kita melihat apa yang terjadi jika Anda akhirnya menggunakan model bahasa kecil.”

Model bahasa kecil memiliki parameter yang relatif sedikit. Akibatnya, mereka membutuhkan lebih sedikit perhitungan untuk melatih dan mengkonsumsi lebih sedikit perhitungan dan memori saat digunakan. Contoh populer termasuk Meta’s Llama 3-8B dan Mistral’s Ministral 3B. Kalra mengatakan Zscaler juga memiliki tim pembelajaran AI dan mesin yang melatih model internalnya sendiri.

Ketika AI terus berkembang, organisasi menghadapi skenario keamanan yang tidak terduga: teknologi yang mengalami kerentanan telah menjadi bagian penting dari strategi pertahanan terhadap titik -titik lemah itu. Tetapi pendekatan berlapis-lapis, yang menggabungkan fundamental keamanan siber dengan model AI yang disetel keamanan, dapat mulai mengisi celah dalam pertahanan LLM.