Kontroversi keamanan semakin meningkat, Nvidia (NVDA.US) mengeluarkan upaya rekayasa! Platform keamanan AI berlapis dua langsung menangani otoritas dan perilaku anomali pada agen cerdas

Menurut aplikasi keuangan Zhihui, di tengah meningkatnya perdebatan tentang risiko keamanan di industri Kecerdasan Buatan (AI) baru-baru ini, Nvidia (NVDA.US) memilih untuk merespons dengan pendekatan rekayasa. Pada hari Senin, Nvidia meluncurkan platform keamanan AI dua lapis bernama "Open Agent Safety Platform", yang menyediakan pemantauan berkelanjutan, eksekusi kebijakan real-time, dan tata kelola keamanan untuk agen AI melalui arsitektur tiga lapis: lapisan aplikasi, runtime, dan infrastruktur.

Diketahui, sistem ini mencakup dua alat perangkat lunak open-source OpenShell dan Nvidia Sentry. Di antaranya, perangkat lunak open-source OpenShell dapat menjalankan agen AI dalam lingkungan sandbox, mengubah instruksi pengguna menjadi kebijakan keamanan yang dapat diverifikasi, dan membatasi akses agen ke file, jaringan, alat, proses, dan kredensial. Nvidia Sentry memperluas pemantauan dan kontrol keamanan ke unit pemrosesan data BlueField, menggunakan Nvidia DOCA untuk menghubungkan interaksi agen, pengambilan keputusan kebijakan, serta pencatatan akses alat dan data, guna mengidentifikasi perilaku abnormal dan melakukan intervensi jika diperlukan. Dengan kata lain, OpenShell bertanggung jawab mengontrol sumber daya dan izin eksekusi yang dapat diakses agen AI, sedangkan Nvidia Sentry memantau perilaku agen dan mengidentifikasi potensi ancaman.

Nvidia menyatakan bahwa agen AI dapat menyimpang dari tugas yang ditetapkan karena alat, runtime, atau ambiguitas instruksi, sehingga kontrol keamanan yang independen dari agen itu sendiri diperlukan. Sistem ini dioptimalkan untuk Nvidia Vera CPU dan BlueField DPU system, serta kompatibel dengan sistem perangkat keras lainnya. Nvidia menyebutkan, perusahaan ini sedang bekerja sama dengan Arm (ARM.US) dan Intel (INTC.US) untuk memastikan sistem ini juga dapat dijalankan pada CPU milik kedua perusahaan tersebut.

Ali Golshan, Direktur Senior Perangkat Lunak AI Nvidia, mengatakan bahwa alat-alat Nvidia ini memanfaatkan rumus matematika untuk mendeteksi apakah agen AI mencoba mencari jalan pintas, misalnya agen tertentu mencoba "menghasilkan" beberapa "sub-agen" untuk menghindari hambatan yang diberlakukan terhadap agen utama. Ia mengatakan: "Yang benar-benar kita diskusikan adalah perilaku ber-agen, yakni kumpulan yang terdiri dari banyak agen dan bagaimana mereka bekerja secara kolaboratif."

Nvidia juga menyatakan bahwa sistem ini dapat mengisolasi agen abnormal dalam tingkat milidetik, dan menyebutkan jika laboratorium terkait telah mengimplementasikan teknologi ini sebelumnya, maka insiden serangan model OpenAI terhadap Hugging Face pada bulan Juli dapat dicegah.

Justin Boitano, Wakil Presiden sekaligus General Manager Divisi Komputasi Perusahaan Nvidia, mengatakan: "Berdasarkan informasi yang kami miliki saat ini, jika platform keamanan baru ini digunakan pada tahap evaluasi model awal oleh laboratorium AI terdepan, maka insiden penyerangan ini seharusnya bisa dicegah." Ia menambahkan: "Kami memajukan pekerjaan ini secara terbuka, dan juga berharap dapat bekerja sama dengan semua pihak agar dapat berpartisipasi bersama."

Peluncuran sistem keamanan AI terbaru dari Nvidia ini hadir di tengah meningkatnya perhatian industri terhadap insiden keamanan yang terkait agen AI, terutama insiden OpenAI model yang di luar kendali dan menyerang platform open-source kecerdasan buatan global Hugging Face pada bulan Juli. Setelah Hugging Face mengalami serangan tersebut, beberapa insiden terkait agen AI dari OpenAI juga terungkap. Termasuk pada bulan September, diberitakan bahwa agen AI OpenAI pada musim semi tahun ini mengambil alih situs wiki Jerman yang sudah lama tidak dipelihara. Selain itu, pada pertengahan bulan ini, OpenAI dalam sebuah artikel blog menyatakan bahwa dalam enam bulan terakhir mereka menemukan enam kasus perilaku model yang "tidak disengaja atau mengkhawatirkan". Keenam insiden keamanan AI yang baru diumumkan itu terkait berbagai perilaku model abnormal, seperti menyembunyikan kesalahan, mencari kredensial tanpa otorisasi, mengunggah file ke situs publik, serta melakukan komunikasi antar lingkungan pelatihan yang seharusnya terisolasi, di mana kasus paling awal dapat ditelusuri hingga Oktober tahun lalu.

Seiring frekuensi tinggi insiden keamanan AI akhir-akhir ini, perusahaan AI menghadapi tekanan yang semakin besar untuk menangani risiko keamanan dengan lebih serius. CEO Anthropic Dario Amodei pada tanggal 12 September lalu menerbitkan sebuah artikel peringatan yang menyerukan perlambatan pengembangan model AI terdepan. Seruan ini dengan cepat mendapat tanggapan dari dua tokoh kunci, Elon Musk dan Sam Altman.

Namun, ketika para raksasa industri AI secara langka bersama-sama menyerukan "pengereman", CEO Nvidia Jensen Huang mengambil sikap tegas menentang seruan "AI slowdown" yang dipimpin Anthropic. Huang tidak menentang keamanan AI itu sendiri, melainkan menarik kesimpulan bahwa kebutuhan untuk memperlambat atau menghentikan seluruh industri berasal dari prediksi bencana yang belum terbukti. Berbeda dengan itu, Jensen Huang lebih memilih melihat keamanan AI sebagai masalah rekayasa. Jika terjadi insiden di sebuah laboratorium terdepan, hal pertama yang harus dilakukan adalah analisis akar masalah: apa yang sebenarnya terjadi, bagian mana yang gagal, tindakan apa yang bisa diambil, dan langkah teknologi serta proses baru apa yang selanjutnya perlu dibangun. Selanjutnya, melalui sandbox, pemantauan berkelanjutan, verifikasi, dan evaluasi, masalah yang sama harus dicegah sebelum rilis berikutnya.

Berdasarkan penilaian Jensen Huang, laboratorium paling terdepan saat ini lebih rentan mengekspose risiko, terutama karena mereka memiliki daya komputasi terbanyak dan menangani masalah paling menantang. Seiring perusahaan-perusahaan ini bertransformasi dari institusi penelitian menjadi organisasi rekayasa yang sesungguhnya, mereka juga perlu membangun sistem pengujian dan kontrol yang sesuai.

Dari perilisan sistem keamanan AI kali ini, terlihat bahwa Nvidia mencoba mengintegrasikan kemampuan keamanan AI lebih lanjut ke infrastruktur operasional model dan eksekusi agen, menurunkan risiko keamanan agen AI melalui kontrol hak akses dan isolasi anomali. Ini juga menunjukkan bahwa jangkauan bisnis Nvidia semakin melebar, dari chip AI hingga perangkat lunak dan infrastruktur keamanan.