Panduan ini memberikan informasi penting bagi developer yang membangun aplikasi Android menggunakan AI generatif (GenAI). Integrasi AI generatif menimbulkan tantangan unik yang melampaui pengembangan software standar.
Panduan ini terus diperbarui untuk mencerminkan risiko AI baru dan yang terus berkembang. Gunakan konten ini untuk memahami risiko signifikan yang terkait dengan mengintegrasikan kemampuan AI Generatif ke dalam aplikasi Anda dan temukan strategi mitigasi yang efektif.
Injeksi perintah
Penyerang membuat input (perintah) berbahaya untuk mengelabui model agar melewati kebijakan keamanan dan keselamatannya atau melakukan tindakan yang tidak diinginkan. Serangan yang berhasil dapat menyebabkan model mengungkapkan data sensitif, menghasilkan konten berbahaya, atau menjalankan tindakan yang tidak diinginkan, sehingga merusak kepercayaan pengguna. Pelajari cara memitigasi serangan injeksi perintah.
Pengungkapan informasi sensitif
Model AI generatif menimbulkan risiko signifikan terkait pengungkapan informasi sensitif, yang berpotensi membocorkan berbagai data yang memengaruhi LLM dan konteks penerapannya. Kebocoran dapat terjadi saat model menampilkan data rahasia ini kepada pengguna lain, saat penyedia machine learning sebagai layanan (MLaaS) menyimpan perintah secara tidak aman, atau saat pelaku berbahaya mengeksploitasi sistem untuk mengungkapkan logika internal. Konsekuensinya sangat berat, mulai dari pelanggaran kekayaan intelektual dan sanksi peraturan (misalnya, GDPR, CCPA) hingga hilangnya kepercayaan pengguna dan kompromi sistem secara total. Pelajari cara mengurangi risiko pengungkapan informasi sensitif.
Lembaga yang berlebihan
Mengintegrasikan agen LLM dengan fungsi atau alat untuk melakukan tindakan dapat menimbulkan risiko keamanan. Perintah berbahaya yang mengeksploitasi panggilan fungsi dapat menyebabkan hilangnya data yang tidak diinginkan. Developer bertanggung jawab untuk menerapkan pengamanan (misalnya, izin pengguna, validasi, kontrol akses) untuk mencegah tindakan AI yang berbahaya. Pelajari cara mengurangi risiko agensi yang berlebihan.
Ringkasan
Mengamankan sistem GenAI memerlukan pendekatan multifaset yang memperluas praktik keamanan siber tradisional untuk mengatasi tantangan unik yang ditimbulkan oleh model AI, seperti siklus proses pengembangan, dan interaksi dengan pengguna dan sistem. Upaya komprehensif ini mencakup pengujian proaktif, pemantauan berkelanjutan, tata kelola yang kuat, dan kepatuhan terhadap kerangka kerja peraturan yang terus berkembang. Cara yang bagus untuk mempraktikkan prinsip-prinsip ini adalah dengan menggunakan alat industri seperti Penilaian Mandiri Risiko SAIF untuk lebih memahami dan memitigasi risiko.