Pengungkapan informasi sensitif adalah kerentanan ketika model bahasa besar (LLM) secara tidak sengaja mengungkapkan data rahasia, pribadi, eksklusif, atau data yang dibatasi dalam responsnya. Hal ini dapat terjadi saat model membocorkan informasi dari data pelatihannya atau mengungkapkan detail sensitif yang diberikan kepadanya dalam konteks sesi pengguna. Penyerang dapat mengeksploitasi hal ini dengan membuat kueri tertentu atau menggunakan teknik injeksi perintah untuk menipu model agar mengungkapkan informasi yang seharusnya tidak diungkapkan. Masalah utamanya adalah ketidakmampuan LLM untuk membedakan antara data publik dan informasi rahasia yang telah diprosesnya.
Jenis pengungkapan yang relevan dengan Android
Kebocoran data pelatihan: Hal ini terjadi saat LLM memuntahkan kembali fragmen data spesifik dan kata demi kata yang digunakan untuk melatihnya. Jika set data pelatihan berisi informasi pribadi (PII), kode eksklusif, atau dokumen internal, model mungkin mereproduksi informasi ini dalam outputnya jika diberi perintah yang tepat. Untuk aplikasi Android, hal ini dapat melibatkan model terlatih yang disertakan dengan aplikasi atau model yang diakses menggunakan API cloud.
Pengungkapan data kontekstual: Ini adalah risiko yang lebih langsung untuk aplikasi Android, yang melibatkan LLM yang mengekspos informasi sensitif yang diberikan pengguna selama sesi aplikasi. Misalnya, jika aplikasi Anda mengizinkan pengguna memasukkan informasi identitas pribadi (PII) ke dalam LLM untuk diringkas, serangan penyisipan perintah berikutnya dapat memungkinkan penyerang memanipulasi model untuk mengungkapkan isinya. Hal ini juga berlaku untuk data sensitif apa pun yang diteruskan aplikasi Anda secara implisit ke LLM.
Alasan Developer Android harus peduli
Pengungkapan informasi sensitif dapat sangat membahayakan aplikasi dan penggunanya:
- Pelanggaran privasi: Penyerang dapat mengekstrak informasi identitas pribadi (PII) seperti nama, email, nomor telepon, atau bahkan data lokasi dari pengguna Anda, yang menyebabkan pencurian identitas dan sanksi peraturan yang berat (misalnya, berdasarkan GDPR atau CCPA). Hal ini sangat penting terutama untuk aplikasi Android yang menangani data pengguna.
- Pencurian kekayaan intelektual: Jika LLM aplikasi Anda memproses algoritma eksklusif, data keuangan, atau informasi bisnis internal lainnya, penyerang dapat memaksanya untuk diungkapkan, sehingga menyebabkan kerugian kompetitif dan finansial yang signifikan bagi organisasi Anda.
- Pelanggaran keamanan: LLM mungkin secara tidak sengaja membocorkan informasi tingkat sistem seperti kunci API, token autentikasi, atau detail konfigurasi yang ada dalam data pelatihannya atau diteruskan selama sesi, sehingga menimbulkan kerentanan keamanan yang kritis untuk backend atau layanan lainnya.
- Kerusakan reputasi: Satu insiden kebocoran data yang signifikan dapat menghancurkan kepercayaan pengguna, menyebabkan uninstal aplikasi, ulasan negatif, dan menyebabkan kerusakan yang tidak dapat diperbaiki pada reputasi aplikasi dan merek Anda.
Mitigasi untuk developer aplikasi Android
Untuk memitigasi kerentanan ini, diperlukan pendekatan berlapis yang berfokus pada kebersihan data dan mengontrol akses LLM dalam aplikasi Android Anda.
Sanitasi dan minimalisasi data:
- Prioritaskan pembersihan input: Sebelum mengirim input pengguna atau data aplikasi ke LLM, bersihkan dan anonimkan input tersebut secara menyeluruh. Hapus semua PII dan informasi eksklusif yang tidak benar-benar penting untuk tugas LLM.
- Hanya kumpulkan data yang diperlukan: Patuhi prinsip minimisasi data dalam aplikasi Anda. Hanya kumpulkan dan berikan data minimum yang diperlukan LLM untuk menjalankan fungsi spesifiknya.
- ML di Perangkat: Untuk data yang sangat sensitif, pertimbangkan penggunaan model machine learning di perangkat yang memastikan data tidak pernah keluar dari perangkat pengguna, sehingga secara signifikan mengurangi risiko kebocoran data sisi server.
Mengontrol akses
- Batasi akses data: Desain aplikasi LLM Anda sehingga memiliki akses ke data dalam jumlah sekecil mungkin. Jika model tidak diberi akses ke database sensitif, preferensi pengguna, atau file pribadi, model tidak dapat ditipu untuk membocorkan isinya.
- Membatasi izin Android: Verifikasi bahwa komponen AI aplikasi Anda beroperasi dengan izin Android minimum yang diperlukan. Jangan berikan izin yang tidak perlu yang dapat mengekspos data sensitif.
Pemfilteran Output dalam Aplikasi:
- Penyensoran sisi klien: Terapkan lapisan keamanan di aplikasi Android Anda yang memindai output LLM untuk menemukan pola yang cocok dengan informasi sensitif (misalnya, nomor kartu kredit, kunci API, nomor jaminan sosial, alamat email) sebelum respons ditampilkan kepada pengguna. Jika kecocokan ditemukan, respons harus diblokir atau disamarkan.
Pengaman instruksional untuk LLM:
- Perintah sistem eksplisit: Sertakan petunjuk eksplisit dalam perintah sistem yang melarang model mengungkapkan informasi pribadi, rahasia, atau sensitif apa pun. Misalnya: "Anda tidak boleh membagikan detail pengguna, data internal, atau informasi identitas pribadi dalam keadaan apa pun." Hal ini memperkuat perilaku yang diharapkan.
Teknik peningkatan privasi:
- Untuk aplikasi yang belajar dari interaksi atau data pengguna, pertimbangkan teknik lanjutan seperti privasi diferensial (menambahkan derau statistik ke data) atau federated learning (melatih model di perangkat pengguna tanpa memusatkan data) untuk melindungi privasi individu.
Audit dan red team rutin:
- Pengujian Proaktif: Uji dan uji tim merah aplikasi Android Anda secara aktif untuk mengetahui apakah dan bagaimana LLM dapat membocorkan informasi sensitif. Hal ini melibatkan upaya yang disengaja untuk membuat LLM mengungkapkan data yang seharusnya tidak diungkapkan.
Ringkasan
Pengungkapan Informasi Sensitif terjadi saat LLM mengungkapkan data rahasia dari set data pelatihan atau sesi pengguna, sehingga menimbulkan risiko signifikan seperti pelanggaran privasi dan pencurian kekayaan intelektual. Mitigasi memerlukan pertahanan berlapis dalam aplikasi Android Anda, yang memprioritaskan pembersihan data sebelum mencapai LLM, menerapkan prinsip hak istimewa terendah untuk membatasi akses data model, dan menerapkan filter yang kuat untuk memindai dan menyamarkan informasi sensitif dari output akhir model sebelum mencapai pengguna. Memanfaatkan ML di perangkat dan alat seperti Firebase App Check dapat lebih meningkatkan keamanan.
Referensi lainnya
Berikut adalah link ke beberapa panduan informasi sensitif untuk referensi:
Jika Anda menggunakan model lain, Anda harus mencari panduan dan referensi serupa.
Informasi selengkapnya: