منع الإفصاح عن المعلومات الحسّاسة

وصف المخاطر وفقًا لمعيار OWASP

يُعدّ الإفصاح عن المعلومات الحسّاسة ثغرة أمنية يكشف فيها نموذج لغوي كبير (LLM) عن غير قصد عن بيانات سرية أو خاصة أو محمية بحقوق ملكية أو محظورة بأي شكل آخر في ردوده. يمكن أن يحدث ذلك عندما يسرّب النموذج معلومات من بيانات التدريب أو يكشف عن تفاصيل حساسة تم تقديمها إليه ضمن سياق جلسة المستخدم. يمكن للمهاجمين استغلال ذلك من خلال صياغة طلبات بحث محددة أو استخدام أساليب حقن الطلبات لخداع النموذج وحمله على الكشف عن معلومات لا يفترض أن يكشف عنها. تكمن المشكلة الأساسية في عدم قدرة النموذج اللغوي الكبير على التمييز بين البيانات العامة والمعلومات السرية التي عالجها.

أنواع الإفصاحات ذات الصلة بنظام التشغيل Android

تسريب بيانات التدريب: يحدث ذلك عندما يعيد نموذج لغوي كبير عرض أجزاء محدّدة من البيانات التي تم تدريبه عليها. إذا كانت مجموعة بيانات التدريب تتضمّن معلومات شخصية (PII) أو رمزًا برمجيًا خاصًا أو مستندات داخلية، قد يعيد النموذج إنتاج هذه المعلومات في ناتجه عند تقديم الطلب بشكل صحيح. بالنسبة إلى تطبيقات Android، قد يشمل ذلك نماذج مُدرَّبة مسبقًا ومضمّنة في التطبيق أو نماذج يتم الوصول إليها باستخدام واجهات برمجة التطبيقات المستندة إلى السحابة الإلكترونية.

الإفصاح عن البيانات السياقية: يشكّل هذا الأمر خطرًا مباشرًا على تطبيقات Android، إذ يعرض النموذج اللغوي الكبير معلومات حساسة يقدّمها المستخدم أثناء جلسة استخدام التطبيق. على سبيل المثال، إذا كان تطبيقك يسمح للمستخدم بإدخال معلومات تحديد الهوية الشخصية (PII) في نموذج لغوي كبير (LLM) لتلخيصها، يمكن أن يتيح هجوم لاحق بحقن التعليمات البرمجية للمخترق التلاعب بالنموذج للكشف عن المحتوى. ينطبق ذلك أيضًا على أي بيانات حساسة يمرّرها تطبيقك ضمنيًا إلى النموذج اللغوي الكبير.

أهمية ذلك بالنسبة إلى مطوّري تطبيقات Android

يمكن أن يؤدي الإفصاح عن معلومات حساسة إلى تعريض التطبيق ومستخدميه للخطر بشكل كبير، وذلك للأسباب التالية:

  • انتهاكات الخصوصية: يمكن للمهاجم استخراج معلومات تحدّد الهوية الشخصية (PII)، مثل الأسماء أو عناوين البريد الإلكتروني أو أرقام الهواتف أو حتى بيانات الموقع الجغرافي، من المستخدمين، ما يؤدي إلى سرقة الهوية وفرض عقوبات تنظيمية شديدة (على سبيل المثال، بموجب اللائحة العامة لحماية البيانات (GDPR) أو قانون خصوصية المستهلك في كاليفورنيا (CCPA)). ويُعدّ ذلك مهمًا بشكل خاص لتطبيقات Android التي تتعامل مع بيانات المستخدمين.
  • سرقة الملكية الفكرية: إذا كانت نماذج اللغة الكبيرة في تطبيقك تعالج خوارزميات خاصة أو بيانات مالية أو معلومات أخرى خاصة بالنشاط التجاري، يمكن للمهاجم أن يجبر التطبيق على الكشف عنها، ما يؤدي إلى إلحاق ضرر كبير بمؤسستك على الصعيدين التنافسي والمالي.
  • انتهاكات الأمان: قد يؤدي النموذج اللغوي الكبير عن غير قصد إلى تسريب معلومات على مستوى النظام، مثل مفاتيح واجهة برمجة التطبيقات أو رموز المصادقة أو تفاصيل الإعداد التي كانت مضمّنة في بيانات التدريب أو تم تمريرها أثناء إحدى الجلسات، ما يؤدي إلى حدوث ثغرات أمنية خطيرة في الخلفية أو الخدمات الأخرى.
  • الإضرار بالسمعة: يمكن أن تؤدي حادثة واحدة كبيرة لتسرُّب البيانات إلى فقدان ثقة المستخدمين، وإلغاء تثبيت التطبيق، وكتابة مراجعات سلبية، وإلحاق ضرر لا يمكن إصلاحه بسمعة التطبيق والعلامة التجارية.

إجراءات التخفيف من المخاطر لمطوّري تطبيقات Android

يتطلّب الحدّ من هذه الثغرة الأمنية اتّباع نهج متعدّد الطبقات يركّز على سلامة البيانات والتحكّم في إذن الوصول إلى النموذج اللغوي الكبير داخل تطبيق Android.

تعقيم البيانات وتضييق نطاق جمعها:

  • تحديد أولويات تنظيف المدخلات: قبل إرسال أي مدخلات للمستخدم أو بيانات التطبيق إلى نموذج لغوي كبير، يجب تنظيفها وإخفاء هويتها بدقة. إزالة جميع معلومات تحديد الهوية الشخصية والمعلومات الخاصة التي ليست ضرورية تمامًا لمهمة النموذج اللغوي الكبير
  • جمع البيانات الضرورية فقط: يجب الالتزام بمبدأ الحدّ الأدنى من البيانات داخل تطبيقك، أي جمع الحدّ الأدنى من البيانات الضرورية لكي يؤدي النموذج اللغوي الكبير وظيفته المحددة وتقديمها إليه.
  • تعلُّم الآلة على الجهاز: بالنسبة إلى البيانات شديدة الحساسية، ننصحك باستخدام نماذج تعلُّم الآلة على الجهاز فقط، حيث لا يتم نقل البيانات من جهاز المستخدم مطلقًا، ما يقلّل بشكل كبير من خطر تسرُّب البيانات من جهة الخادم.

التحكّم في إمكانية الوصول

  • الحدّ من الوصول إلى البيانات: صمِّم تطبيق LLM بحيث يمكنه الوصول إلى أقل قدر ممكن من البيانات. إذا لم يتم منح النموذج إذن الوصول إلى قاعدة بيانات حساسة أو تفضيلات المستخدم أو الملفات الخاصة، لا يمكن خداعه لتسريب محتواها.
  • تقييد أذونات Android: تأكَّد من أنّ عناصر الذكاء الاصطناعي في تطبيقك تعمل بالحدّ الأدنى المطلق من أذونات Android اللازمة. لا تمنح أذونات غير ضرورية قد تكشف عن بيانات حساسة.

فلترة النتائج داخل التطبيق:

  • إخفاء المعلومات من جهة العميل: يمكنك تنفيذ طبقة أمان في تطبيق Android تفحص ناتج النموذج اللغوي الكبير بحثًا عن أنماط تطابق المعلومات الحساسة (مثل أرقام بطاقات الائتمان ومفاتيح واجهة برمجة التطبيقات وأرقام التأمين الاجتماعي وعناوين البريد الإلكتروني) قبل عرض الرد على المستخدم. في حال العثور على مطابقة، يجب حظر الردّ أو إخفاء المعلومات الحساسة فيه.

الإجراءات الوقائية التعليمية لنماذج اللغات الكبيرة:

  • طلبات واضحة من النظام: أدرِج تعليمات واضحة في طلب النظام تحظر على النموذج الكشف عن أي معلومات شخصية أو سرية أو حساسة. على سبيل المثال: "يجب عدم مشاركة أي تفاصيل خاصة بالمستخدمين أو بيانات داخلية أو معلومات تحدّد الهوية الشخصية تحت أي ظرف." ويعزّز ذلك السلوك المتوقّع.

تقنيات تعزيز الخصوصية:

  • بالنسبة إلى التطبيقات التي تتعلّم من تفاعلات المستخدمين أو بياناتهم، ننصحك باستخدام تقنيات متقدّمة، مثل الخصوصية التفاضلية (إضافة تشويش إحصائي إلى البيانات) أو التعلّم الموحّد (تدريب النماذج على أجهزة المستخدمين بدون تجميع البيانات في مكان واحد) لحماية خصوصية المستخدمين الفرديين.

التدقيق المنتظم واختبار الاختراق:

  • الاختبار الاستباقي: اختبِر تطبيق Android بشكل استباقي واستخدِم فريقًا أحمر لتحديد ما إذا كان النموذج اللغوي الكبير قد يسرّب معلومات حسّاسة وكيفية حدوث ذلك. ويشمل ذلك محاولة جعل النموذج اللغوي الكبير يكشف عن بيانات لا يجب أن يكشف عنها.

ملخّص

يحدث الإفصاح عن المعلومات الحساسة عندما يكشف نموذج لغوي كبير عن بيانات سرية من مجموعة التدريب أو جلسات المستخدمين، ما يؤدي إلى مخاطر كبيرة، مثل انتهاكات الخصوصية وسرقة الملكية الفكرية. تتطلّب إجراءات التخفيف توفير دفاع متعدد الطبقات داخل تطبيق Android، مع إعطاء الأولوية لتنقية البيانات قبل وصولها إلى النموذج اللغوي الكبير، وتطبيق مبدأ الحد الأدنى من الامتيازات للحدّ من وصول النموذج إلى البيانات، وتنفيذ فلاتر قوية لفحص المعلومات الحسّاسة وإخفائها من الناتج النهائي للنموذج قبل وصوله إلى المستخدم. يمكن تعزيز الأمان بشكل أكبر من خلال استخدام أدوات مثل Firebase App Check وتعلُّم الآلة على الجهاز.

مراجع إضافية

في ما يلي روابط لبعض إرشادات المعلومات الحسّاسة التي يمكنك الرجوع إليها:

إذا كنت تستخدم نماذج أخرى، عليك البحث عن إرشادات ومراجع مشابهة.

مزيد من المعلومات: