يقدّم هذا الدليل معلومات مهمة للمطوّرين الذين ينشئون تطبيقات Android باستخدام الذكاء الاصطناعي التوليدي. يطرح دمج الذكاء الاصطناعي التوليدي تحديات فريدة تتجاوز عملية تطوير البرامج العادية.
يتم تعديل هذا الدليل باستمرار ليعكس المخاطر الجديدة والمتطورة المرتبطة بالذكاء الاصطناعي. استخدِم هذا المحتوى للتعرّف على المخاطر الكبيرة المرتبطة بدمج إمكانات الذكاء الاصطناعي التوليدي في تطبيقاتك واكتشاف استراتيجيات فعّالة للحدّ من هذه المخاطر.
حقن الطلبات
وصف المخاطر وفقًا لمعيار OWASP
يصمّم المهاجمون مدخلات ضارة (طلبات) لخداع النموذج من أجل تجاوز سياسات الأمان والسلامة أو تنفيذ إجراءات غير مقصودة. قد يؤدي الهجوم الناجح إلى أن يكشف النموذج بيانات حساسة أو ينشئ محتوًى ضارًا أو ينفّذ إجراءات غير مقصودة، ما يؤدي إلى فقدان ثقة المستخدمين. تعرَّف على كيفية الحدّ من هجمات حقن الطلبات.
الإفصاح عن المعلومات الحسّاسة
وصف المخاطر وفقًا لمعيار OWASP
تشكّل نماذج الذكاء الاصطناعي التوليدي خطرًا كبيرًا من حيث الكشف عن المعلومات الحسّاسة، إذ يمكن أن تؤدي إلى تسرُّب مجموعة كبيرة من البيانات التي تؤثر في النموذج اللغوي الكبير وسياق تطبيقه. يمكن أن تحدث عمليات التسريب عندما يعرض النموذج هذه البيانات السرية للمستخدمين الآخرين، أو عندما يخزّن مقدّمو خدمة تعلُّم الآلة كخدمة (MLaaS) الطلبات بشكل غير آمن، أو عندما يستغلّ الجهات الخبيثة النظام للكشف عن المنطق الداخلي. وتتراوح العواقب بين انتهاكات الملكية الفكرية والعقوبات التنظيمية (على سبيل المثال، اللائحة العامة لحماية البيانات وقانون خصوصية المستهلك في كاليفورنيا) وفقدان ثقة المستخدمين بالكامل وتعريض النظام للخطر. كيفية الحدّ من مخاطر الإفصاح عن المعلومات الحساسة
الوكالة المفرطة
وصف المخاطر وفقًا لمعيار OWASP
يمكن أن يؤدي دمج وكلاء النماذج اللغوية الكبيرة مع وظائف أو أدوات لتنفيذ إجراءات إلى حدوث مخاطر أمنية. قد تؤدي الطلبات الضارة التي تستغل ميزة "استدعاء الدوال" إلى فقدان البيانات بشكل غير مقصود. يتحمّل المطوّرون مسؤولية تنفيذ إجراءات الحماية (مثل موافقة المستخدم والتحقّق من الصحة وعناصر التحكّم في الوصول) لمنع الإجراءات الضارة التي تتخذها تكنولوجيات الذكاء الاصطناعي. كيفية الحدّ من المخاطر المفرطة التي تتحمّلها الوكالة
ملخّص
يتطلّب تأمين أنظمة الذكاء الاصطناعي التوليدي اتّباع نهج متعدد الجوانب يتجاوز ممارسات الأمن السيبراني التقليدية من أجل التصدّي للتحديات الفريدة التي تطرحها نماذج الذكاء الاصطناعي، مثل دورة حياة التطوير والتفاعلات مع المستخدمين والأنظمة. تشمل هذه الجهود الشاملة إجراء اختبارات استباقية، والمراقبة المستمرة، والحوكمة الفعّالة، والالتزام بالأُطر التنظيمية المتطورة. من أفضل الطرق لتطبيق هذه المبادئ استخدام أدوات خاصة بالمجال، مثل التقييم الذاتي لمخاطر SAIF، لفهم المخاطر والحدّ منها بشكل أفضل.