המדריך הזה מספק מידע חשוב למפתחים שיוצרים אפליקציות ל-Android באמצעות AI גנרטיבי (GenAI). שילוב של AI גנרטיבי מציב אתגרים ייחודיים שחורגים מפיתוח תוכנה רגיל.
המדריך הזה מתעדכן באופן שוטף כדי לשקף סיכוני AI חדשים ומתפתחים. התוכן הזה יעזור לכם להבין את הסיכונים המשמעותיים שקשורים לשילוב יכולות של AI גנרטיבי באפליקציות שלכם, ולגלות אסטרטגיות יעילות להשבתה זמנית של אותות אכיפה.
החדרת הנחיות
תוקף יוצר קלט זדוני (הנחיות) כדי להטעות את המודל ולגרום לו לעקוף את מדיניות האבטחה והבטיחות שלו או לבצע פעולות לא מכוונות. התקפה מוצלחת עלולה לגרום למודל לחשוף מידע אישי רגיש, ליצור תוכן פוגעני או לבצע פעולות לא מכוונות, ולפגוע באמון המשתמשים. איך מפחיתים את הסיכון למתקפות של החדרת הנחיות
חשיפה של מידע רגיש
מודלים של AI גנרטיבי יוצרים סיכון משמעותי לחשיפת מידע רגיש, ועלולים לגרום לדליפה של מגוון רחב של נתונים שמשפיעים על מודל ה-LLM ועל הקשר של האפליקציה שלו. הדלפות יכולות לקרות כשהמודל מוציא את הנתונים הסודיים האלה למשתמשים אחרים, כשספקי למידת מכונה כשירות (MLaaS) מאחסנים הנחיות בצורה לא מאובטחת, או כשגורמים זדוניים מנצלים את המערכת כדי לחשוף לוגיקה פנימית. ההשלכות חמורות, החל מהפרות של קניין רוחני וקנסות רגולטוריים (לדוגמה, GDPR, CCPA) ועד לאובדן מוחלט של אמון המשתמשים ופגיעה במערכת. איך מצמצמים את הסיכון לחשיפת מידע רגיש
סוכנות מוגזמת
שילוב של סוכני LLM עם פונקציות או כלים לביצוע פעולות עלול להוביל לסיכוני אבטחה. הנחיות זדוניות שמנצלות את התכונה 'הפעלת פונקציות' עלולות לגרום לאובדן נתונים לא מכוון. מפתחים אחראים להטמעת אמצעי הגנה (למשל, הסכמת משתמש, אימות, בקרת גישה) כדי למנוע פעולות מזיקות של AI. איך מצמצמים את הסיכון המוגבר של סוכנויות
סיכום
אבטחת מערכות GenAI מחייבת גישה רב-גונית שמרחיבה את שיטות הסייבר המסורתיות כדי להתמודד עם האתגרים הייחודיים שמציבים מודלים של AI, כמו מחזור החיים של הפיתוח והאינטראקציות עם משתמשים ומערכות. המאמץ המקיף הזה כולל בדיקות יזומות, מעקב רציף, פיקוח חזק ועמידה במסגרות רגולטוריות משתנות. דרך מצוינת ליישם את העקרונות האלה היא להשתמש בכלים בתחום כמו הערכה עצמית של סיכונים ב-SAIF כדי להבין טוב יותר את הסיכונים ולצמצם אותם.