Ce guide fournit des informations essentielles aux développeurs qui créent des applications Android à l'aide de l'IA générative. L'intégration de l'IA générative présente des défis uniques qui vont au-delà du développement logiciel standard.
Ce guide est mis à jour en permanence pour refléter les risques liés à l'IA, qui évoluent sans cesse. Utilisez ce contenu pour comprendre les risques importants associés à l'intégration de fonctionnalités d'IA générative dans vos applications et découvrir des stratégies d'atténuation efficaces.
Injection de requêtes
Un pirate informatique crée des entrées (requêtes) malveillantes pour inciter le modèle à contourner ses règles de sécurité ou à effectuer des actions non prévues. Une attaque réussie peut amener le modèle à révéler des données sensibles, à générer du contenu nuisible ou à exécuter des actions non prévues, ce qui nuit à la confiance des utilisateurs. Découvrez comment limiter les attaques par injection de prompt.
Divulgation d'informations sensibles
Les modèles d'IA générative présentent un risque important de divulgation d'informations sensibles, pouvant entraîner la fuite d'un large éventail de données affectant à la fois le LLM et son contexte d'application. Des fuites peuvent se produire lorsque le modèle transmet ces données confidentielles à d'autres utilisateurs, lorsque les fournisseurs de machine learning as a service (MLaaS) stockent les requêtes de manière non sécurisée ou lorsque des personnes malveillantes exploitent le système pour révéler la logique interne. Les conséquences sont graves, allant des atteintes à la propriété intellectuelle et des sanctions réglementaires (par exemple, le RGPD et le CCPA) à la perte totale de la confiance des utilisateurs et à la compromission du système. Découvrez comment limiter les risques de divulgation d'informations sensibles.
Agence excessive
L'intégration d'agents LLM à des fonctions ou des outils pour effectuer des actions peut entraîner des risques de sécurité. Les requêtes malveillantes exploitant l'appel de fonction peuvent entraîner une perte de données involontaire. Les développeurs sont responsables de la mise en œuvre de mesures de protection (par exemple, consentement de l'utilisateur, validation, contrôles d'accès) pour prévenir les actions d'IA nuisibles. Découvrez comment limiter les risques excessifs liés aux agences.
Résumé
La sécurisation des systèmes d'IA générative nécessite une approche multifacette qui étend les pratiques de cybersécurité traditionnelles pour relever les défis uniques posés par les modèles d'IA, comme le cycle de vie du développement et les interactions avec les utilisateurs et les systèmes. Cet effort complet implique des tests proactifs, une surveillance continue, une gouvernance solide et le respect des cadres réglementaires en constante évolution. Un excellent moyen de mettre ces principes en pratique consiste à utiliser des outils sectoriels tels que l'auto-évaluation des risques liés au SAIF pour mieux comprendre et atténuer les risques.