Este guia fornece informações importantes para desenvolvedores que criam aplicativos Android usando a IA generativa (GenAI). A integração da IA generativa apresenta desafios únicos que vão além do desenvolvimento de software padrão.
Este guia é atualizado continuamente para refletir os riscos novos e em evolução da IA. Use este conteúdo para entender os riscos significativos associados à integração de recursos de IA generativa nos seus apps e descobrir estratégias de mitigação eficazes.
Injeção de comando
Um invasor cria entradas (comandos) mal-intencionadas para enganar o modelo e fazer com que ele burle as políticas de segurança ou execute ações não intencionais. Um ataque bem-sucedido pode fazer com que o modelo revele dados sensíveis, gere conteúdo nocivo ou execute ações não intencionais, prejudicando a confiança do usuário. Saiba como reduzir o risco de ataques de injeção de comando.
Divulgação de informações sensíveis
Os modelos de IA generativa representam um risco significativo de divulgação de informações sensíveis, podendo vazar uma ampla variedade de dados que afetam o LLM e o contexto de aplicação dele. Os vazamentos podem ocorrer quando o modelo gera esses dados confidenciais para outros usuários, quando os provedores de aprendizado de máquina como serviço (MLaaS) armazenam solicitações de forma insegura ou quando agentes mal-intencionados exploram o sistema para revelar a lógica interna. As consequências são graves, desde violações de propriedade intelectual e penalidades regulatórias (por exemplo, GDPR, CCPA) até a perda total da confiança do usuário e comprometimento do sistema. Saiba como reduzir o risco de divulgação de informações sensíveis.
Agência excessiva
A integração de agentes de LLM com funções ou ferramentas para realizar ações pode introduzir riscos de segurança. Comandos mal-intencionados que exploram a chamada de função podem levar à perda de dados não intencional. Os desenvolvedores são responsáveis por implementar proteções (por exemplo, consentimento do usuário, validação, controles de acesso) para evitar ações prejudiciais de IA. Saiba como reduzir o risco excessivo de agências.
Resumo
Para proteger os sistemas de IA generativa, é necessário adotar uma abordagem multifacetada que estenda as práticas tradicionais de cibersegurança para lidar com os desafios exclusivos apresentados pelos modelos de IA, como ciclo de vida de desenvolvimento e interações com usuários e sistemas. Esse esforço abrangente envolve testes proativos, monitoramento contínuo, governança robusta e adesão a estruturas regulatórias em evolução. Uma ótima maneira de colocar esses princípios em prática é usar ferramentas do setor, como a autoavaliação de risco da SAIF (em inglês), para entender e reduzir os riscos.