En esta guía, se proporciona información fundamental para los desarrolladores que compilan aplicaciones para Android con IA generativa (GenAI). La integración de la IA generativa presenta desafíos únicos que van más allá del desarrollo de software estándar.
Esta guía se actualiza de forma continua para reflejar los riesgos de la IA nuevos y en evolución. Usa este contenido para comprender los riesgos significativos asociados con la integración de capacidades de IA generativa en tus apps y descubrir estrategias de mitigación eficaces.
Inyección de instrucciones
Descripción del riesgo de OWASP
Un atacante crea entradas (instrucciones) maliciosas para engañar al modelo y hacer que eluda sus políticas de seguridad y protección, o bien realice acciones no deseadas. Un ataque exitoso podría hacer que el modelo revele datos sensibles, genere contenido dañino o ejecute acciones no deseadas, lo que dañaría la confianza del usuario. Obtén más información para mitigar los ataques de inyección de instrucciones.
Divulgación de información sensible
Descripción del riesgo de OWASP
Los modelos de IA generativa representan un riesgo significativo de divulgación de información sensible, ya que pueden filtrar una amplia variedad de datos que afectan tanto al LLM como a su contexto de aplicación. Las filtraciones pueden ocurrir cuando el modelo genera estos datos confidenciales para otros usuarios, cuando los proveedores de aprendizaje automático como servicio (MLaaS) almacenan de forma insegura las instrucciones o cuando los agentes maliciosos explotan el sistema para revelar la lógica interna. Las consecuencias son graves, desde violaciones de la propiedad intelectual y sanciones reglamentarias (por ejemplo, el RGPD y la CCPA) hasta la pérdida total de la confianza del usuario y la vulneración del sistema. Obtén más información para mitigar el riesgo de divulgación de información sensible.
Agencia excesiva
Descripción del riesgo de OWASP
La integración de agentes basados en LLMs con funciones o herramientas para realizar acciones puede generar riesgos de seguridad. Las instrucciones maliciosas que explotan la llamada a funciones podrían provocar una pérdida de datos no deseada. Los desarrolladores son responsables de implementar medidas de protección (p.ej., consentimiento del usuario, validación, controles de acceso) para evitar acciones dañinas de la IA. Obtén más información para mitigar el riesgo excesivo de la agencia.
Resumen
Para proteger los sistemas de IA generativa, se requiere un enfoque multifacético que extienda las prácticas tradicionales de ciberseguridad para abordar los desafíos únicos que plantean los modelos de IA, como el ciclo de vida del desarrollo y las interacciones con los usuarios y los sistemas. Este esfuerzo integral incluye pruebas proactivas, supervisión continua, una administración sólida y el cumplimiento de los marcos regulatorios en evolución. Una excelente manera de poner en práctica estos principios es usar herramientas de la industria, como la autoevaluación de riesgos de SAIF, para comprender y mitigar mejor los riesgos.