이 가이드에서는 생성형 AI (GenAI)를 사용하여 Android 애플리케이션을 빌드하는 개발자에게 중요한 정보를 제공합니다. 생성형 AI 통합은 표준 소프트웨어 개발을 넘어선 고유한 과제를 제시합니다.
이 가이드는 새롭게 등장하고 진화하는 AI 위험을 반영하기 위해 지속적으로 업데이트됩니다. 이 콘텐츠를 사용하여 앱에 생성형 AI 기능을 통합하는 데 따르는 심각한 위험을 이해하고 효과적인 완화 전략을 알아보세요.
프롬프트 인젝션
공격자는 모델이 보안 및 안전 정책을 우회하거나 의도하지 않은 작업을 수행하도록 속이기 위해 악성 입력 (프롬프트)을 만듭니다. 공격이 성공하면 모델이 민감한 정보를 공개하거나, 유해한 콘텐츠를 생성하거나, 의도하지 않은 작업을 실행하여 사용자 신뢰를 손상시킬 수 있습니다. 프롬프트 인젝션 공격을 완화하는 방법을 알아보세요.
민감한 정보 공개
생성형 AI 모델은 민감한 정보가 공개될 수 있는 심각한 위험을 내포하고 있으며, LLM과 애플리케이션 컨텍스트 모두에 영향을 미치는 광범위한 데이터가 유출될 수 있습니다. 모델이 이 기밀 데이터를 다른 사용자에게 출력하거나, 서비스형 머신러닝 (MLaaS) 제공업체가 프롬프트를 안전하지 않게 저장하거나, 악의적인 행위자가 시스템을 악용하여 내부 로직을 드러낼 때 유출이 발생할 수 있습니다. 지식 재산권 침해 및 규제 처벌 (예: GDPR, CCPA)부터 사용자 신뢰의 완전한 상실 및 시스템 손상에 이르기까지 결과는 심각합니다. 민감한 정보 공개 위험을 완화하는 방법을 알아보세요.
과도한 대행사
LLM 에이전트를 함수 또는 도구와 통합하여 작업을 수행하면 보안 위험이 발생할 수 있습니다. 함수 호출을 악용하는 악성 프롬프트는 의도치 않은 데이터 손실을 초래할 수 있습니다. 개발자는 유해한 AI 작업을 방지하기 위해 보호 조치 (예: 사용자 동의, 유효성 검사, 액세스 제어)를 구현해야 합니다. 과도한 대행사 위험을 완화하는 방법을 알아보세요.
요약
생성형 AI 시스템을 보호하려면 개발 수명 주기, 사용자와 시스템과의 상호작용과 같은 AI 모델이 제기하는 고유한 문제를 해결하기 위해 기존 사이버 보안 관행을 확장하는 다각적인 접근 방식이 필요합니다. 이 포괄적인 노력에는 사전 테스트, 지속적인 모니터링, 강력한 거버넌스, 진화하는 규제 프레임워크 준수가 포함됩니다. 이러한 원칙을 실천하는 좋은 방법은 SAIF 위험 자체 평가와 같은 업계 도구를 사용하여 위험을 더 잘 이해하고 완화하는 것입니다.