Это руководство содержит важную информацию для разработчиков, создающих Android-приложения с использованием генеративного искусственного интеллекта (GenAI). Интеграция GenAI сопряжена с уникальными проблемами, выходящими за рамки стандартной разработки программного обеспечения.
Данное руководство постоянно обновляется, чтобы отражать новые и меняющиеся риски, связанные с ИИ. Используйте этот материал, чтобы понять значительные риски, связанные с интеграцией возможностей GenAI в ваши приложения, и узнать об эффективных стратегиях их смягчения.
Немедленная инъекция
Злоумышленник создает вредоносные входные данные (подсказки), чтобы обманом заставить модель обойти ее политики безопасности или выполнить непредусмотренные действия. Успешная атака может привести к тому, что модель раскроет конфиденциальные данные, сгенерирует вредоносный контент или выполнит непредусмотренные действия, что подорвет доверие пользователей. Узнайте, как предотвратить атаки с внедрением подсказок .
Раскрытие конфиденциальной информации
Генеративные модели искусственного интеллекта представляют собой значительный риск раскрытия конфиденциальной информации, потенциально приводя к утечке широкого спектра данных, затрагивающих как саму модель обучения, так и контекст её применения. Утечки могут происходить, когда модель передает эти конфиденциальные данные другим пользователям, когда поставщики услуг машинного обучения (MLaaS) небезопасно хранят запросы, или когда злоумышленники используют систему для раскрытия внутренней логики. Последствия серьёзны и варьируются от нарушения прав интеллектуальной собственности и санкций со стороны регулирующих органов (например, GDPR , CCPA ) до полной потери доверия пользователей и компрометации системы. Узнайте, как снизить риск раскрытия конфиденциальной информации .
Чрезмерная самостоятельность
Интеграция агентов LLM с функциями или инструментами для выполнения действий может создавать риски безопасности. Вредоносные запросы, использующие вызовы функций, могут привести к непреднамеренной потере данных. Разработчики несут ответственность за внедрение мер защиты (например, согласие пользователя, проверка данных, контроль доступа) для предотвращения вредоносных действий ИИ. Узнайте, как снизить чрезмерный риск, связанный с агентами .
Краткое содержание
Для обеспечения безопасности систем GenAI необходим многогранный подход, который расширяет традиционные методы кибербезопасности, чтобы решить уникальные проблемы, связанные с моделями ИИ, такие как жизненный цикл разработки и взаимодействие с пользователями и системами. Эти комплексные усилия включают в себя проактивное тестирование, непрерывный мониторинг, надежное управление и соблюдение постоянно меняющихся нормативных требований. Отличный способ применить эти принципы на практике — использовать отраслевые инструменты, такие как SAIF Risk Self-Assessment, для лучшего понимания и снижения рисков.