Questa guida fornisce informazioni cruciali per gli sviluppatori che creano applicazioni Android utilizzando l'AI generativa. L'integrazione dell'AI generativa presenta sfide uniche che vanno oltre lo sviluppo software standard.
Questa guida viene aggiornata continuamente per riflettere i rischi dell'AI nuovi ed emergenti. Utilizza questi contenuti per comprendere i rischi significativi associati all'integrazione delle funzionalità di AI generativa nelle tue app e scoprire strategie di mitigazione efficaci.
Prompt injection
Un malintenzionato crea input (prompt) dannosi per indurre il modello a bypassare le sue norme di sicurezza o a eseguire azioni non intenzionali. Un attacco riuscito potrebbe indurre il modello a rivelare dati sensibili, generare contenuti dannosi o eseguire azioni non intenzionali, danneggiando la fiducia degli utenti. Scopri come mitigare gli attacchi di prompt injection.
Divulgazione di informazioni sensibili
I modelli di AI generativa comportano un rischio significativo di divulgazione di informazioni sensibili, con la potenziale fuoriuscita di un'ampia gamma di dati che interessano sia l'LLM sia il contesto dell'applicazione. Le fughe di dati possono verificarsi quando il modello restituisce questi dati riservati ad altri utenti, quando i fornitori di machine learning as a service (MLaaS) memorizzano in modo non sicuro i prompt o quando malintenzionati sfruttano il sistema per rivelare la logica interna. Le conseguenze sono gravi e vanno dalle violazioni della proprietà intellettuale e sanzioni normative (ad esempio, GDPR, CCPA) alla completa perdita di fiducia degli utenti e alla compromissione del sistema. Scopri come mitigare il rischio di divulgazione di informazioni sensibili.
Agenzia eccessiva
L'integrazione di agenti LLM con funzioni o strumenti per intraprendere azioni può introdurre rischi per la sicurezza. Prompt dannosi che sfruttano la chiamata di funzioni potrebbero causare la perdita involontaria di dati. Gli sviluppatori sono responsabili dell'implementazione di misure di salvaguardia (ad es. consenso dell'utente, convalida, controlli dell'accesso) per prevenire azioni di IA dannose. Scopri come mitigare il rischio eccessivo dell'agenzia.
Riepilogo
La protezione dei sistemi di AI generativa richiede un approccio sfaccettato che estenda le pratiche di cybersecurity tradizionali per affrontare le sfide uniche poste dai modelli di AI, come il ciclo di vita dello sviluppo e le interazioni con utenti e sistemi. Questo sforzo completo prevede test proattivi, monitoraggio continuo, governance solida e rispetto dei quadri normativi in evoluzione. Un ottimo modo per mettere in pratica questi principi è utilizzare strumenti del settore come l'autovalutazione dei rischi SAIF per comprendere e mitigare meglio i rischi.