Ten przewodnik zawiera najważniejsze informacje dla deweloperów tworzących aplikacje na Androida z użyciem generatywnej AI. Integracja generatywnej AI wiąże się z wyjątkowymi wyzwaniami, które wykraczają poza standardowe tworzenie oprogramowania.
Ten przewodnik jest stale aktualizowany, aby uwzględniać nowe i zmieniające się zagrożenia związane z AI. Z tych materiałów dowiesz się o poważnych zagrożeniach związanych z integrowaniem funkcji generatywnej AI w aplikacjach i poznasz skuteczne strategie ograniczania ryzyka.
Wstrzykiwanie promptów
Atakujący tworzy złośliwe dane wejściowe (prompty), aby nakłonić model do obejścia zasad bezpieczeństwa lub wykonania niezamierzonych działań. Skuteczny atak może spowodować, że model ujawni dane wrażliwe, wygeneruje szkodliwe treści lub wykona niezamierzone działania, co może naruszyć zaufanie użytkowników. Dowiedz się, jak ograniczać ataki polegające na wstrzykiwaniu promptów.
Ujawnienie informacji poufnych
Modele generatywnej AI stwarzają znaczne ryzyko ujawnienia informacji poufnych, potencjalnie wyciekając szeroki zakres danych wpływających zarówno na LLM, jak i na kontekst jego zastosowania. Wycieki mogą wystąpić, gdy model przekazuje te poufne dane innym użytkownikom, gdy dostawcy usług uczenia maszynowego (MLaaS) niebezpiecznie przechowują prompty lub gdy złośliwi użytkownicy wykorzystują system do ujawniania wewnętrznej logiki. Konsekwencje są poważne – od naruszenia własności intelektualnej i kar nałożonych przez organy regulacyjne (np. w ramach RODO, CCPA) po całkowitą utratę zaufania użytkowników i naruszenie bezpieczeństwa systemu. Dowiedz się, jak ograniczać ryzyko ujawnienia informacji poufnych.
Nadmierna agencja
Integracja agentów LLM z funkcjami lub narzędziami w celu podejmowania działań może stwarzać zagrożenia dla bezpieczeństwa. Złośliwe prompty wykorzystujące wywoływanie funkcji mogą prowadzić do niezamierzonej utraty danych. Deweloperzy są odpowiedzialni za wdrażanie zabezpieczeń (np. zgody użytkownika, weryfikacji, kontroli dostępu), aby zapobiegać szkodliwym działaniom AI. Dowiedz się, jak ograniczyć nadmierne ryzyko agencji.
Podsumowanie
Zabezpieczenie systemów GenAI wymaga wieloaspektowego podejścia, które wykracza poza tradycyjne praktyki cyberbezpieczeństwa i uwzględnia unikalne wyzwania związane z modelami AI, takie jak cykl rozwoju oraz interakcje z użytkownikami i systemami. Te kompleksowe działania obejmują proaktywne testowanie, ciągłe monitorowanie, solidne zarządzanie i przestrzeganie zmieniających się ram regulacyjnych. Świetnym sposobem na wprowadzenie tych zasad w życie jest korzystanie z narzędzi branżowych, takich jak samoocena ryzyka SAIF, które pomagają lepiej zrozumieć i zmniejszyć ryzyko.