Dieser Leitfaden enthält wichtige Informationen für Entwickler, die Android-Anwendungen mit generativer KI (GenAI) erstellen. Die Integration von generativer KI birgt einzigartige Herausforderungen, die über die Standardsoftwareentwicklung hinausgehen.
Dieser Leitfaden wird kontinuierlich aktualisiert, um neuen und sich entwickelnden KI-Risiken Rechnung zu tragen. In diesem Inhalt erfahren Sie mehr über die erheblichen Risiken, die mit der Integration von generativer KI in Ihre Apps verbunden sind, und über effektive Strategien zur Risikominderung.
Prompt Injection
Ein Angreifer erstellt schädliche Eingaben (Prompts), um das Modell dazu zu bringen, seine Sicherheitsrichtlinien zu umgehen oder unbeabsichtigte Aktionen auszuführen. Ein erfolgreicher Angriff könnte dazu führen, dass das Modell sensible Daten preisgibt, schädliche Inhalte generiert oder unbeabsichtigte Aktionen ausführt, was das Vertrauen der Nutzer beeinträchtigt. Informationen zum Abwehren von Prompt-Injection-Angriffen
Offenlegung vertraulicher Informationen
Generative KI-Modelle bergen ein erhebliches Risiko der Offenlegung vertraulicher Informationen, da eine Vielzahl von Daten, die sich sowohl auf das LLM als auch auf den Anwendungskontext beziehen, offengelegt werden können. Lecks können auftreten, wenn das Modell diese vertraulichen Daten an andere Nutzer ausgibt, wenn MLaaS-Anbieter (Machine Learning as a Service) Prompts unsicher speichern oder wenn böswillige Akteure das System ausnutzen, um interne Logik offenzulegen. Die Folgen sind schwerwiegend und reichen von Verstößen gegen das geistige Eigentum und behördlichen Strafen (z. B. DSGVO, CCPA) bis hin zum vollständigen Verlust des Vertrauens der Nutzer und zur Gefährdung des Systems. Informationen zum Minimieren des Risikos der Offenlegung vertraulicher Informationen
Übermäßige Einflussnahme
Die Einbindung von LLM-Agents in Funktionen oder Tools, um Aktionen auszuführen, kann Sicherheitsrisiken mit sich bringen. Böswillige Prompts, die den Funktionsaufruf ausnutzen, können zu unbeabsichtigten Datenverlusten führen. Entwickler sind dafür verantwortlich, Sicherheitsmaßnahmen (z.B. Nutzereinwilligung, Validierung, Zugriffssteuerung) zu implementieren, um schädliche KI-Aktionen zu verhindern. Informationen zum Minimieren von übermäßigem Agenturrisiko
Zusammenfassung
Für den Schutz von GenAI-Systemen ist ein vielschichtiger Ansatz erforderlich, der über die herkömmlichen Cybersecurity-Praktiken hinausgeht, um den besonderen Herausforderungen von KI-Modellen gerecht zu werden, z. B. dem Entwicklungslebenszyklus und der Interaktion mit Nutzern und Systemen. Diese umfassenden Maßnahmen umfassen proaktive Tests, kontinuierliches Monitoring, eine robuste Governance und die Einhaltung sich entwickelnder rechtlicher Rahmenbedingungen. Eine gute Möglichkeit, diese Grundsätze in die Praxis umzusetzen, ist die Verwendung von Branchen-Tools wie der SAIF-Risiko-Selbstbewertung, um Risiken besser zu verstehen und zu minimieren.