שיפור אפליקציית Android XR באמצעות AI עם Gemini API

מכשירי XR שמתאימים לשימוש
ההנחיות האלה יעזרו לכם ליצור חוויות למכשירי XR מהסוגים הבאים.
משקפי XR
משקפי XR חוטיים
משקפי אודיו ותצוגה

Android XR היא פלטפורמת Android הראשונה שנבנתה בעידן Gemini, והיא מפעילה מערכת אקולוגית של אוזניות, משקפיים וכל מה שביניהם. ‫Gemini מקל על השימוש בחוויות Android XR ומוסיף יכולות ייחודיות. הוא עוזר למשתמשים להבין את מה שהם רואים ולבצע פעולות בשמם.

אפשר לגשת אל ממשקי Gemini API באמצעות Firebase AI Logic, שזמין גם לאפליקציות מקוריות ל-Android (עם Kotlin) וגם ל-Unity. אפשר להשתמש בממשקי ה-API האלה כדי ליצור תכונות מבוססות-AI שמשולבות עם מודלים של Gemini ו-Imagen מבוססי-ענן.

בחירת מודל

כדי להתחיל, משווים בין היכולות של כל מודל שזמין ב-Firebase. אחר כך תוכלו להעריך את התוצאות של הנחיות שונות למודלים שונים ב-AI Studio כדי לקבוע איזה מודל מתאים לתרחיש השימוש שלכם.

דרכים נוספות לשפר את האפליקציה באמצעות Gemini

אחרי שקובעים את המודל שמתאים לתרחיש השימוש, כדאי לשקול את הדרכים הבאות לשיפור האפליקציה:

  • ממשק קולי: מערכת Android XR משתמשת בקלט טבעי כמו ידיים, מבט וקול כדי לנווט במערכת. כדי לאפשר למשתמשים לנווט באפליקציה באמצעות הקול שלהם, צריך להשתמש בGemini live API יחד עם בקשות להפעלת פונקציות.
  • יצירת תמונות עם תמיכה מולטי-מודאלית: יצירת תמונות באמצעות מודלי Gemini או Imagen עם Gemini Developer API.
  • שיפור האינטראקציות במשחקים באפליקציות Unity: אפשר ליצור פלט מובנה באמצעות Gemini Developer API או Vertex AI Gemini API.