Gemini Live API מאפשר אינטראקציות קוליות ואינטראקציות בווידאו עם Gemini בזמן אמת ובזמן אחזור קצר. הוא מעבד זרמים רציפים של אודיו, וידאו או טקסט כדי לספק תשובות קוליות מיידיות, שנשמעות כמו דיבור אנושי. כך נוצרת חוויית שיחה טבעית למשתמשים. האווטארים בזמן אמת מוסיפים את האפשרות ליצור אינטראקציה עם סמל דמוי אדם שמסתנכרן עם התשובות הקוליות, וכך מספקים למשתמשים חוויה משופרת ואישית יותר.
איך מנסים את Gemini Live API ב-Agent Studio
תרחישים לדוגמה
אתם יכולים להשתמש ב-Gemini Live API כדי ליצור סוכני קול ווידאו בזמן אמת למגוון תעשיות, כולל:
שגרירים ממותגים של חברות: נציגי מותג אינטראקטיביים שמוצגים בנכסי אינטרנט או באפליקציות לנייד של חברות, שנוצרו על סמך חזות של עובדים מורשים או של שחקנים בתשלום שחתמו על כתבי ויתור של החברה.
מסחר אלקטרוני וקמעונאות: עוזרים אישיים לקניות שמציעים המלצות בהתאמה אישית, ונציגי תמיכה שפותרים בעיות של לקוחות.
גיימינג: דמויות אינטראקטיביות שאי אפשר לשחק איתן (NPC), עוזרים דיגיטליים במשחק ותרגום בזמן אמת של תוכן המשחק.
ממשקים מהדור הבא: חוויות מבוססות קול ווידאו ברובוטיקה, במשקפיים חכמים וברכבים.
שירותי בריאות: מדריכי ניווט שעוזרים להתמצא במתקנים ובשירותים.
שירותים פיננסיים: סוכנים בממשק שיחה שממיינים בקשות בנקאיות יומיומיות.
חינוך: מנטורים מבוססי-AI ושותפים ללמידה שמספקים הדרכה ומשוב בהתאמה אישית.
תכונות עיקריות
Gemini Live API מציע מגוון רחב של תכונות לפיתוח סוכני קול ווידאו מתקדמים:
איכות אודיו גבוהה: Gemini Live API מספק דיבור טבעי ומציאותי במגוון שפות.
תמיכה בשפות שונות: אפשר לדבר ב-24 שפות נתמכות.
התפרצות: המשתמשים יכולים לקטוע את המודל בכל שלב כדי לנהל אינטראקציות רספונסיביות.
שיחה מותאמת-רגש: התאמה של הסגנון והטון של התשובה לביטוי שהמשתמש הזין.
שימוש בכלים: שילוב כלים כמו קריאה להפעלת פונקציות וחיפוש Google לאינטראקציות דינמיות.
תמלול אודיו: תמלול טקסט של הקלט מהמשתמש והפלט מהמודל. אם אתם רוצים לתמלל שיחה ולא לנהל שיחה, כדאי להשתמש ב-Gemini 3.5 Transcribe.
סינון אודיו יזום: מאפשר לכם לקבוע מתי המודל יגיב ובאילו הקשרים.
מפרט טכני
בטבלה הבאה מפורטים המאפיינים הטכניים של Gemini Live API:
| קטגוריה | פרטים |
|---|---|
| אופני קלט | אודיו (אודיו PCM גולמי של 16 ביט, 16kHz, Little-endian), תמונות/וידאו (JPEG 1FPS), טקסט |
| אופני פלט | אודיו (אודיו PCM גולמי של 16 ביט, 24kHz, little-endian), טקסט |
| וידאו (אווטארים בזמן אמת) | סרטון (mp4) |
| פרוטוקול | חיבור WebSocket עם שמירת מצב (WSS) |
מודלים נתמכים
המודלים הבאים תומכים ב-Gemini Live API. בוחרים את המודל המתאים לפי דרישות האינטראקציה.
| מזהה המודל | זמינות | תרחיש לדוגמה | תכונות עיקריות |
|---|---|---|---|
gemini-3.8-live |
זמינות לכלל המשתמשים (GA) | מומלץ. סוכנים קוליים עם זמן אחזור קצר. תמיכה במעבר חלק בין שפות. |
|
gemini-live-2.5-flash-native-audio |
זמינות לכלל המשתמשים (GA) | מומלץ. סוכנים קוליים עם זמן אחזור קצר. תמיכה במעבר חלק בין שפות ובטון רגשי. |
|
gemini-3.5-transcribe-live-preview |
תצוגה מקדימה | המרת דיבור לטקסט (STT) בלבד. כתוביות בזמן אמת, הכתבה ותמלול שיחות. הוא מחזיר טקסט, לא אודיו, ולכן לא מנהל שיחה. |
|
קדימה, מתחילים
בוחרים את המדריך שמתאים לסביבת הפיתוח:
מדריך ל-Gen AI SDK
מתחברים ל-Gemini Live API באמצעות Gen AI SDK כדי ליצור אפליקציה מולטי-מודאלית בזמן אמת עם קצה עורפי ב-Python.
מדריך בנושא WebSocket
מתחברים ל-Gemini Live API באמצעות WebSockets כדי ליצור אפליקציה מולטי-מודאלית בזמן אמת עם ממשק משתמש ב-JavaScript ובק-אנד ב-Python.
מדריך ל-ADK
יוצרים סוכן ומשתמשים בסטרימינג של ערכת הפיתוח לסוכנים (ADK) כדי לאפשר תקשורת קולית ותקשורת בווידאו.
שילובים של שותפים
אם אתם רוצים לשלב את Gemini עם חלק מהשותפים שלנו, הפלטפורמות האלה כבר שילבו את Gemini Live API בפרוטוקול WebRTC כדי לייעל את הפיתוח של אפליקציות אודיו ווידאו בזמן אמת.
ארכיטקטורת עזר של LiveKit ו-ADK
כדי ליצור עוזרים קוליים מתקדמים ברמה שמתאימה לסביבת ייצור, שדורשים תזמור סשנים מתוחכם, ניתוב והקצאת משימות לכמה סוכנים, אתם יכולים ליצור שילוב דו-כיווני עם זמן אחזור קצר באמצעות LiveKit (WebRTC) עם Gemini Live API דרך הערכה לפיתוח סוכנים (ADK).
הארכיטקטורה הזו מאפשרת לפרוס סוכן Orchestrator שמטפל באינטראקציה הראשונית עם הלקוח ומנתב באופן דינמי בקשות לסוכני משנה ייעודיים (לדוגמה, העברת הקשר לסוכן להזמנת טיסות או לסוכן להזמנת מלונות באמצעות תזמור של transferAgent).
כדי לבדוק ולפרוס את עיצוב העזר הזה, עיינו בהטמעה הרשמית של בסיס הקוד של העזר ב-GitHub.