Gemini Live API מאפשר אינטראקציות קוליות ואינטראקציות בווידאו עם Gemini בזמן אמת ובזמן אחזור קצר. הוא מעבד זרמים רציפים של אודיו, וידאו או טקסט כדי לספק תשובות קוליות מיידיות, שנשמעות כמו דיבור אנושי. כך נוצר ממשק צ'אט עם AI טבעי למשתמשים. אווטארים בזמן אמת מאפשרים לכם לדבר עם דמות אנושית שמסונכרנת עם התשובות הקוליות, וכך ליהנות מחוויה משופרת ואישית יותר.
איך מנסים את Gemini Live API ב-Agent Studio
תרחישים לדוגמה
אתם יכולים להשתמש ב-Gemini Live API כדי ליצור סוכני קול ווידאו בזמן אמת למגוון תחומים, כולל:
שגרירי מותג ארגוניים: נציגי מותג אינטראקטיביים שמוצגים בנכסי אינטרנט או באפליקציות לנייד של הארגון, שנוצרו על סמך חזות של עובדים מורשים או של שחקנים בתשלום שחתמו על כתבי ויתור ארגוניים.
מסחר אלקטרוני וקמעונאות: עוזרים אישיים לקניות שמציעים המלצות בהתאמה אישית ונציגי תמיכה שפותרים בעיות של לקוחות.
גיימינג: דמויות אינטראקטיביות שאי אפשר לשחק איתן (NPC), עוזרים דיגיטליים במשחק ותרגום בזמן אמת של תוכן במשחק.
ממשקים מהדור הבא: חוויות מבוססות קול ווידאו ברובוטיקה, משקפיים חכמים וכלי רכב.
שירותי בריאות: מדריכי ניווט שעוזרים להתמצא במתקנים ובשירותים.
שירותים פיננסיים: סוכנים בממשק שיחה שממיינים בקשות יומיומיות בנושא בנקאות.
חינוך: מנטורים מבוססי-AI ושותפים ללמידה שמספקים הדרכה ומשוב בהתאמה אישית.
תכונות עיקריות
Gemini Live API מציע מגוון רחב של תכונות לפיתוח סוכני קול ווידאו מתקדמים:
איכות אודיו גבוהה: Gemini Live API מספק דיבור טבעי ומציאותי במגוון שפות.
קולות מובנים ובהתאמה אישית: אתם יכולים להגדיר תשובות עם 30 קולות מובנים באיכות HD או לשכפל קול בהתאמה אישית לכל סשן.
תמיכה בשפות שונות: אפשר לדבר ב-24 שפות נתמכות.
התפרצות: המשתמשים יכולים לקטוע את המודל בכל שלב כדי לקבל תשובות מהירות.
שיחה מותאמת-רגש: התאמה של סגנון התשובה והטון שלה לביטוי שהמשתמש הזין.
שימוש בכלים: משלב כלים כמו קריאה להפעלת פונקציות וחיפוש Google לאינטראקציות דינמיות.
תמלול אודיו: תמלול טקסט של הקלט מהמשתמש והפלט מהמודל. אם המטרה הסופית היא תמלול ולא ערוץ צדדי של שיחה, כדאי לעיין במאמר Gemini 3.5 Transcribe.
סינון אודיו יזום: מאפשר לכם לקבוע מתי המודל יגיב ובאילו הקשרים.
מפרט טכני
בטבלה הבאה מפורטים המפרטים הטכניים של Gemini Live API:
| קטגוריה | פרטים |
|---|---|
| אופני קלט | אודיו (אודיו PCM גולמי של 16 ביט, 16kHz, little-endian), תמונות/וידאו (JPEG 1FPS), טקסט |
| אופני פלט | אודיו (אודיו PCM גולמי של 16 ביט, 24kHz, little-endian), טקסט |
| וידאו (אווטארים בזמן אמת) | סרטון (mp4) |
| פרוטוקול | חיבור WebSocket עם שמירת מצב (WSS) |
מודלים נתמכים
המודלים הבאים תומכים ב-Gemini Live API. בוחרים את המודל המתאים לפי דרישות האינטראקציה.
| מזהה המודל | זמינות | תרחיש לדוגמה | תכונות עיקריות |
|---|---|---|---|
gemini-3.8-live |
זמינות לכלל המשתמשים (GA) | מומלץ. סוכנים קוליים עם זמן אחזור קצר. תמיכה במעבר חלק בין שפות. |
|
gemini-live-2.5-flash-native-audio |
זמינות לכלל המשתמשים (GA) | מומלץ. סוכנים קוליים עם זמן אחזור קצר. תמיכה במעבר חלק בין שפות ובטון רגשי. |
|
gemini-3.5-transcribe-live-preview |
תצוגה מקדימה | המרת דיבור לטקסט (STT) בלבד. כתוביות בזמן אמת, הכתבה ותמלול שיחות. הוא מחזיר טקסט, לא אודיו, כך שהוא לא מנהל שיחה. |
|
קדימה, מתחילים
בוחרים את המדריך שמתאים לסביבת הפיתוח:
מדריך ל-Gen AI SDK
מתחברים ל-Gemini Live API באמצעות Gen AI SDK כדי ליצור אפליקציה מולטי-מודאלית בזמן אמת עם קצה עורפי ב-Python.
מדריך בנושא WebSocket
איך מתחברים ל-Gemini Live API באמצעות WebSockets כדי ליצור אפליקציה מולטי-מודאלית בזמן אמת עם ממשק משתמש ב-JavaScript וקצה עורפי ב-Python.
מדריך ל-ADK
יוצרים סוכן ומשתמשים בסטרימינג של ערכת הפיתוח לסוכנים (ADK) כדי לאפשר תקשורת קולית ותקשורת בווידאו.
שילובים של שותפים
אם אתם רוצים לשלב את Gemini Live API עם חלק מהשותפים שלנו, הפלטפורמות האלה כבר שילבו את Gemini Live API בפרוטוקול WebRTC כדי לייעל את הפיתוח של אפליקציות אודיו ווידאו בזמן אמת.
ארכיטקטורת עזר של LiveKit ו-ADK
אם אתם רוצים לפתח עוזרים קוליים מתקדמים ברמה שמתאימה לסביבת הייצור, שדורשים תזמור סשנים מתוחכם, ניתוב והקצאת משימות לכמה סוכנים, אתם יכולים ליצור שילוב דו-כיווני עם זמן אחזור קצר באמצעות LiveKit (WebRTC) עם Gemini Live API דרך הערכה לפיתוח סוכנים (ADK).
הארכיטקטורה הזו מאפשרת לפרוס סוכן Orchestrator שמטפל באינטראקציה הראשונית עם הלקוח ומנתב בקשות באופן דינמי לסוכני משנה ייעודיים (לדוגמה, העברת הקשר לסוכן להזמנת טיסות או לסוכן להזמנת מלונות באמצעות תזמור של transferAgent).
כדי לבחון ולפרוס את עיצוב העזר הזה, עיינו בהטמעה הרשמית של בסיס הקוד של העזר ב-GitHub.