Gemini Live API 支持与 Gemini 进行低延迟、实时的语音和视频交互。它能够处理连续的音频、视频或文本流，以提供即时、自然逼真的语音回答。这为您的用户创造了自然的对话式体验。实时虚拟形象添加了与拟人化图标互动的选项，该图标与语音回答同步，可为用户提供更优质、更个性化的体验。
在 Agent Studio 中试用 Gemini Live API
应用场景示例
Gemini Live API 可用于为各种行业构建实时语音和视频代理，包括：
品牌企业形象大使：在企业网站媒体资源或移动应用中部署的互动式品牌代表，由获得授权的员工肖像或已签署企业授权书的付费人才生成。
电子商务和零售：提供个性化推荐的购物助理，以及解决客户问题的支持人员。
游戏：互动式非玩家角色 (NPC)、游戏内帮助助理和游戏内内容的实时翻译。
新一代界面：在机器人、智能眼镜和车辆中提供语音和视频功能。
医疗保健：协助处理设施和护理后勤工作的导航指南。
金融服务：用于对日常银行请求进行分类的对话智能体。
教育：提供个性化指导和反馈的 AI 导师和学习伙伴。
主要特性
Gemini Live API 提供了一套全面的功能，用于构建强大的语音和视频代理：
高音质：Gemini Live API 可提供多种语言的自然、逼真的语音。
多语言支持：支持用 24 种语言进行对话。
打断功能：用户可以随时中断模型，以便进行响应式互动。
共情对话：根据用户输入内容的情绪表达调整回答风格和语气。
工具使用：集成函数调用和 Google 搜索等工具，实现动态交互。
音频转写：提供用户输入和模型输出的文本转写内容。如需将转写作为最终目标，而不是作为对话的辅助渠道，请参阅 Gemini 3.5 Transcribe。
主动音频：可让您控制模型何时响应以及在哪些情境下响应。
技术规格
下表列出了 Gemini Live API 的技术规格：
| 类别 | 详细信息 |
|---|---|
| 输入模态 | 音频（原始 16 位 PCM 音频，16kHz，小端序）、图片/视频（JPEG 1FPS）、文本 |
| 输出模态 | 音频（原始 16 位 PCM 音频，24kHz，小端字节序）、文本 |
| 视频（实时虚拟形象） | 视频 (mp4) |
| 协议 | 有状态 WebSocket 连接 (WSS) |
支持的模型
以下模型支持 Gemini Live API。根据您的交互需求选择合适的模型。
| 模型 ID | 可用性 | 使用场景 | 主要特性 |
|---|---|---|---|
gemini-3.8-live |
已全面推出 | 推荐。低延迟语音代理。支持无缝多语言切换。 |
|
gemini-live-2.5-flash-native-audio |
正式版 | 推荐。低延迟语音代理。支持无缝多语言切换和情感基调。 |
|
gemini-3.5-transcribe-live-preview |
预览 | 仅限语音转文字。实时字幕、听写和通话转写。返回文本而非音频，因此不会进行对话。 |
|
开始使用
选择与您的开发环境相符的指南：
合作伙伴集成
如果您想与我们的部分合作伙伴集成，这些平台已通过 WebRTC 协议集成了 Gemini Live API，可简化实时音频和视频应用的开发。
LiveKit 和 ADK 参考架构
对于需要复杂会话编排、路由和多智能体委托的高级生产级语音助理，您可以使用 LiveKit (WebRTC) 通过智能体开发套件 (ADK) 与 Gemini Live API 进行低延迟双向集成。
借助此架构，您可以部署一个编排器智能体，用于处理初始客户互动，并动态地将请求路由到专门的子智能体（例如，使用 transferAgent 编排将上下文委托给航班预订或酒店预订智能体）。
如需探索和部署此参考设计，请参阅 GitHub 上的官方参考代码库实现。