本文档介绍了如何在 Gemini Live API 中配置合成语音回答和语音活动检测。您可以配置各种高清语音和语言的回答,还可以配置语音活动检测设置,以允许用户打断模型。
设置语言和语音
gemini-3.8-live 等实时音频模型可以在对话期间自然地切换语言。你还可以在系统指令中指定
Gemini Live 使用的语言
所有模型的 voice_name 字段中都配置了语音。
以下代码示例展示了如何配置语言和语音。
from google.genai.types import LiveConnectConfig, SpeechConfig, VoiceConfig, PrebuiltVoiceConfig config = LiveConnectConfig( response_modalities=["AUDIO"], speech_config=SpeechConfig( voice_config=VoiceConfig( prebuilt_voice_config=PrebuiltVoiceConfig( voice_name=voice_name, ) ), language_code="en-US", ), )
引导语音语调和口音
您可以使用系统指令来引导语音的语调和口音,Gemini Live API 会按照您指示的语音进行 API 响应。例如,“英语,带有法国口音,声音积极向上”。
支持的语音
Gemini Live API 在 voice_name 字段中支持以下 30 种语音选项:
|
Zephyr -- 明亮 Kore -- 坚定 Orus -- 坚定 Autonoe -- 明亮 Umbriel -- 随和 Erinome -- 清晰 Laomedeia -- 欢快 Schedar -- 平稳 Achird -- 友好 Sadachbia -- 活泼 |
Puck -- 欢快 Fenrir -- 兴奋 Aoede -- 轻松 Enceladus -- 气声 Algieba -- 平稳 Algenib -- 沙哑 Achernar -- 柔和 Gacrux -- 成熟 Zubenelgenubi -- 随性 Sadaltager -- 博学 |
Charon -- Informative Leda -- Youthful Callirrhoe -- Easy-going Iapetus -- Clear Despina -- Smooth Rasalgethi -- Informative Alnilam -- Firm Pulcherrima -- Forward Vindemiatrix -- Gentle Sulafat -- Warm |
支持的语言
所有 Gemini Live API 模型均支持以下语言:
| 语言 | BCP-47 代码 |
|---|---|
| 阿拉伯语(埃及语) | ar-EG |
| 孟加拉语(孟加拉) | bn-BD |
| 荷兰语(荷兰) | nl-NL |
| 英语(印度) | en-IN 和 hi-IN 组合 |
| English (US) | en-US |
| 法语(法国) | fr-FR |
| 德语(德国) | de-DE |
| 印地语(印度) | hi-IN |
| 印度尼西亚语(印度尼西亚) | id-ID |
| 意大利语(意大利) | it-IT |
| 日语(日本) | ja-JP |
| 韩语(韩国) | ko-KR |
| 马拉地语(印度) | mr-IN |
| 波兰语(波兰) | pl-PL |
| 葡萄牙语(巴西) | pt-BR |
| 罗马尼亚语(罗马尼亚) | ro-RO |
| 俄语(俄罗斯) | ru-RU |
| 西班牙语(美国) | es-US |
| 泰米尔语(印度) | ta-IN |
| 泰卢固语(印度) | te-IN |
| 泰语(泰国) | th-TH |
| 土耳其语(土耳其) | tr-TR |
| 乌克兰语(乌克兰) | uk-UA |
| 越南语(越南) | vi-VN |
Gemini 3.8 Live 支持的其他语言
除了上述语言之外,Gemini 3.8 Live (gemini-3.8-live) 还支持以下语言:
| 语言 | BCP-47 代码 |
|---|---|
| 南非荷兰语 | af |
| 阿尔巴尼亚语 | sq |
| 阿姆哈拉语 | am |
| 亚美尼亚语 | hy |
| 阿塞拜疆语 | az |
| 巴斯克语 | eu |
| 白俄罗斯语 | be |
| 保加利亚语 | bg |
| 缅甸语 | my |
| 加泰罗尼亚语 | ca |
| 宿务语 | ceb |
| 中文(普通话) | cmn |
| 克罗地亚语 | hr |
| 捷克语 | cs |
| 丹麦语 | da |
| 爱沙尼亚语 | et |
| 菲律宾语 | fil |
| 芬兰语 | fi |
| 加利西亚语 | gl |
| 格鲁吉亚语 | ka |
| 希腊语 | el |
| 古吉拉特语 | gu |
| 海地克里奥尔语 | ht |
| 希伯来语 | he |
| 匈牙利语 | hu |
| 冰岛语 | 是 |
| 爪哇语 | jv |
| 卡纳达语 | kn |
| 贡根语 | kok |
| 老挝语 | lo |
| 拉丁语 | la |
| 拉脱维亚语 | lv |
| 立陶宛语 | lt |
| 卢森堡语 | lb |
| 马其顿语 | mk |
| 迈蒂利语 | mai |
| 马尔加什语 | mg |
| 马来语 | ms |
| 马拉雅拉姆语 | ml |
| 蒙古语 | mn |
| 尼泊尔语 | ne |
| 挪威博克马尔语 | nb |
| 挪威语(尼诺斯克) | nn |
| 奥里亚语 | 或 |
| 普什图语 | ps |
| 波斯语 | fa |
| 旁遮普语 | pa |
| 塞尔维亚语 | sr |
| 信德语 | sd |
| 僧伽罗文 | si |
| 斯洛伐克语 | sk |
| 斯洛文尼亚语 | sl |
| 斯瓦希里语 | sw |
| 瑞典语 | sv |
| 乌尔都语 | ur |
使用自定义语音
您可以提供一段简短的录音,让 Gemini Live API 在合成语音回答中复制该声音,而不是使用预构建的声音。自定义语音在 voice_config 的 replicated_voice_config 字段中按会话进行配置。无需提前上传或训练任何内容。
语音样本要求
语音样本必须符合以下规范:
音频格式:PCM 音频
s16le,采样率可变,例如audio/pcm;rate=24000时长:10 到 20 秒。
录制自定义语音
录制语音样本时,我们建议您遵循以下提示,以获得最佳语音质量:
自然说话:除非您希望虚拟形象听起来像播音员,否则请勿使用“电台腔”或过度发音。像和朋友聊天一样,自然地读出脚本内容。
限制背景噪音:尽可能限制背景噪音:关闭风扇、关闭空调并关闭所有打开的窗户。
微微一笑:在录制时微笑往往会使您的录音更具亲和力,而这种亲和力随后会添加到复制的声音中。
自定义语音推荐脚本
我们建议您使用以下脚本之一来录制自定义语音:
语音标准,最适合整体质量:“当阳光照射到空气中的雨滴时,雨滴就像棱镜一样,会形成彩虹。彩虹是白光分解成许多美丽颜色的现象。这些拱门呈长长的圆拱形。”
Storyteller,最适合捕捉情感和动态范围:“当我打开那本尘封的旧书时,我简直不敢相信自己的眼睛。一把金色的小钥匙 掉落在木地板上,发出清脆的声响。“这是从哪里来的?”我对自己低语,突然感到一阵兴奋。一切都将发生改变。”
设置自定义语音
在通过 WebSocket 连接发送的初始 setup 载荷中配置自定义语音:
import base64 import json import websockets # Load custom voice audio (PCM s16le, e.g., 24kHz) with open("/path/to/your/audio_sample.wav", "rb") as f: wav_b64 = base64.b64encode(f.read()).decode("utf-8") # Setup generation config with custom voice GENERATION_CONFIG = { "response_modalities": ["AUDIO"], "speech_config": { "voice_config": { "replicated_voice_config": { "voice_sample_audio": "VOICE_SAMPLE", "mime_type": "VOICE_MIME_TYPEaudio/pcm;rate=24000", } } }, } # Session setup message SETUP_MESSAGE = { "setup": { "model": "gemini-3.8-live", "generation_config": GENERATION_CONFIG, "system_instruction": { "parts": [{"text": "Your system instruction here"}] }, "input_audio_transcription": {}, "output_audio_transcription": {}, } }
替换以下内容:
VOICE_SAMPLE:base64 编码的 PCM 音频字符串(10-20 秒样本)。
VOICE_MIME_TYPE:PCM 音频的 MIME 类型,例如
"audio/pcm;rate=24000"。
您可以将自定义声音与预建虚拟形象或自定义虚拟形象搭配使用。如需了解详情,请参阅配置实时虚拟形象。
配置语音活动检测
语音活动检测 (VAD) 可让模型识别用户何时在说话。这对于创建自然对话至关重要,因为这使用户可以随时中断模型。
当 VAD 检测到中断时,系统会取消并舍弃正在进行的生成操作。会话历史记录中仅保留已发送给客户端的信息。服务器随后会发送一条 BidiGenerateContentServerContent 消息来报告中断情况。然后,服务器会舍弃所有待处理的函数调用,并发送一条 BidiGenerateContentServerContent 消息,其中包含已取消调用的 ID。
Python
config = { "response_modalities": ["audio"], "realtime_input_config": { "automatic_activity_detection": { "disabled": False, # default "start_of_speech_sensitivity": "low", "end_of_speech_sensitivity": "low", "prefix_padding_ms": 20, "silence_duration_ms": 100, } } }