配置语言和语音

本文档介绍了如何在 Gemini Live API 中配置合成语音回答和语音活动检测。您可以配置各种高清语音和语言的回答,还可以配置语音活动检测设置,以允许用户打断模型。

设置语言和语音

gemini-3.8-live 等实时音频模型可以在对话期间自然地切换语言。你还可以在系统指令中指定 Gemini Live 使用的语言

所有模型的 voice_name 字段中都配置了语音。

以下代码示例展示了如何配置语言和语音。

from google.genai.types import LiveConnectConfig, SpeechConfig, VoiceConfig, PrebuiltVoiceConfig

config = LiveConnectConfig(
  response_modalities=["AUDIO"],
  speech_config=SpeechConfig(
    voice_config=VoiceConfig(
        prebuilt_voice_config=PrebuiltVoiceConfig(
            voice_name=voice_name,
        )
    ),
    language_code="en-US",
  ),
)

引导语音语调和口音

您可以使用系统指令来引导语音的语调和口音,Gemini Live API 会按照您指示的语音进行 API 响应。例如,“英语,带有法国口音,声音积极向上”。

支持的语音

Gemini Live API 在 voice_name 字段中支持以下 30 种语音选项:

Zephyr -- 明亮
Kore -- 坚定
Orus -- 坚定
Autonoe -- 明亮
Umbriel -- 随和
Erinome -- 清晰
Laomedeia -- 欢快
Schedar -- 平稳
Achird -- 友好
Sadachbia -- 活泼
Puck -- 欢快
Fenrir -- 兴奋
Aoede -- 轻松
Enceladus -- 气声
Algieba -- 平稳
Algenib -- 沙哑
Achernar -- 柔和
Gacrux -- 成熟
Zubenelgenubi -- 随性
Sadaltager -- 博学
Charon -- Informative
Leda -- Youthful
Callirrhoe -- Easy-going
Iapetus -- Clear
Despina -- Smooth
Rasalgethi -- Informative
Alnilam -- Firm
Pulcherrima -- Forward
Vindemiatrix -- Gentle
Sulafat -- Warm

支持的语言

所有 Gemini Live API 模型均支持以下语言:

语言 BCP-47 代码
阿拉伯语(埃及语) ar-EG
孟加拉语(孟加拉) bn-BD
荷兰语(荷兰) nl-NL
英语(印度) en-IN 和 hi-IN 组合
English (US) en-US
法语(法国) fr-FR
德语(德国) de-DE
印地语(印度) hi-IN
印度尼西亚语(印度尼西亚) id-ID
意大利语(意大利) it-IT
日语(日本) ja-JP
韩语(韩国) ko-KR
马拉地语(印度) mr-IN
波兰语(波兰) pl-PL
葡萄牙语(巴西) pt-BR
罗马尼亚语(罗马尼亚) ro-RO
俄语(俄罗斯) ru-RU
西班牙语(美国) es-US
泰米尔语(印度) ta-IN
泰卢固语(印度) te-IN
泰语(泰国) th-TH
土耳其语(土耳其) tr-TR
乌克兰语(乌克兰) uk-UA
越南语(越南) vi-VN

Gemini 3.8 Live 支持的其他语言

除了上述语言之外,Gemini 3.8 Live (gemini-3.8-live) 还支持以下语言:

语言 BCP-47 代码
南非荷兰语 af
阿尔巴尼亚语 sq
阿姆哈拉语 am
亚美尼亚语 hy
阿塞拜疆语 az
巴斯克语 eu
白俄罗斯语 be
保加利亚语 bg
缅甸语 my
加泰罗尼亚语 ca
宿务语 ceb
中文(普通话) cmn
克罗地亚语 hr
捷克语 cs
丹麦语 da
爱沙尼亚语 et
菲律宾语 fil
芬兰语 fi
加利西亚语 gl
格鲁吉亚语 ka
希腊语 el
古吉拉特语 gu
海地克里奥尔语 ht
希伯来语 he
匈牙利语 hu
冰岛语 是
爪哇语 jv
卡纳达语 kn
贡根语 kok
老挝语 lo
拉丁语 la
拉脱维亚语 lv
立陶宛语 lt
卢森堡语 lb
马其顿语 mk
迈蒂利语 mai
马尔加什语 mg
马来语 ms
马拉雅拉姆语 ml
蒙古语 mn
尼泊尔语 ne
挪威博克马尔语 nb
挪威语(尼诺斯克) nn
奥里亚语 或
普什图语 ps
波斯语 fa
旁遮普语 pa
塞尔维亚语 sr
信德语 sd
僧伽罗文 si
斯洛伐克语 sk
斯洛文尼亚语 sl
斯瓦希里语 sw
瑞典语 sv
乌尔都语 ur

使用自定义语音

您可以提供一段简短的录音,让 Gemini Live API 在合成语音回答中复制该声音,而不是使用预构建的声音。自定义语音在 voice_config 的 replicated_voice_config 字段中按会话进行配置。无需提前上传或训练任何内容。

语音样本要求

语音样本必须符合以下规范:

  • 音频格式:PCM 音频 s16le,采样率可变,例如 audio/pcm;rate=24000

  • 时长:10 到 20 秒。

录制自定义语音

录制语音样本时,我们建议您遵循以下提示,以获得最佳语音质量:

  1. 自然说话:除非您希望虚拟形象听起来像播音员,否则请勿使用“电台腔”或过度发音。像和朋友聊天一样,自然地读出脚本内容。

  2. 限制背景噪音:尽可能限制背景噪音:关闭风扇、关闭空调并关闭所有打开的窗户。

  3. 微微一笑:在录制时微笑往往会使您的录音更具亲和力,而这种亲和力随后会添加到复制的声音中。

我们建议您使用以下脚本之一来录制自定义语音:

  • 语音标准,最适合整体质量:“当阳光照射到空气中的雨滴时,雨滴就像棱镜一样,会形成彩虹。彩虹是白光分解成许多美丽颜色的现象。这些拱门呈长长的圆拱形。”

  • Storyteller,最适合捕捉情感和动态范围:“当我打开那本尘封的旧书时,我简直不敢相信自己的眼睛。一把金色的小钥匙 掉落在木地板上,发出清脆的声响。“这是从哪里来的?”我对自己低语,突然感到一阵兴奋。一切都将发生改变。”

设置自定义语音

在通过 WebSocket 连接发送的初始 setup 载荷中配置自定义语音:

import base64
import json
import websockets

# Load custom voice audio (PCM s16le, e.g., 24kHz)
with open("/path/to/your/audio_sample.wav", "rb") as f:
    wav_b64 = base64.b64encode(f.read()).decode("utf-8")

# Setup generation config with custom voice
GENERATION_CONFIG = {
    "response_modalities": ["AUDIO"],
    "speech_config": {
        "voice_config": {
            "replicated_voice_config": {
                "voice_sample_audio": "VOICE_SAMPLE",
                "mime_type": "VOICE_MIME_TYPEaudio/pcm;rate=24000",
            }
        }
    },
}

# Session setup message
SETUP_MESSAGE = {
    "setup": {
        "model": "gemini-3.8-live",
        "generation_config": GENERATION_CONFIG,
        "system_instruction": {
            "parts": [{"text": "Your system instruction here"}]
        },
        "input_audio_transcription": {},
        "output_audio_transcription": {},
    }
}

替换以下内容:

  • VOICE_SAMPLE:base64 编码的 PCM 音频字符串(10-20 秒样本)。

  • VOICE_MIME_TYPE:PCM 音频的 MIME 类型,例如 "audio/pcm;rate=24000"。

您可以将自定义声音与预建虚拟形象或自定义虚拟形象搭配使用。如需了解详情,请参阅配置实时虚拟形象。

配置语音活动检测

语音活动检测 (VAD) 可让模型识别用户何时在说话。这对于创建自然对话至关重要,因为这使用户可以随时中断模型。

当 VAD 检测到中断时,系统会取消并舍弃正在进行的生成操作。会话历史记录中仅保留已发送给客户端的信息。服务器随后会发送一条 BidiGenerateContentServerContent 消息来报告中断情况。然后,服务器会舍弃所有待处理的函数调用,并发送一条 BidiGenerateContentServerContent 消息,其中包含已取消调用的 ID。

Python

config = {
    "response_modalities": ["audio"],
    "realtime_input_config": {
        "automatic_activity_detection": {
            "disabled": False, # default
            "start_of_speech_sensitivity": "low",
            "end_of_speech_sensitivity": "low",
            "prefix_padding_ms": 20,
            "silence_duration_ms": 100,
        }
    }
}
      

后续步骤