Este guia oferece configurações avançadas adicionais para recursos de fala. É possível ativar e desativar essas configurações avançadas em Configurações do agente > Fala e URA > Speech-to-Text > Configurações avançadas de fala.
Essas configurações estão disponíveis nas configurações do agente (aplicáveis a todo o agente), nas configurações do fluxo (aplicáveis a todo o fluxo e substituem as configurações do agente), nas configurações da página (aplicáveis à página e substituem as configurações do fluxo e do agente) e nas configurações de fulfillment (aplicáveis ao fulfillment e substituem as configurações da página, do fluxo e do agente). Um subconjunto dessas configurações está disponível em cada nível, dependendo da relevância da configuração para o nível.
Para definir essas configurações em qualquer nível inferior, primeiro selecione Ativar configurações de fala avançadas nas configurações do agente.
As configurações atualizadas no nível do agente não se propagam para o nível de fluxo, página e fulfillment quando a opção Personalizar é selecionada nesses níveis inferiores. Se a opção Personalizar abranger várias configurações e você quiser atualizar apenas algumas delas, talvez seja necessário atualizar outras configurações para que elas sejam iguais às do agente.
Se você desmarcar Ativar configurações de fala avançadas em um fluxo, ele não vai herdar as configurações de fala do agente ou de Interrupção. Mantenha essa opção selecionada em
fluxos (como Default Start Flow) que herdam as configurações do agente.
Disponibilidade das configurações por nível
A tabela a seguir indica quais configurações de fala avançadas estão disponíveis em cada nível:
| Nome da configuração | Agente | Fluxo | Página | Fulfillment |
|---|---|---|---|---|
| Seleção de modelos (Speech-to-Text) | ✔ | ✔ | ✔ | |
| Sensibilidade ao fim da fala | ✔ | ✔ | ✔ | |
| Sensibilidade avançada ao fim da fala com base no tempo limite | ✔ | ✔ | ✔ | |
| Ativar endpointing inteligente | ✔ | |||
| Tempo limite de ausência de fala | ✔ | ✔ | ✔ | |
| Interrupção | ✔ | ✔ | ✔ | |
| Permitir o cancelamento da reprodução de respostas parciais | ✔ | |||
| Bucket de exportação de áudio | ✔ | ✔ | ||
| DTMF | ✔ | ✔ | ✔ |
Seleção de modelos (Speech-to-Text)
Podem ser definidas nos níveis de agente, fluxo e página.
Define o modelo de fala usado para o reconhecimento de fala. Essa configuração é
específica do idioma, então é possível selecionar modelos diferentes para idiomas diferentes.
Também é possível selecionar Substituir o modelo de fala no nível da solicitação. Essa opção aplica
o modelo de agente, fluxo ou página em vez do modelo em uma solicitação ou
ConversationProfile.
Em sessões de streaming bidirecional (BidiStreamingAnalyzeContent), use a
mesma versão da Speech-to-Text no agente, nos fluxos e nas páginas. Não misture
a Speech-to-Text V2 (chirp_3) com modelos da Speech-to-Text V1 (como
telephony_short ou latest_short) na mesma sessão.
Para o gateway telefônico do Dialogflow CX, consulte as limitações. Para mais informações, consulte Modelos de fala.
Sensibilidade ao fim da fala
Podem ser definidas nos níveis de agente, fluxo e página.
Controla a sensibilidade para reconhecer o fim da fala na entrada de áudio do usuário final. O valor varia de 0 (baixa sensibilidade, menor probabilidade de encerrar a fala) a 100 (alta sensibilidade, maior probabilidade de encerrar a fala).
Lembre-se das seguintes recomendações:
- Ao usar a Speech-to-Text V2
chirp_3, comece com um valor de sensibilidade de fim de fala de75ou80em áudio de telefonia ruidoso de 8 kHz. Não defina o valor como100, o que pode causar erros de reconhecimento em linhas ruidosas. Mantenha a opção Ativar a sensibilidade avançada de fim de fala com base em tempo limite ativada no console. Nas solicitações de API, definauseTimeoutBasedEndpointingcomotrue. - Se você usar um
ConversationProfile, verifique o valor de Sensibilidade de fim de fala nas configurações do agente, do fluxo e da página. Valores baixos, como35, podem adicionar atrasos de vários segundos no endpointing.
Sensibilidade avançada ao fim da fala com base no tempo limite
Pode ser definido no nível do agente e desativado nos níveis de fluxo e página.
Se essa configuração estiver ativada, o valor da configuração Sensibilidade de fim de fala será usado como um indicador para estabelecer um tempo limite relativo de silêncio de áudio para determinar o fim da fala. Se essa configuração estiver desativada (o padrão), o valor da configuração Sensibilidade de fim de fala será usado para determinar o fim da fala pelo modelo de ML fornecido pela Google Cloud Speech-to-Text.
Embora a configuração Sensibilidade ao fim da fala seja compatível apenas com o modelo de fala phone_call para a tag de idioma en-US por padrão, a configuração Ativar sensibilidade avançada ao fim da fala com base em tempo limite permite configurar a sensibilidade ao fim da fala para todos os idiomas e modelos de fala compatíveis com o Dialogflow.
Ativar endpointing inteligente
Pode ser definido apenas no nível do agente.
Se essa configuração estiver ativada, o Dialogflow CX vai analisar a entrada parcial do usuário para determinar o fim da fala. Por exemplo, se o usuário disser "Eu gostaria de" e pausar, o Dialogflow CX vai esperar que o usuário continue a frase.
Isso é útil principalmente para a coleta de parâmetros numéricos, em que o usuário pode dizer "1234" e pausar antes de dizer "5678". Para aplicar essa configuração a um parâmetro específico, é necessário configurar o endpoint inteligente no formulário do parâmetro.
Essa configuração está disponível apenas para a tag de idioma en-US e fica desativada por
padrão.
Tempo limite de ausência de fala
Podem ser definidas nos níveis de agente, fluxo e página.
A duração em segundos em que o Dialogflow CX vai parar de esperar pela entrada de áudio do usuário final. O padrão é 5 segundos, e o valor máximo é 60 segundos. Para esse tempo limite, o Dialogflow CX invoca um evento sem entrada.
Ao usar a Speech-to-Text V2 chirp_3, recomendamos um tempo limite de ausência de fala de
8 segundos.
Interrupção
Pode ser definido nos níveis de agente, fluxo e fulfillment.
Quando ativado, um usuário final pode interromper o áudio de resposta do Dialogflow CX. Quando interrompido, o Dialogflow CX para de enviar áudio e processa a próxima entrada do usuário final.
Se houver várias mensagens na fila de mensagens e uma mensagem tiver sido colocada na fila por um fulfillment associado a uma página, fluxo ou agente com a interrupção ativada, todas as mensagens seguintes na fila também terão a interrupção ativada. Nesse caso, a integração vai parar de reproduzir áudio para todas as mensagens na fila com a interrupção ativada.
Se você usar a interrupção com uma integração personalizada de telefonia ou streaming, siga estas diretrizes:
- Chamadas
StreamingAnalyzeContentpor turno: incluabarge_in_configemInputAudioConfigem cada turno da conversa. Se você omitirbarge_in_configem turnos posteriores, a interrupção vai parar de funcionar após o primeiro turno. - Comandos
.wavpré-gravados: corte o silêncio final de arquivos de áudio pré-gravados em tags<audio>. O silêncio final prolonga a reprodução, o que pode atrasar a qualificação para interrupção e o tempo limite sem fala.
Permitir o cancelamento da reprodução de respostas parciais
Pode ser definido apenas no nível de fulfillment.
É possível ativar essa configuração quando a caixa Ativar configurações avançadas de fala estiver marcada em Configurações do agente > Fala e URA e a resposta parcial estiver ativada no nível de fulfillment. Essa configuração permite o cancelamento da reprodução de uma resposta parcial.
Se uma mensagem na fila de mensagens for criada por um fulfillment que permite o cancelamento, a reprodução da mensagem será cancelada se outra mensagem for adicionada à fila. Isso é útil quando você quer que uma mensagem inicial inicie a reprodução, mas que ela seja cancelada se um webhook em funcionamento produzir outra mensagem antes que a reprodução da mensagem inicial seja concluída.
Bucket de exportação de áudio
Pode ser definido nos níveis de agente e fluxo.
Se fornecidos, todos os dados de áudio associados a uma solicitação serão salvos no bucket do Cloud Storage:
| Áudio salvo | Solicitações aplicáveis |
|---|---|
| Entrada de áudio do usuário final | DetectIntent, StreamingDetectIntent, AnalyzeContent, StreamingAnalyzeContent |
| Áudio de conversão da Text-to-Speech (TTS) sintetizado para uma resposta | AnalyzeContent, StreamingAnalyzeContent |
Conceda o papel Criador de objetos do Storage às seguintes contas de serviço no seu projeto:
Para a conta de serviço no formato
one-click@df-cx-ALPHANUMERIC_VALUE-ALPHANUMERIC_VALUE., se você usar uma integração de telefonia integrada por parceiro.Para a conta de serviço no formato
service-PROJECT_NUMBER@gcp-sa-dialogflow., se você usar a integração do Dialogflow CX Phone Gateway. Para encontrar essa conta de serviço no IAM, marque a opção Incluir concessões de papel fornecidas pelo Google.
Streaming de conversão de texto em voz para Chirp 3: vozes em alta definição
A conversão de texto em voz por streaming para vozes Chirp3-HD requer aprovação de acesso.
Após a aprovação, selecione Ativar a conversão de texto em voz por streaming em
Configurações do agente > Fala e URA > Text-to-Speech. A síntese de streaming
usa StreamingSynthesize para reduzir a latência em respostas mais longas.
Lembre-se do seguinte comportamento:
- Para usar a conversão de texto em voz por streaming com a interrupção, use
BidiStreamingAnalyzeContent. A transmissão de conversão de texto em voz com interrupção não é compatível com chamadasStreamingAnalyzeContentpor turno. - Em uma única rodada, o Dialogflow CX concatena
responseMessagesde texto consecutivos em uma solicitação de síntese de conversão de texto em voz.
DTMF
Consulte a documentação sobre DTMF (sinalização multifrequencial de tom duplo) para mais informações sobre esse recurso.
Se o cliente StreamingDetectIntent interceptar dígitos DTMF fora de banda, não
cancele o stream de áudio gRPC ativo. Se você cancelar o stream sem fechá-lo parcialmente,
o stream do servidor vai permanecer aberto até que o tempo limite de ausência de fala expire. Em vez disso,
pare de enviar frames de áudio, envie o DTMF queryInput no mesmo stream e
feche parcialmente o stream.