Configurações avançadas de fala

Este guia oferece configurações avançadas adicionais para recursos de fala. É possível ativar e desativar essas configurações avançadas em Configurações do agente > Fala e URA > Speech-to-Text > Configurações avançadas de fala.

Essas configurações estão disponíveis nas configurações do agente (aplicáveis a todo o agente), nas configurações do fluxo (aplicáveis a todo o fluxo e substituem as configurações do agente), nas configurações da página (aplicáveis à página e substituem as configurações do fluxo e do agente) e nas configurações de fulfillment (aplicáveis ao fulfillment e substituem as configurações da página, do fluxo e do agente). Um subconjunto dessas configurações está disponível em cada nível, dependendo da relevância da configuração para o nível.

Para definir essas configurações em qualquer nível inferior, primeiro selecione Ativar configurações de fala avançadas nas configurações do agente.

As configurações atualizadas no nível do agente não se propagam para o nível de fluxo, página e fulfillment quando a opção Personalizar é selecionada nesses níveis inferiores. Se a opção Personalizar abranger várias configurações e você quiser atualizar apenas algumas delas, talvez seja necessário atualizar outras configurações para que elas sejam iguais às do agente.

Se você desmarcar Ativar configurações de fala avançadas em um fluxo, ele não vai herdar as configurações de fala do agente ou de Interrupção. Mantenha essa opção selecionada em fluxos (como Default Start Flow) que herdam as configurações do agente.

Disponibilidade das configurações por nível

A tabela a seguir indica quais configurações de fala avançadas estão disponíveis em cada nível:

Nome da configuração Agente Fluxo Página Fulfillment
Seleção de modelos (Speech-to-Text) ✔ ✔ ✔
Sensibilidade ao fim da fala ✔ ✔ ✔
Sensibilidade avançada ao fim da fala com base no tempo limite ✔ ✔ ✔
Ativar endpointing inteligente ✔
Tempo limite de ausência de fala ✔ ✔ ✔
Interrupção ✔ ✔ ✔
Permitir o cancelamento da reprodução de respostas parciais ✔
Bucket de exportação de áudio ✔ ✔
DTMF ✔ ✔ ✔

Seleção de modelos (Speech-to-Text)

Podem ser definidas nos níveis de agente, fluxo e página.

Define o modelo de fala usado para o reconhecimento de fala. Essa configuração é específica do idioma, então é possível selecionar modelos diferentes para idiomas diferentes. Também é possível selecionar Substituir o modelo de fala no nível da solicitação. Essa opção aplica o modelo de agente, fluxo ou página em vez do modelo em uma solicitação ou ConversationProfile.

Em sessões de streaming bidirecional (BidiStreamingAnalyzeContent), use a mesma versão da Speech-to-Text no agente, nos fluxos e nas páginas. Não misture a Speech-to-Text V2 (chirp_3) com modelos da Speech-to-Text V1 (como telephony_short ou latest_short) na mesma sessão.

Para o gateway telefônico do Dialogflow CX, consulte as limitações. Para mais informações, consulte Modelos de fala.

Sensibilidade ao fim da fala

Podem ser definidas nos níveis de agente, fluxo e página.

Controla a sensibilidade para reconhecer o fim da fala na entrada de áudio do usuário final. O valor varia de 0 (baixa sensibilidade, menor probabilidade de encerrar a fala) a 100 (alta sensibilidade, maior probabilidade de encerrar a fala).

Lembre-se das seguintes recomendações:

  • Ao usar a Speech-to-Text V2 chirp_3, comece com um valor de sensibilidade de fim de fala de 75 ou 80 em áudio de telefonia ruidoso de 8 kHz. Não defina o valor como 100, o que pode causar erros de reconhecimento em linhas ruidosas. Mantenha a opção Ativar a sensibilidade avançada de fim de fala com base em tempo limite ativada no console. Nas solicitações de API, defina useTimeoutBasedEndpointing como true.
  • Se você usar um ConversationProfile, verifique o valor de Sensibilidade de fim de fala nas configurações do agente, do fluxo e da página. Valores baixos, como 35, podem adicionar atrasos de vários segundos no endpointing.

Sensibilidade avançada ao fim da fala com base no tempo limite

Pode ser definido no nível do agente e desativado nos níveis de fluxo e página.

Se essa configuração estiver ativada, o valor da configuração Sensibilidade de fim de fala será usado como um indicador para estabelecer um tempo limite relativo de silêncio de áudio para determinar o fim da fala. Se essa configuração estiver desativada (o padrão), o valor da configuração Sensibilidade de fim de fala será usado para determinar o fim da fala pelo modelo de ML fornecido pela Google Cloud Speech-to-Text.

Embora a configuração Sensibilidade ao fim da fala seja compatível apenas com o modelo de fala phone_call para a tag de idioma en-US por padrão, a configuração Ativar sensibilidade avançada ao fim da fala com base em tempo limite permite configurar a sensibilidade ao fim da fala para todos os idiomas e modelos de fala compatíveis com o Dialogflow.

Ativar endpointing inteligente

Pode ser definido apenas no nível do agente.

Se essa configuração estiver ativada, o Dialogflow CX vai analisar a entrada parcial do usuário para determinar o fim da fala. Por exemplo, se o usuário disser "Eu gostaria de" e pausar, o Dialogflow CX vai esperar que o usuário continue a frase.

Isso é útil principalmente para a coleta de parâmetros numéricos, em que o usuário pode dizer "1234" e pausar antes de dizer "5678". Para aplicar essa configuração a um parâmetro específico, é necessário configurar o endpoint inteligente no formulário do parâmetro.

Essa configuração está disponível apenas para a tag de idioma en-US e fica desativada por padrão.

Tempo limite de ausência de fala

Podem ser definidas nos níveis de agente, fluxo e página.

A duração em segundos em que o Dialogflow CX vai parar de esperar pela entrada de áudio do usuário final. O padrão é 5 segundos, e o valor máximo é 60 segundos. Para esse tempo limite, o Dialogflow CX invoca um evento sem entrada.

Ao usar a Speech-to-Text V2 chirp_3, recomendamos um tempo limite de ausência de fala de 8 segundos.

Interrupção

Pode ser definido nos níveis de agente, fluxo e fulfillment.

Quando ativado, um usuário final pode interromper o áudio de resposta do Dialogflow CX. Quando interrompido, o Dialogflow CX para de enviar áudio e processa a próxima entrada do usuário final.

Se houver várias mensagens na fila de mensagens e uma mensagem tiver sido colocada na fila por um fulfillment associado a uma página, fluxo ou agente com a interrupção ativada, todas as mensagens seguintes na fila também terão a interrupção ativada. Nesse caso, a integração vai parar de reproduzir áudio para todas as mensagens na fila com a interrupção ativada.

Se você usar a interrupção com uma integração personalizada de telefonia ou streaming, siga estas diretrizes:

  • Chamadas StreamingAnalyzeContent por turno: inclua barge_in_config em InputAudioConfig em cada turno da conversa. Se você omitir barge_in_config em turnos posteriores, a interrupção vai parar de funcionar após o primeiro turno.
  • Comandos .wav pré-gravados: corte o silêncio final de arquivos de áudio pré-gravados em tags <audio>. O silêncio final prolonga a reprodução, o que pode atrasar a qualificação para interrupção e o tempo limite sem fala.

Permitir o cancelamento da reprodução de respostas parciais

Pode ser definido apenas no nível de fulfillment.

É possível ativar essa configuração quando a caixa Ativar configurações avançadas de fala estiver marcada em Configurações do agente > Fala e URA e a resposta parcial estiver ativada no nível de fulfillment. Essa configuração permite o cancelamento da reprodução de uma resposta parcial.

Se uma mensagem na fila de mensagens for criada por um fulfillment que permite o cancelamento, a reprodução da mensagem será cancelada se outra mensagem for adicionada à fila. Isso é útil quando você quer que uma mensagem inicial inicie a reprodução, mas que ela seja cancelada se um webhook em funcionamento produzir outra mensagem antes que a reprodução da mensagem inicial seja concluída.

Bucket de exportação de áudio

Pode ser definido nos níveis de agente e fluxo.

Se fornecidos, todos os dados de áudio associados a uma solicitação serão salvos no bucket do Cloud Storage:

Áudio salvo Solicitações aplicáveis
Entrada de áudio do usuário final DetectIntent, StreamingDetectIntent, AnalyzeContent, StreamingAnalyzeContent
Áudio de conversão da Text-to-Speech (TTS) sintetizado para uma resposta AnalyzeContent, StreamingAnalyzeContent

Conceda o papel Criador de objetos do Storage às seguintes contas de serviço no seu projeto:

  • Para a conta de serviço no formato one-click@df-cx-ALPHANUMERIC_VALUE-ALPHANUMERIC_VALUE., se você usar uma integração de telefonia integrada por parceiro.

  • Para a conta de serviço no formato service-PROJECT_NUMBER@gcp-sa-dialogflow., se você usar a integração do Dialogflow CX Phone Gateway. Para encontrar essa conta de serviço no IAM, marque a opção Incluir concessões de papel fornecidas pelo Google.

Streaming de conversão de texto em voz para Chirp 3: vozes em alta definição

A conversão de texto em voz por streaming para vozes Chirp3-HD requer aprovação de acesso. Após a aprovação, selecione Ativar a conversão de texto em voz por streaming em Configurações do agente > Fala e URA > Text-to-Speech. A síntese de streaming usa StreamingSynthesize para reduzir a latência em respostas mais longas.

Lembre-se do seguinte comportamento:

  • Para usar a conversão de texto em voz por streaming com a interrupção, use BidiStreamingAnalyzeContent. A transmissão de conversão de texto em voz com interrupção não é compatível com chamadas StreamingAnalyzeContent por turno.
  • Em uma única rodada, o Dialogflow CX concatena responseMessages de texto consecutivos em uma solicitação de síntese de conversão de texto em voz.

DTMF

Consulte a documentação sobre DTMF (sinalização multifrequencial de tom duplo) para mais informações sobre esse recurso.

Se o cliente StreamingDetectIntent interceptar dígitos DTMF fora de banda, não cancele o stream de áudio gRPC ativo. Se você cancelar o stream sem fechá-lo parcialmente, o stream do servidor vai permanecer aberto até que o tempo limite de ausência de fala expire. Em vez disso, pare de enviar frames de áudio, envie o DTMF queryInput no mesmo stream e feche parcialmente o stream.