Paramètres vocaux avancés

Ce guide fournit des paramètres avancés supplémentaires pour les fonctionnalités vocales. Vous pouvez activer et désactiver ces paramètres avancés en accédant à Paramètres de l'agent > Voix et IVR > Speech-to-Text > Paramètres vocaux avancés.

Ces paramètres sont disponibles dans les paramètres de l'agent (s'appliquent à l'ensemble de l'agent), les paramètres de flux (s'appliquent à l'ensemble du flux et remplacent les paramètres de l'agent), les paramètres de page (s'appliquent à la page et remplacent les paramètres de flux et d'agent) et les paramètres de fulfillment (s'appliquent au fulfillment et remplacent les paramètres de page, de flux et d'agent). Un sous-ensemble de ces paramètres est disponible à chaque niveau, en fonction de la pertinence du paramètre pour le niveau.

Pour configurer ces paramètres à un niveau inférieur, sélectionnez d'abord Activer les paramètres vocaux avancés dans les paramètres de votre agent.

Les paramètres mis à jour au niveau de l'agent ne sont pas propagés au niveau du flux, de la page et du fulfillment lorsque l'option Personnaliser est sélectionnée à ces niveaux inférieurs. Si l'option Personnaliser englobe plusieurs paramètres et que vous ne souhaitez en modifier que certains, vous devrez peut-être également modifier d'autres paramètres si vous souhaitez qu'ils soient identiques aux paramètres au niveau de l'agent.

Si vous désactivez l'option Activer les paramètres vocaux avancés sur un flux, celui-ci n'hérite pas des paramètres vocaux ou d'interruption de l'agent. Laissez cette option sélectionnée sur les flux (tels que Default Start Flow) qui héritent des paramètres de l'agent.

Disponibilité des paramètres par niveau

Le tableau suivant indique les paramètres vocaux avancés disponibles à chaque niveau :

Nom du paramètre Agent Flux Page Fulfillment
Sélection du modèle (Speech-to-Text) ✔ ✔ ✔
Sensibilité de la fin du contenu vocal ✔ ✔ ✔
Sensibilité avancée de la fin du contenu vocal basée sur le délai avant expiration ✔ ✔ ✔
Activer la détection intelligente des points de terminaison ✔
Délai avant expiration de l'absence de parole ✔ ✔ ✔
Barge-in ✔ ✔ ✔
Autoriser l'annulation de la lecture d'une réponse partielle ✔
Bucket d'exportation audio ✔ ✔
DTMF ✔ ✔ ✔

Sélection du modèle (Speech-to-Text)

Peut être défini au niveau de l'agent, du flux et de la page.

Définit le modèle de reconnaissance vocale utilisé. Ce paramètre est spécifique à la langue. Vous pouvez donc sélectionner différents modèles pour différentes langues. Vous pouvez également sélectionner Remplacer le modèle de reconnaissance vocale au niveau de la requête. Cette option applique le modèle d'agent, de flux ou de page au lieu du modèle dans une requête ou ConversationProfile.

Dans les sessions de streaming bidirectionnel (BidiStreamingAnalyzeContent), utilisez la même version de Speech-to-Text pour l'agent, les flux et les pages. Ne mélangez pas les modèles Speech-to-Text V2 (chirp_3) avec les modèles Speech-to-Text V1 (comme telephony_short ou latest_short) dans la même session.

Pour Dialogflow CX Phone Gateway, consultez les limites. Pour en savoir plus, consultez Modèles vocaux.

Sensibilité de la fin du contenu vocal

Peut être défini au niveau de l'agent, du flux et de la page.

Contrôle la sensibilité de la reconnaissance de la fin de la parole dans l'entrée audio de l'utilisateur final. La valeur est comprise entre 0 (faible sensibilité, moins susceptible de mettre fin à la parole) et 100 (sensibilité élevée, plus susceptible de mettre fin à la parole).

Tenez compte des recommandations suivantes :

  • Lorsque vous utilisez Speech-to-Text V2 chirp_3, commencez par définir la valeur de sensibilité de fin de parole sur 75, ou sur 80 pour les contenus audio de téléphonie 8 kHz bruyants. Ne définissez pas la valeur sur 100, car cela peut entraîner des erreurs de reconnaissance sur les lignes bruyantes. Laissez l'option Activer la sensibilité avancée de la fin de la parole basée sur le délai avant expiration activée dans la console. Dans les requêtes API, définissez useTimeoutBasedEndpointing sur true.
  • Si vous utilisez un ConversationProfile, vérifiez la valeur de Sensibilité de fin de parole dans les paramètres de votre agent, de votre flux et de votre page. Des valeurs faibles, telles que 35, peuvent ajouter des délais de détection de fin de phrase de plusieurs secondes.

Sensibilité avancée de la fin du contenu vocal basée sur le délai avant expiration

Peut être défini au niveau de l'agent et désactivé au niveau du flux et de la page.

Si ce paramètre est activé, la valeur du paramètre Sensibilité de fin de parole est utilisée comme jauge pour établir un délai d'attente relatif de silence audio afin de déterminer la fin de la parole. Si ce paramètre est désactivé (par défaut), la valeur du paramètre Sensibilité de fin de parole est utilisée pour déterminer la fin de la parole par le modèle de ML fourni par Google Cloud Speech-to-Text.

Le paramètre Sensibilité de la fin de la parole n'est compatible qu'avec le modèle de reconnaissance vocale phone_call pour le tag de langue en-US par défaut. En revanche, le paramètre Activer la sensibilité avancée de la fin de la parole basée sur le délai d'expiration permet de configurer la sensibilité de la fin de la parole pour toutes les langues et tous les modèles de reconnaissance vocale compatibles avec Dialogflow.

Activer la détection intelligente des points de terminaison

Ne peut être défini qu'au niveau de l'agent.

Si ce paramètre est activé, Dialogflow CX analyse les entrées utilisateur partielles pour déterminer la fin de la parole. Par exemple, si l'utilisateur dit "Je voudrais" et s'arrête, Dialogflow CX attend qu'il poursuive sa phrase.

Cela est particulièrement utile pour la collecte de paramètres numériques, où l'utilisateur peut dire "1234" et faire une pause avant de dire "5678". Pour appliquer ce paramètre à un paramètre spécifique, vous devez configurer la détermination intelligente des points de terminaison dans le formulaire du paramètre.

Ce paramètre n'est disponible que pour le tag de langue en-US et est désactivé par défaut.

Délai avant expiration de l'absence de parole

Peut être défini au niveau de l'agent, du flux et de la page.

Durée en secondes pendant laquelle Dialogflow CX cessera d'attendre l'entrée audio de l'utilisateur final. La valeur par défaut est de 5 secondes et la valeur maximale est de 60 secondes. Pour ce délai avant expiration, Dialogflow CX appelle un événement sans entrée.

Lorsque vous utilisez Speech-to-Text V2 chirp_3, nous vous recommandons de définir un délai avant expiration de huit secondes en l'absence de parole.

Barge-in

Peut être défini au niveau de l'agent, du flux et du fulfillment.

Lorsque cette option est activée, un utilisateur final peut interrompre la réponse audio de Dialogflow CX. En cas d'interruption, Dialogflow CX arrête d'envoyer du contenu audio et traite l'entrée suivante de l'utilisateur final.

Si la file d'attente de messages contient plusieurs messages et qu'un message a été mis en file d'attente par un fulfillment associé à une page, un flux ou un agent pour lequel l'interruption est activée, tous les messages suivants de la file d'attente seront également activés. Dans ce cas, l'intégration arrête la lecture audio de tous les messages en file d'attente pour lesquels l'interruption est activée.

Si vous utilisez l'interruption avec une intégration de téléphonie ou de streaming personnalisée, suivez ces consignes :

  • Appels StreamingAnalyzeContent par tour : incluez barge_in_config dans InputAudioConfig à chaque tour de la conversation. Si vous omettez barge_in_config lors des tours suivants, l'interruption cesse de fonctionner après le premier tour.
  • Requêtes préenregistrées .wav : supprimez le silence de fin des fichiers audio préenregistrés dans les balises <audio>. Le silence de fin prolonge la lecture, ce qui peut retarder l'éligibilité à l'interruption et le délai d'expiration de l'absence de parole.

Autoriser l'annulation de la lecture d'une réponse partielle

Peut être défini uniquement au niveau du fulfillment.

Vous pouvez activer ce paramètre lorsque la case Activer les paramètres vocaux avancés est cochée dans Paramètres de l'agent > Voix et SVI et que la réponse partielle est activée au niveau du fulfillment. Ce paramètre permet d'annuler la lecture d'une réponse partielle.

Si un message de la file d'attente de messages est créé par un fulfillment qui autorise l'annulation, la lecture du message est annulée si un autre message est ajouté à la file d'attente. Cela est utile lorsque vous souhaitez qu'un message initial lance la lecture, mais que cette lecture soit annulée si un webhook opérationnel produit un autre message avant la fin de la lecture du message initial.

Bucket d'exportation audio

Peut être défini au niveau de l'agent et du flux.

Si elles sont fournies, toutes les données audio associées à une requête seront enregistrées dans le bucket Cloud Storage :

Audio enregistré Demandes applicables
Entrée audio de l'utilisateur final DetectIntent, StreamingDetectIntent, AnalyzeContent, StreamingAnalyzeContent
Audio de Text-to-Speech (TTS) synthétisé pour une réponse AnalyzeContent, StreamingAnalyzeContent

Attribuez le rôle Créateur d'objets de l'espace de stockage aux comptes de service suivants dans votre projet :

Streaming de synthèse vocale pour les voix Chirp 3 HD

Le streaming de Text-to-Speech pour les voix Chirp3-HD nécessite une approbation d'accès. Après approbation, sélectionnez Activer la synthèse vocale en streaming dans Paramètres de l'agent > Parole et IVR > Synthèse vocale. La synthèse en streaming utilise StreamingSynthesize pour réduire la latence sur les réponses plus longues.

Tenez compte du comportement suivant :

  • Pour utiliser la synthèse vocale en streaming avec l'interruption, utilisez BidiStreamingAnalyzeContent. La synthèse vocale en streaming avec interruption n'est pas compatible avec les appels StreamingAnalyzeContent par tour.
  • En un seul tour, Dialogflow CX concatène les responseMessages de texte consécutifs en une seule requête de synthèse vocale.

DTMF

Pour en savoir plus sur cette fonctionnalité, consultez la documentation sur la signalisation DTMF (Dual-tone multi-frequency).

Si votre client StreamingDetectIntent intercepte des chiffres DTMF hors bande, n'annulez pas le flux audio gRPC actif. Si vous annulez le flux sans le fermer à moitié, le flux du serveur reste ouvert jusqu'à l'expiration du délai d'inactivité. Au lieu de cela, arrêtez d'envoyer des frames audio, envoyez le signal DTMF queryInput sur le même flux, puis fermez à moitié le flux.

Précédent
Adaptation vocale
Suivant
Migration du modèle de reconnaissance vocale au 1er trimestre 2024