Erweiterte Spracheinstellungen

Hinweis: Erweiterte Spracheinstellungen werden nur von Telefonie-Integrationen unterstützt.

In diesem Leitfaden finden Sie zusätzliche, erweiterte Einstellungen für Sprachfunktionen. Sie können diese erweiterten Einstellungen unter Agenteneinstellungen > Sprache und IVR > Speech-to-Text > Erweiterte Spracheinstellungen aktivieren und deaktivieren.

Diese Einstellungen sind in den Agent-Einstellungen (gilt für den gesamten Agent), den Ablauf-Einstellungen (gilt für den gesamten Ablauf und überschreibt die Agent-Einstellungen), den Seiten-Einstellungen (gilt für die Seite und überschreibt die Ablauf- und Agent-Einstellungen) und den Ausführungseinstellungen (gilt für die Ausführung und überschreibt die Seiten-, Ablauf- und Agent-Einstellungen) verfügbar. Je nach Relevanz der Einstellung für die jeweilige Ebene ist auf jeder Ebene eine Teilmenge dieser Einstellungen verfügbar.

Wenn Sie diese Einstellungen auf einer niedrigeren Ebene konfigurieren möchten, wählen Sie zuerst in den Einstellungen des KI-Agenten Erweiterte Spracheinstellungen aktivieren aus.

Aktualisierte Einstellungen auf Agentenebene werden nicht auf die Ablauf-, Seiten- und Ausführungsebene übertragen, wenn die Option Anpassen auf diesen niedrigeren Ebenen ausgewählt ist. Wenn die Option Anpassen mehrere Einstellungen umfasst und Sie nur einige davon aktualisieren möchten, müssen Sie möglicherweise auch andere Einstellungen aktualisieren, wenn sie mit den Einstellungen auf Agentenebene übereinstimmen sollen.

Wenn Sie Erweiterte Spracheinstellungen aktivieren für einen Ablauf deaktivieren, übernimmt der Ablauf nicht die Spracheinstellungen des Agents oder die Einstellungen für Unterbrechung. Lassen Sie diese Option für Abläufe (z. B. Default Start Flow) ausgewählt, die Agent-Einstellungen übernehmen.

Verfügbarkeit von Einstellungen nach Ebene

In der folgenden Tabelle sind die erweiterten Spracheinstellungen aufgeführt, die auf den einzelnen Ebenen verfügbar sind:

Name der Einstellung	Agent	Ablauf	Seite	Auftragsausführung
Modellauswahl (Speech-to-Text)	✔	✔	✔
Empfindlichkeit zum Erkennen des Redeendes	✔	✔	✔
Erweiterte Zeitlimit-basierte Empfindlichkeit zum Erkennen des Redeendes	✔	✔	✔
Intelligente Endpunkterkennung aktivieren	✔
Zeitlimit für Spracherkennung	✔	✔	✔
Eingreifen	✔	✔		✔
Abbrechen der Wiedergabe von unvollständigen Antworten zulassen				✔
Bucket für Audioexport	✔	✔
DTMF	✔	✔	✔

Modellauswahl (Speech-to-Text)

Kann auf Agenten-, Ablauf- und Seitenebene festgelegt werden.

Legt das Sprachmodell fest, das für die Spracherkennung verwendet wird. Diese Einstellung ist sprachspezifisch, sodass Sie für verschiedene Sprachen unterschiedliche Modelle auswählen können. Sie können auch Sprachmodell auf Anfrageebene überschreiben auswählen. Bei dieser Option wird das Modell des Agents, des Ablaufs oder der Seite anstelle des Modells in einer Anfrage oder ConversationProfile verwendet.

Verwenden Sie in bidirektionalen Streamingsitzungen (BidiStreamingAnalyzeContent) dieselbe Speech-to-Text-Version für den Agenten, die Abläufe und die Seiten. Mischen Sie Speech-to-Text V2-Modelle (chirp_3) nicht mit Speech-to-Text V1-Modellen (z. B. telephony_short oder latest_short) in derselben Sitzung.

Informationen zum Dialogflow CX Phone Gateway finden Sie unter Einschränkungen. Weitere Informationen finden Sie unter Sprachmodelle.

Empfindlichkeit zum Erkennen des Redeendes

Kann auf Agenten-, Ablauf- und Seitenebene festgelegt werden.

Steuert die Empfindlichkeit für die Erkennung des Redeendes in der Audioeingabe des Endnutzers. Der Wert reicht von 0 (geringe Empfindlichkeit, Redeende wird seltener erkannt) bis 100 (hohe Empfindlichkeit, Redeende wird häufiger erkannt).

Beachten Sie die folgenden Empfehlungen:

• Wenn Sie Speech-to-Text V2 chirp_3 verwenden, beginnen Sie mit dem Wert 75 für die Empfindlichkeit des Sprach-Endes oder mit 80 für verrauschte 8-kHz-Telefonie-Audiodaten. Legen Sie den Wert nicht auf 100 fest, da dies zu Fehlinterpretationen bei verrauschten Leitungen führen kann. Lassen Sie Erweiterte zeitlimitbasierte Empfindlichkeit zum Erkennen des Redeendes aktivieren in der Console aktiviert. Legen Sie in API-Anfragen für useTimeoutBasedEndpointing den Wert true fest.
• Wenn Sie einen ConversationProfile verwenden, prüfen Sie den Wert für die Empfindlichkeit für das Ende der Sprache in den Einstellungen für Agent, Ablauf und Seite. Niedrige Werte wie 35 können zu Verzögerungen von mehreren Sekunden bei der Endpunkterkennung führen.

Hinweis: Diese Einstellung unterstützt nur das Sprachmodell phone_call für das Sprach-Tag en-US, es sei denn, Sie aktivieren die Einstellung Erweiterte Zeitlimit-basierte Empfindlichkeit für das Ende der Sprache aktivieren.

Erweiterte Zeitlimit-basierte Empfindlichkeit zum Erkennen des Redeendes

Kann auf Agent-Ebene festgelegt und auf Ablauf- und Seitenebene deaktiviert werden.

Wenn diese Einstellung aktiviert ist, wird der Wert der Einstellung Empfindlichkeit für das Ende der Sprache als Maßstab verwendet, um ein relatives Zeitlimit für die Audiostille festzulegen, um das Ende der Sprache zu bestimmen. Wenn diese Einstellung deaktiviert ist (Standardeinstellung), wird der Wert der Einstellung Empfindlichkeit für das Ende der Sprache verwendet, um das Ende der Sprache durch das ML-Modell von Google Cloud Speech-to-Text zu bestimmen.

Während die Einstellung Empfindlichkeit zum Erkennen des Redeendes standardmäßig nur das Sprachmodell phone_call für das Sprach-Tag en-US unterstützt, können Sie mit der Einstellung Erweiterte Empfindlichkeit zum Erkennen des Redeendes basierend auf Zeitüberschreitung aktivieren die Empfindlichkeit zum Erkennen des Redeendes für alle von Dialogflow unterstützten Sprachen und Sprachmodelle konfigurieren.

Intelligente Endpunkterkennung aktivieren

Kann nur auf Agentenebene festgelegt werden.

Wenn diese Einstellung aktiviert ist, analysiert Dialogflow CX die unvollständige Nutzereingabe, um das Ende der Sprache zu bestimmen. Wenn der Nutzer beispielsweise „Ich möchte“ sagt und eine Pause einlegt, wartet Dialogflow CX, bis der Nutzer den Satz fortsetzt.

Dies ist besonders nützlich für die Erfassung numerischer Parameter, bei der der Nutzer „1234“ sagen und eine Pause einlegen kann, bevor er „5678“ sagt. Wenn Sie diese Einstellung für einen bestimmten Parameter anwenden möchten, müssen Sie Intelligente Endpunktsetzung im Formular des Parameters einrichten.

Diese Einstellung ist nur für das Sprach-Tag en-US verfügbar und standardmäßig deaktiviert.

Wichtig: Wenn Sie Speech-to-Text V2 chirp_3 verwenden, lassen Sie Intelligente Endpunkterkennung aktivieren deaktiviert. Diese Einstellung ist nicht mit chirp_3 kompatibel und fügt eine Verzögerung von 5 Sekunden nach der Spracheingabe hinzu.

Zeitlimit für Spracherkennung

Kann auf Agenten-, Ablauf- und Seitenebene festgelegt werden.

Die Zeitdauer in Sekunden, für die Dialogflow CX nicht mehr auf die Audioeingabe des Endnutzers wartet. Der Standardwert ist 5 Sekunden und der Höchstwert 60 Sekunden. Für diese Zeitüberschreitung ruft Dialogflow CX ein No-Input-Ereignis auf.

Wenn Sie Speech-to-Text V2 chirp_3 verwenden, empfehlen wir ein Zeitlimit von 8 Sekunden, wenn keine Sprache erkannt wird.

Eingreifen

Kann auf Agenten-, Ablauf- und Auftragsausführungsebene festgelegt werden.

Wenn diese Option aktiviert ist, kann ein Endnutzer die Audioantwort von Dialogflow CX unterbrechen. Wenn Dialogflow CX unterbrochen wird, wird das Senden von Audio beendet und die nächste Endnutzereingabe verarbeitet.

Wenn sich mehrere Nachrichten in der Nachrichtenwarteschlange befinden und eine Nachricht von einem Fulfillment in die Warteschlange gestellt wurde, das mit einer Seite, einem Ablauf oder einem Agenten verknüpft ist, für die bzw. den die Unterbrechung aktiviert ist, wird die Unterbrechung auch für alle folgenden Nachrichten in der Warteschlange aktiviert. In diesem Fall wird die Audiowiedergabe für alle Nachrichten in der Warteschlange mit aktivierter Unterbrechung beendet.

Wenn Sie die Unterbrechung mit einer benutzerdefinierten Telefonie- oder Streaming-Integration verwenden, beachten Sie die folgenden Richtlinien:

• StreamingAnalyzeContent-Aufrufe pro Runde: Fügen Sie barge_in_config in InputAudioConfig in jeder Runde der Unterhaltung ein. Wenn Sie barge_in_config in späteren Runden weglassen, funktioniert die Unterbrechung nach der ersten Runde nicht mehr.
• Vorab aufgezeichnete .wav-Prompts: Kürzen Sie die nachfolgende Stille aus vorab aufgezeichneten Audiodateien in <audio>-Tags. Stille am Ende verlängert die Wiedergabe, was die Berechtigung für Unterbrechungen und das Zeitlimit für fehlende Sprache verzögern kann.

Hinweis: Wenn Sie die Unterbrechung aktivieren, erhöht sich die abrechenbare Gesamtdauer für jeden Turn. Da der KI-Agent während des Sprechens aktiv auf eine Unterbrechung wartet, werden Ihnen während der Wiedergabe der Antwort sowohl Eingabesekunden als auch Ausgabesekunden gleichzeitig in Rechnung gestellt, auch wenn der Nutzer nichts sagt.

Abbrechen der Wiedergabe von unvollständigen Antworten zulassen

Kann nur auf Fulfillment-Ebene festgelegt werden.

Sie können diese Einstellung aktivieren, wenn das Kästchen Erweiterte Spracheinstellungen aktivieren unter Agenteneinstellungen > Sprache und IVR angekreuzt ist und Teilantwort auf Fulfillment-Ebene aktiviert ist. Mit dieser Einstellung kann die Wiedergabe einer unvollständigen Antwort abgebrochen werden.

Wenn eine Nachricht in der Nachrichtenwarteschlange von einem Fulfillment erstellt wird, das einen Abbruch zulässt, wird die Wiedergabe der Nachricht abgebrochen, wenn der Warteschlange eine andere Nachricht hinzugefügt wird. Das ist nützlich, wenn Sie möchten, dass eine erste Nachricht die Wiedergabe startet, diese Wiedergabe aber abgebrochen werden soll, wenn ein funktionierender Webhook eine weitere Nachricht erzeugt, bevor die Wiedergabe der ersten Nachricht abgeschlossen ist.

Bucket für Audioexport

Kann auf Agenten- und Ablaufebene festgelegt werden.

Falls angegeben, werden alle mit einer Anfrage verknüpften Audiodaten im Cloud Storage-Bucket gespeichert:

Audio gespeichert	Anwendbare Anfragen
Audioeingabe des Endnutzers	DetectIntent, StreamingDetectIntent, AnalyzeContent, StreamingAnalyzeContent
Text-to-Speech-Audio (TTS), das für eine Antwort synthetisiert wurde	AnalyzeContent, StreamingAnalyzeContent

Weisen Sie den folgenden Dienstkonten in Ihrem Projekt die Rolle Storage-Objekt-Ersteller zu:

• Dem Dienstkonto des Formats one-click@df-cx-ALPHANUMERIC_VALUE-ALPHANUMERIC_VALUE., wenn Sie eine integrierte Partner-Telefonieintegration verwenden.

• Dem Dienstkonto des Formats service-PROJECT_NUMBER@gcp-sa-dialogflow., wenn Sie die Einbindung Dialogflow CX Phone Gateway verwenden. Wenn Sie dieses Dienstkonto in IAM finden möchten, aktivieren Sie die Option Von Google bereitgestellte Rollenzuweisungen einschließen.

Streaming von Text-to-Speech für Chirp 3: HD-Stimmen

Für das Streaming von Text-zu-Sprache für Chirp3-HD-Stimmen ist eine Zugriffsgenehmigung erforderlich. Wählen Sie nach der Genehmigung unter Agenteneinstellungen > Sprache und IVR > Text-to-Speech die Option Streaming-Text-to-Speech aktivieren aus. Bei der Streamingsynthese wird StreamingSynthesize verwendet, um die Latenz bei längeren Antworten zu reduzieren.

Beachten Sie Folgendes:

• Wenn Sie Streaming-Text-zu-Sprache mit Unterbrechung verwenden möchten, verwenden Sie BidiStreamingAnalyzeContent. Streaming-Text-to-Speech mit Unterbrechung wird bei StreamingAnalyzeContent-Aufrufen pro Durchgang nicht unterstützt.
• In einem einzelnen Schritt verkettet Dialogflow CX aufeinanderfolgende Text-responseMessages zu einer einzigen Text-zu-Sprache-Syntheseanfrage.

DTMF

Weitere Informationen zu dieser Funktion finden Sie in der Dokumentation zu DTMF (Dual-tone multi-frequency signaling).

Wenn Ihr StreamingDetectIntent-Client Out-of-Band-DTMF-Ziffern abfängt, brechen Sie den aktiven gRPC-Audiostream nicht ab. Wenn Sie den Stream abbrechen, ohne ihn halb zu schließen, bleibt der Serverstream geöffnet, bis das Zeitlimit für die Spracherkennung abläuft. Stattdessen sollten Sie das Senden von Audioframes beenden, die DTMF queryInput im selben Stream senden und den Stream halb schließen.