במדריך הזה מפורטות הגדרות מתקדמות נוספות לתכונות הדיבור. כדי להפעיל ולהשבית את ההגדרות המתקדמות האלה, עוברים אל Agent settings > Speech and IVR > Speech-to-Text > Advanced speech settings.
ההגדרות האלה זמינות בהגדרות הנציג (חלות על כל הנציג), בהגדרות התהליך (חלות על כל התהליך ומבטלות את הגדרות הנציג), בהגדרות הדף (חלות על הדף ומבטלות את הגדרות התהליך והנציג) ובהגדרות מילוי הבקשות (חלות על מילוי הבקשות ומבטלות את הגדרות הדף, התהליך והנציג). קבוצת משנה של ההגדרות האלה זמינה בכל רמה, בהתאם לרלוונטיות של ההגדרה לרמה.
כדי לקבוע את ההגדרות האלה ברמה נמוכה יותר, קודם צריך לבחור באפשרות הפעלת הגדרות דיבור מתקדמות בהגדרות של הנציג.
הגדרות מעודכנות ברמת הנציג לא מועברות לרמת התהליך, הדף והמילוי, אם האפשרות Customize נבחרה ברמות הנמוכות יותר. אם האפשרות Customize כוללת כמה הגדרות ואתם רוצים לעדכן רק חלק מהן, יכול להיות שתצטרכו לעדכן גם הגדרות אחרות אם אתם רוצים שהן יהיו זהות להגדרות ברמת הנציג.
אם מבטלים את הסימון של Enable advanced speech settings בתהליך, התהליך לא יורש את הגדרות הדיבור או ה-Barge-in של הנציג. צריך להשאיר את האפשרות הזו מסומנת בתהליכים (כמו Default Start Flow) שבהם ההגדרות של הנציג עוברות בירושה.
זמינות ההגדרות לפי רמה
בטבלה הבאה מפורטות הגדרות הדיבור המתקדמות שזמינות בכל רמה:
| שם ההגדרה | סוכן | Flow | דף | מילוי בקשות (Fulfillment) |
|---|---|---|---|---|
| בחירת מודל (המרת דיבור לטקסט) | ✔ | ✔ | ✔ | |
| רגישות לסיום הדיבור | ✔ | ✔ | ✔ | |
| רגישות מתקדמת לסיום הדיבור על סמך זמן קצוב לתפוגה | ✔ | ✔ | ✔ | |
| הפעלת זיהוי חכם של סוף דיבור | ✔ | |||
| תם הזמן שהוקצב לדיבור | ✔ | ✔ | ✔ | |
| התפרצות לשיחה | ✔ | ✔ | ✔ | |
| אפשר לבטל את ההפעלה של מילוי חלקי | ✔ | |||
| קטגוריית ייצוא האודיו | ✔ | ✔ | ||
| DTMF | ✔ | ✔ | ✔ |
בחירת מודל (המרת דיבור לטקסט)
אפשר להגדיר אותם ברמת הנציג, התהליך והדף.
מגדירה את מודל הדיבור שמשמש לזיהוי דיבור. ההגדרה הזו היא ספציפית לשפה, כך שאפשר לבחור מודלים שונים לשפות שונות.
אפשר גם לבחור באפשרות Override request-level speech model. האפשרות הזו מחילה את המודל של הנציג, התהליך או הדף במקום המודל בבקשה או ב-ConversationProfile.
בסשנים של סטרימינג דו-כיווני (BidiStreamingAnalyzeContent), צריך להשתמש באותה גרסה של Speech-to-Text בסוכן, בתהליכים ובדפים. אל תשלבו באותו סשן מודלים של Speech-to-Text V2 (chirp_3) עם מודלים של Speech-to-Text V1 (כמו telephony_short או latest_short).
למידע על Dialogflow CX Phone Gateway, ראו מגבלות. מידע נוסף זמין במאמר מודלים של דיבור.
רגישות לסיום הדיבור
אפשר להגדיר אותם ברמת הנציג, התהליך והדף.
ההגדרה קובעת את רגישות הזיהוי של סוף הדיבור בקלט האודיו של משתמש הקצה. הערך נע בין 0 (רגישות נמוכה, סבירות נמוכה יותר לסיום הדיבור) ל-100 (רגישות גבוהה, סבירות גבוהה יותר לסיום הדיבור).
חשוב לזכור את ההמלצות הבאות:
- כשמשתמשים ב-Speech-to-Text V2
chirp_3, מתחילים עם ערך End of speech sensitivity של75, או80באודיו רועש של טלפוניה ב-8kHz. אל תגדירו את הערך ל-100, כי זה עלול לגרום לזיהוי שגוי בקווים רועשים. משאירים את האפשרות הפעלת רגישות מתקדמת לסיום הדיבור על סמך זמן קצוב לתפוגה מופעלת במסוף. בבקשות API, מגדירים אתuseTimeoutBasedEndpointingל-true. - אם אתם משתמשים ב-
ConversationProfile, ודאו שהערך של End of speech sensitivity מוגדר בהגדרות של הנציג, התהליך והדף. ערכים נמוכים, כמו35, יכולים להוסיף עיכובים של כמה שניות בזיהוי סוף הדיבור.
רגישות מתקדמת לסיום הדיבור על סמך זמן קצוב לתפוגה
אפשר להגדיר אותם ברמת הנציג ולהשבית אותם ברמת התהליך והדף.
אם ההגדרה הזו מופעלת, ערך ההגדרה רגישות לסיום הדיבור משמש כמדד לקביעת זמן קצוב יחסי של שקט באודיו כדי לקבוע את סיום הדיבור. אם ההגדרה הזו מושבתת (ברירת המחדל), הערך של ההגדרה רגישות לסיום הדיבור משמש לקביעת סיום הדיבור על ידי מודל ה-ML שסופק על ידי Google Cloud Speech-to-Text.
כברירת מחדל, ההגדרה End of speech sensitivity תומכת רק במודל הדיבור phone_call לתג השפה en-US. לעומת זאת, ההגדרה Enable advanced timeout-based end of speech sensitivity מאפשרת להגדיר את רגישות סיום הדיבור לכל השפות ומודלי הדיבור שנתמכים ב-Dialogflow.
הפעלת זיהוי חכם של סוף דיבור
אפשר להגדיר רק ברמת הנציג.
אם ההגדרה הזו מופעלת, Dialogflow CX ינתח קלט חלקי של המשתמש כדי לקבוע את סוף הדיבור. לדוגמה, אם המשתמש אומר "אני רוצה" ועוצר, Dialogflow CX ימתין שהמשתמש ימשיך את המשפט.
האפשרות הזו שימושית במיוחד לאיסוף פרמטרים מספריים, שבהם המשתמש עשוי לומר "1234" ולהשהות לפני שהוא אומר "5678". כדי להחיל את ההגדרה הזו על פרמטר ספציפי, צריך להגדיר נקודות קצה חכמות בטופס של הפרמטר.
ההגדרה הזו זמינה רק לתג השפה en-US והיא מושבתת כברירת מחדל.
תם הזמן שהוקצב לדיבור
אפשר להגדיר אותם ברמת הנציג, התהליך והדף.
משך הזמן בשניות שבו Dialogflow CX יפסיק להמתין לקלט אודיו ממשתמש הקצה. ברירת המחדל היא 5 שניות, והערך המקסימלי הוא 60 שניות. במקרה של זמן קצוב לתפוגה, Dialogflow CX מפעיל אירוע ללא קלט.
כשמשתמשים ב-Speech-to-Text V2 chirp_3, מומלץ להגדיר זמן קצוב לתפוגה של 8 שניות כשאין דיבור.
התפרצות לשיחה
אפשר להגדיר את זה ברמת הנציג, התהליך ומילוי הבקשה.
כשהאפשרות הזו מופעלת, משתמש קצה יכול לקטוע את האודיו של התשובה מ-Dialogflow CX. כשהשיחה נקטעת, Dialogflow CX מפסיק לשלוח אודיו ומעבד את הקלט הבא של משתמש הקצה.
אם יש כמה הודעות בתור ההודעות, והודעה נוספה לתור על ידי מילוי בקשה שמשויך לדף, לנתיב או לנציג שהתפרצות מופעלת אצלם, אז ההתפרצות תופעל גם בכל ההודעות הבאות בתור. במקרה כזה, השילוב יפסיק להשמיע אודיו לכל ההודעות בתור שההתפרצות מופעלת בהן.
אם אתם משתמשים בהתפרצות לשיחה עם שילוב של טלפוניה או סטרימינג בהתאמה אישית, פעלו לפי ההנחיות הבאות:
- קריאות ל-
StreamingAnalyzeContentבכל שלב: כוללים אתbarge_in_configב-InputAudioConfigבכל שלב בשיחה. אם לא תכללו אתbarge_in_configבתורות הבאים, ההתפרצות תפסיק לפעול אחרי התור הראשון. - הנחיות מוקלטות מראש של
.wav: חיתוך השקט בסוף קובצי אודיו מוקלטים מראש בתגי<audio>. שתיקה בסוף מאריכה את ההפעלה, מה שעלול לעכב את הזכאות להתפרצות ואת הזמן הקצוב לתפוגה ללא דיבור.
אפשר לבטל את ההפעלה של מילוי חלקי
אפשר להגדיר את המאפיין הזה רק ברמת המילוי.
אפשר להפעיל את ההגדרה הזו כשמסמנים את התיבה Enable advanced speech settings בקטע Agent settings > Speech and IVR, ומפעילים את האפשרות מילוי חלקי ברמת המילוי. ההגדרה הזו מאפשרת לבטל את ההפעלה של מילוי חלקי.
אם הודעה בתור ההודעות נוצרת על ידי מילוי בקשה שמאפשר ביטול, ההשמעה של ההודעה מבוטלת אם הודעה אחרת מתווספת לתור. זה שימושי כשרוצים שהודעה ראשונית תתחיל את ההפעלה, אבל שההפעלה תבוטל אם webhook פעיל ייצור הודעה אחרת לפני שההפעלה של ההודעה הראשונית תסתיים.
קטגוריית ייצוא האודיו
אפשר להגדיר אותם ברמת הנציג וברמת התהליך.
אם תספקו קטגוריה של Cloud Storage, כל נתוני האודיו שמשויכים לבקשה יישמרו בה:
| האודיו נשמר | בקשות רלוונטיות |
|---|---|
| קלט אודיו של משתמש הקצה | DetectIntent, StreamingDetectIntent, AnalyzeContent, StreamingAnalyzeContent |
| אודיו של המרת טקסט לדיבור (TTS) שנוצר לתשובה | AnalyzeContent, StreamingAnalyzeContent |
מקצים את התפקיד יצירת אובייקטים באחסון לחשבונות השירות הבאים בפרויקט:
לחשבון השירות בפורמט
one-click@df-cx-ALPHANUMERIC_VALUE-ALPHANUMERIC_VALUE., אם משתמשים בשילוב טלפוניה מובנה של שותף.לחשבון השירות בפורמט
service-PROJECT_NUMBER@gcp-sa-dialogflow., אם משתמשים בשילוב של Dialogflow CX Phone Gateway. כדי למצוא את חשבון השירות הזה ב-IAM, מסמנים את האפשרות Include Google-provided role grants.
המרת טקסט לדיבור בסטרימינג ב-Chirp 3: קולות באיכות HD
כדי להשתמש בהמרת טקסט לדיבור (TTS) בסטרימינג עם קולות של Chirp3-HD, צריך אישור גישה.
אחרי האישור, בוחרים באפשרות Enable streaming text-to-speech בקטע Agent settings > Speech and IVR > Text-to-Speech. התכונה "סינתזה בסטרימינג" משתמשת ב-StreamingSynthesize כדי לצמצם את זמן האחזור בתשובות ארוכות יותר.
חשוב לזכור:
- כדי להשתמש בהמרת טקסט לדיבור בסטרימינג עם התפרצות לשיחה, משתמשים ב-
BidiStreamingAnalyzeContent. אין תמיכה בסטרימינג של המרת טקסט לדיבור (TTS) עם התפרצות לשיחה ב-StreamingAnalyzeContentלכל תור. - במהלך תור אחד, Dialogflow CX משרשר טקסט עוקב של
responseMessagesלבקשה אחת של המרת טקסט לדיבור (TTS).
DTMF
מידע נוסף על התכונה הזו זמין במסמכי התיעוד של DTMF (איתות רב-תדרי דו-צלילי).
אם הלקוח של StreamingDetectIntent מיירט ספרות DTMF מחוץ לפס, אל תבטלו את שידור האודיו הפעיל של gRPC. אם מבטלים את הסטרימינג בלי לסגור אותו חלקית, הסטרימינג של השרת נשאר פתוח עד שנגמר הזמן הקצוב ללא דיבור. במקום זאת, הפסיקו לשלוח פריימים של אודיו, שלחו את ה-DTMF queryInput באותו סטרימינג וסגרו חלקית את הסטרימינג.