このガイドでは、データストア ハンドラのパフォーマンスをモニタリングして改善するための推奨事項について説明します。
エージェントのパフォーマンスを追跡する
エージェントの会話履歴をモニタリングしたり、エージェントの統計情報に分析ツールを使用したりできます。
セルフサービス評価を実行する
セルフサービス評価を実行すると、データストア エージェントの品質が評価され、変更が推奨されます。
エージェントのレスポンスを改善する
テスト中にレスポンスが期待どおりでない場合は、次のオプションをお試しください。
- 特定の質問のよくある質問のエントリを追加することで、回答を上書きします。
- 構造化されたよくある質問で質の低い回答がある場合は、非構造化されたよくある質問をお試しください。
- レスポンスを最適化するには、構成の解析とチャンクを使用します。
- 特定のフレーズを禁止するには、エージェントの設定: 禁止フレーズをご覧ください。
- 責任ある AI（RAI）のコンテンツ フィルタリングをカスタマイズするには、エージェントの設定: 安全フィルタをご覧ください。
- 会話の前の情報に基づいてエージェントのレスポンスをファインチューニングするには、検索条件を構成します。この機能は、データストア ツールでのみ使用できます。
ハンドブックで使用されるデータストア ツールの最適化
この設定により、ユーザー クエリの書き換えやツール パラメータの動的な入力が行われなくなるため、データストアの RAG レスポンスが高速化され、レイテンシが改善されます。その結果、ユーザークエリはそのままデータストアに渡され、フィルタやユーザー メタデータ関連のパラメータは入力されません。
この機能を有効にするには、Dialogflow CX コンソールでハンドブックを選択し、[設定] タブを選択します。フォローアップ アクションの処理をすぐに続行するか、次のエンドユーザー入力を待つようにハンドブックを構成できます。
有効にすると、次のハンドブックの手順が引き続き適用されます。
- データストアを使用してユーザーのクエリに回答するタイミング。
- データストアを使用してユーザークエリに回答せず、代わりに別の回答を提供するタイミング。
- 防御的な指示（「競合他社に関する質問には回答しないでください」など）。
有効にすると、次のハンドブックの手順は無視されます。次のいずれかのクエリ要件がある場合は、この設定を有効にしないでください。
- 手順に沿って入力する特定のデータストア フィルタ。
- フィルタによって渡されたユーザー パーソナライズ メタデータを適用する手順。
- データストアをクエリする前にユーザークエリを書き換えるためのその他の指示。
会話の余談を処理する
エンドユーザーが会話中に明らかにするための質問をする場合があります。たとえば、クレジット カード情報の収集中に、CVV が何かを明確にする必要があります。この場合、エージェントは質問に回答し、必要なクレジット カード情報の収集に戻る必要があります。これを行うには、質問に答えるデータストアを使用してデータストア ハンドラを作成し、そのハンドラをクレジット カード情報の収集を処理するフローのフロースタートページに適用して、このハンドラが「現在のページ」に戻るためのトランジション ターゲットを設定します。
望ましくないインテントの一致を処理する
エージェントがデータストア ハンドラを使うべきなのにインテントと一致している場合、これを修正するために以下を試すことができます。
- あいまいなトレーニング フレーズを削除または変更します。これにより、すべてのトレーニング フレーズが選択したインテントを正確に処理し、データストアのコンテンツと競合しなくなります。
- ネガティブ サンプルを使用してインテント不一致を回避します。
データストアのフィルタリング
クエリに特定のデータストアのみを使用する場合は、セッション パラメータ値に基づいてデータストアを指定できます。たとえば、商品カテゴリごとに一意のデータストアを使用できます。商品カテゴリのデータストア フィルタリングを行うには:
- セッション パラメータを商品カテゴリに設定します。
- セッション パラメータの値を確認し、選択したデータストア ハンドラを持つ特定のページに移行する条件ルートを作成します。
- データストア ハンドラから呼び出しページに戻り、会話を続行できるようにします。
データストアの検索構成
データストアの検索結果のファインチューニングの詳細については、データストアの検索構成をご覧ください。