コンテキスト セットの概要

コンテキスト セットは、QueryData を強化するドメイン知識です。アプリケーションが本番環境に移行する前にビジネス ロジックがどのように機能するかを定義します。これにより、QueryData はほぼ 100% の精度と低いオンライン レイテンシで自然言語の質問に回答できます。

ドメイン コンテキストにはさまざまな形式がありますが、コンテキスト セットは次の 3 つの特殊なコンテキスト タイプをサポートしています。

  • クエリ テンプレート: 一般的なビジネス上の質問に対して事前に承認された SQL クエリ。
  • クエリ ファセット: テンプレートに動的にアタッチされるモジュラー フィルタ(「新婚家庭」や「オーシャン ビュー」など)。
  • 値検索: ユーザーのフレーズを正確なデータベース値にマッピングし、曖昧さを解消するエンティティ検索。

サポートされているデータベースは次のとおりです。

  • AlloyDB for PostgreSQL
  • Cloud SQL for MySQL
  • Cloud SQL for PostgreSQL
  • Spanner
  • MongoDB 互換の Firestore
  • Bigtable

コンテキスト セットとは

設計時にコンテキスト エンジニアリング エージェントを使用して、コンテキスト セットを作成して最適化します。コンテキスト エンジニアリング エージェントは、QueryData を介して代表的なゴールデン ベンチマークを実行し、結果をスコア付けして、コンテキスト セットを繰り返し改良(山登り)します。次に、過学習を回避するために、最終バージョンを未確認のホールドアウト テストセットと照合し、コンテキスト セットをGoogle Cloudに自動的にアップロードします。

データベースをキュレートされたコンテキスト セットと組み合わせると、本番環境で次の 2 つの主なメリットが得られます。

  • 一般化するほぼ 100% の精度: データベース スキーマはテーブルと列を記述しますが、どの距離が「近い」か、どの評価が学校を「良い」とするかをモデルに伝えることはできません。コンテキスト セットは、組織の検証済みのビジネスルールで QueryData をグラウンディングします。一方、パラメータ化されたパターンを使用すると、コンパクトなコンテキスト セットを、言い回しのバリエーション、フィルタの組み合わせ、エンティティ値全体で一般化できます。
  • 高速なオンライン実行と低レイテンシ: コンテキスト エンジニアリングにより、コストのかかるスキーマ推論をオフラインから設計時に移行します。
    • コンテキスト セットを使用したコンテキスト一致実行: 事前コンパイルされたテンプレート マッチングとインデックス付き値のルックアップによる高速なシングルパス実行。
    • テンプレートなしの予期しないクエリのゼロショット合成: モデルがスキーマ メタデータを探索し、実行時に SQL を合成する必要があるため、2 ~ 3 倍の時間がかかります。
    • 未加工の SQL ツールを使用したオープンなエージェント探索: マルチターンの試行錯誤クエリとエラー修正ループにより、30 秒以上かかることがよくあります。

コンテキスト プレースメントのアーキテクチャ

QueryData 用にデータベースを準備する際は、各タイプのドメイン知識を、そのスコープと取得動作に一致するコンテキスト層に配置します。

階層 メカニズム 追加すべき要素 ガードレール
Tier 1: スキーマ カタログのコメント データベースの COMMENT ON TABLE ステートメントと COMMENT ON COLUMN ステートメント(またはインライン databaseTableReferences スキーマの説明) 簡潔な列の意味、測定単位(ドルと比較したセント、UTC タイムスタンプなど)、クローズド列挙値('PENDING'、'SETTLED'、'FAILED' など)、非推奨のメモ テーブルがスコープ内にある場合は常に挿入されます。スキーマ プロンプトが肥大化しないように、コメントは簡潔にしてください。
Tier 2: グローバル プロンプト コンテキスト 外部オーケストレーター エージェントへの指示(QueryData prompt に含まれる)または DataAgent system_instruction クロス テーブル不変条件、デフォルトのレポート タイムゾーン、グローバル ソフト削除フィルタ(deleted_at IS NULL など)、統合エンティティ ID ブリッジ、過去の期間のカットオーバー日 Top-K 取得フィルタリングなしで、すべてのリクエストに含まれます。簡潔に(1,500 トークン未満)。
Tier 3A: クエリ テンプレート コンテキスト セットの JSON ファイル内の templates 8 ~ 25 個のコンポーズ可能なマルチテーブル結合、集計、グレイン バックボーン($1、$2 パラメータ プレースホルダを使用) -- コメントと /* ... */ コメントをすべて削除して、1 行の JSON 圧縮で末尾の SQL がコメントアウトされないようにします。条件付きポリシーのカットオフを一般的なテンプレートにハードコードしないでください。
Tier 3B: クエリ ファセット コンテキスト セットの JSON ファイル内の facets ドメインの語彙、名前付き指標、スコープ付きポリシーまたはコホート フィルタ述語 すべての列をテーブル名(table_name.column_name、テーブル エイリアスは不可)で修飾し、intent で正確な適用範囲を指定します。
Tier 4: 価値の高い検索語句 コンテキスト セットの JSON ファイル内の value_searches ルックアップ テーブルでのファジーな固有名詞、同義語、高カーディナリティのエンティティ解決 インデックス付きのルックアップ テーブルまたはディメンション テーブル(100,000 行未満)、または内部 CTE ORDER BY ... LIMIT 10 を使用して更新された SELECT DISTINCT マテリアライズド ビューに制限します。小さなクローズド列挙型やインデックスのないファクト テーブルには使用しないでください。

コンテキスト セット内のコンテキスト タイプ

実行時に、QueryData は 3 つのコンテキスト タイプをすべて 1 つのパスに結合します。たとえば、ユーザーが次のように質問したとします。

「デルマーで、良い学校の近くにあり、オーシャンビューの新婚家庭向けの家を探して」

QueryData は、次の 4 つのステップを連携してリクエストを解決します。

  1. クエリ テンプレートは、「$1 の良い学校の近くにある家」のコア クエリ構造を提供し、距離(2 マイル以内)と学校のランキング(5 以上)のビジネスルールを適用します。
  2. クエリ ファセットは、「スターター ファミリー」(3 ~ 4 ベッドルーム、2 つ以上のバスルーム)と「オーシャンビュー」(ベクトル類似性検索)のモジュラー フィルタを挿入します。
  3. 値検索では、cities.city_name 列で 'Del Mar' を検索し、そのコンセプト タイプを確認します。
  4. インテントの説明は、クエリ結果とともに返される 1 つの認定された説明に統合されます。「デルマーにある、学校から 2 マイル以内の、5 つ星以上の、寝室 3 ~ 4 室の、オーシャンビューの家」

クエリ テンプレート

クエリ テンプレートは、代表的な自然言語の質問とそれに対応する SQL クエリをまとめたものです。また、質問がどのように解釈されたかについて、認定された根拠を提供する説明も含まれています。

たとえば、ユーザーが不動産アプリケーションに「デルマーの良い学校の近くにある家を探して」と質問した場合、データベース スキーマだけでは、「近く」と見なされる距離、「良い」学校と見なされる評価、一致する物件のランク付け方法を定義できません。クエリ テンプレートは、ランキングと近接性の重み付けスコアで並べ替えられた、ランク 5 以上の学校から 2 マイル以内の物件など、正確なビジネス解釈をキャプチャし、任意の都市に一般化します。

クエリ テンプレートの主なコンポーネントは次のとおりです。

  • 自然言語の質問の例: 「Find me homes near good schools in Del Mar(デルマーの良い学校の近くにある家を探して)」など、平易な英語で尋ねられた代表的な質問。
  • SQL クエリの例: ビジネスルールに従って質問に回答する、検証済みの SQL クエリ。
  • 一般化された質問パターン: 特定の値を一般的な説明に置き換えた自動生成パターン(「特定の都市のよい学校の近くにある家を探す」など)。さまざまな言い回しで入力される質問を照合するために使用されます。
  • インテントの説明: クエリによって適用されるビジネスルール(「$1 で、ランクが 5 以上の学校から 2 マイル以内にある住宅を検索する」など)の、認定されたわかりやすい説明。
  • パラメータ化された SQL クエリ: $1 などのパラメータを使用して、インテントの説明に対応する実行可能な SQL クエリ。
SQL データベースのクエリ テンプレートを作成する場合は、次のベスト プラクティスに従ってください。

  • SQL コメントを削除する: sql と parameterized_sql からすべての -- 行コメントと /* ... */ ブロック コメントを削除します。特に、複数行の SQL を 1 つの JSON 行に圧縮する前に、-- コメントがステートメントの残りの部分をコメントアウトします。
  • テンプレートを構造的なバックボーンに集中させる: テンプレートを使用して、再利用可能な複数テーブルの結合、グループ化の粒度、集計パターンをキャプチャします(通常、コンテキスト セットごとに 8 ~ 25 個のテンプレート)。条件付きポリシーのカットオフまたはコホート固有の WHERE 述語を、一般的なテンプレートにハードコードするのではなく、クエリ ファセットに配置します。

クエリ ファセット

クエリ ファセットは、代表的な自然言語の条件と、対応する SQL 述語をまとめたものです。ファセットはフィルタリングと条件を管理します。これにより、クエリ テンプレートは、フィルタの組み合わせごとに個別のテンプレートを必要とせずに、ファセット検索を実行できます。

たとえば、ユーザーは「デルマーの良い学校の近くにある家を探して」という質問に、次のような追加条件を付けることができます。

  • 「...for a starter family」は、properties.bedrooms BETWEEN 3 AND 4 AND properties.bathrooms >= 2.0 などの構造化 SQL フィルタにマッピングされます。
  • 「...オーシャンビュー」は、ai.if などのデータベース AI 演算子や、listing_description、listing_image_embeddings、customer_reviews などの非構造化列にわたるベクトル類似性検索(<=>)を使用します。

クエリ ファセットの主なコンポーネントは次のとおりです。

  • SQL スニペット: 再利用可能な SQL フィルタ条件(properties.bedrooms BETWEEN 3 AND 4 AND properties.bathrooms >= 2.0 など)。曖昧さを避けるため、すべての列名を完全なテーブル名で修飾します(例: table_name.column_name)。t1.column_name などの裸の列名やテーブル エイリアスは使用しないでください。
  • 一般化された条件パターン: ファセットが一致する自然言語パターン(「初めての家族に適している」など)。
  • インテントの説明: フィルタ条件の認定された説明。全体的な回答の根拠の一部として返されます。これには、正確な適用範囲(条件が適用されるエンティティ コホート、ステータス、日付ウィンドウなど)が含まれます。
  • パラメータ化された SQL スニペット: インテントの説明に対応する実行可能な SQL フラグメント。

値の検索クエリ

値検索クエリは、デベロッパーが定義したクエリです。完全一致、ファジー トリグラム類似度、セマンティック ベクトル検索などの一致関数を使用して、データベース内の値とそのコンテキストを検索します。QueryData は、これらの結果に対して値のリンクを使用して、一致する値を含むテーブルと列を特定し、値のコンセプト タイプを理解し、スペルミスを修正し、SQL を実行する前に曖昧さを検出します。

たとえば、ユーザーが不動産アプリケーションに「過去 1 か月間に売却された Westwod の物件」をリクエストした場合、スキーマのみのモデルは WHERE name = 'Westwod' でフィルタし、結果を返さない可能性があります。値検索クエリは、ファジー マッチングを使用して、スペルミスの「Westwod」をデータベース値 'Westwood' に解決します。また、'Westwood' がデータベース内の複数のコンセプト タイプ(City、Municipality、Brokerage など)に存在する場合、値リンクは曖昧さを検出します。これにより、QueryData は推測するのではなく、ユーザーにどのコンセプトを意味しているかを明確にするよう求めることができます。

値検索クエリの主なコンポーネントは次のとおりです。

  • ルックアップ クエリ: 完全一致、トライグラム類似度(pg_trgm)、またはベクトル検索を使用して列内の値を検索する、パラメータ化された SQL クエリ。
  • コンセプト タイプ: City、Municipality、Brokerage などのセマンティック ラベル。値が表す内容と、フィルタする列を指定します。
  • 説明: ルックアップ ロジックの簡単な説明。SQL データベースの value_searches を設計する際は、次のルールに沿って、ランタイム クエリの失敗と高レイテンシのテーブル スキャンを防止します。

    • ORDER BY と LIMIT は CTE またはサブクエリ内に配置し、最上位には配置しない: 実行時に、QueryData は複数の value_searches クエリを UNION ALL と組み合わせることができます。各クエリが独自のインデックス スキャンをバインドするようにするには、ORDER BY ... LIMIT 10 を最上位ではなく、WITH 共通テーブル式(CTE)または派生サブクエリ内に配置します。
    • インデックス付きのルックアップ テーブルをクエリする。大規模なファクト テーブルやクローズド列挙型はクエリしない: 値の検索は、トライグラム インデックスまたはベクトル インデックスに基づく小規模なルックアップ テーブルまたはディメンション テーブル(100,000 行未満)に対してのみ実行します。または、大規模なテーブルから抽出された更新済みの SELECT DISTINCT マテリアライズド ビューに対して実行します。数百万行のファクト テーブルやログテーブルに対して value_searches を直接実行しないでください。クエリ時にテーブル列の行ごとにエンベディングをインラインで計算しないでください。小さなクローズド列挙型では value_searches を省略してください(代わりに、列コメントにドキュメントのクローズド列挙型の値を記述します)。

    次のステップ