上下文集概览

上下文集是为 QueryData 提供支持的领域知识。它定义了应用上线前业务逻辑的运作方式,以便 QueryData 能够以近乎 100% 的准确率和较低的在线延迟回答自然语言问题。

虽然网域上下文可以采用多种形式,但上下文集支持三种专用上下文类型:

  • 查询模板:针对常见业务问题的预批准 SQL 查询。
  • 查询分面:动态附加到模板的模块化过滤条件,例如“新家庭”或“海景”。
  • 值搜索:将用户短语映射到确切数据库值并消除歧义的实体查找。

支持以下数据库:

  • AlloyDB for PostgreSQL
  • Cloud SQL for MySQL
  • Cloud SQL for PostgreSQL
  • Spanner
  • 与 MongoDB 兼容的 Firestore
  • Bigtable

什么是上下文集

您可以在设计时使用上下文工程智能体编写和优化上下文集。上下文工程代理通过 QueryData 运行具有代表性的黄金基准,对结果进行评分,并以迭代方式优化(爬山)上下文集。然后,它会根据未见过的留出测试集检查最终版本,以避免过拟合,并自动将上下文集上传到Google Cloud。

将数据库与精选上下文集配对可带来两大核心生产优势:

  • 接近 100% 的准确率,且具有泛化能力:数据库架构描述了表和列,但无法告诉模型多远的距离算“近”,或者什么样的评分才算“好”学校。上下文集可让 QueryData 遵循贵组织经过验证的业务规则,而参数化模式可让紧凑的上下文集在措辞变体、过滤条件组合和实体值之间进行泛化。
  • 快速在线执行和低延迟:上下文工程将昂贵的架构推理移至离线设计时:
    • 使用上下文集进行上下文匹配执行:通过预编译模板匹配和索引值查找,实现快速单次执行。
    • 针对没有模板的意外查询进行零样本合成:由于模型必须在运行时探索架构元数据并合成 SQL,因此耗时会增加 2 到 3 倍。
    • 使用原始 SQL 工具进行开放式智能体探索:由于多轮试错查询和错误更正循环,通常需要 30 秒以上。

情境放置架构

为 QueryData 准备数据库时,请将每种类型的领域知识放入与其范围和检索行为相匹配的上下文层中:

层级 机制 应添加的内容 保护措施
第 1 层级:架构目录注释 内嵌 databaseTableReferences 架构字段说明 简明列含义、度量单位(例如美分与美元,或 UTC 时间戳)、封闭枚举值(例如 'PENDING'、'SETTLED'、'FAILED')和弃用说明 只要表在范围内,就会注入。注释应简明扼要,以免导致架构提示过于冗长。
第 2 层级:全局提示上下文 外部编排器智能体指令(包含在 QueryData prompt 中)或 DataAgent system_instruction 跨表不变量、默认报告时区、全局软删除过滤条件(例如 deleted_at IS NULL)、合并实体 ID 桥接和历史时代割接日期 包含在每个请求中,不进行 Top-K 检索过滤。保持简洁(不超过 1,500 个 token)。
第 3A 层级:查询模板 上下文集 JSON 文件中的 templates 8 到 25 个可组合的多表联接、聚合和粒度主干,带有 $1、$2 参数占位符 去除所有 -- 和 /* ... */ 注释,以便单行 JSON 压缩不会注释掉尾随 SQL。避免将条件政策截止日期硬编码到通用模板中。
第 3B 层级:查询维度 上下文集 JSON 文件中的 facets 网域词汇、命名指标以及限定范围的政策或同类群组过滤条件谓词 使用表名称(table_name.column_name,绝不使用表别名)限定每个列,并在 intent 中说明确切的适用范围。
第 4 层级:价值搜索查询 上下文集 JSON 文件中的 value_searches 对照表上的模糊专有名词、同义词或高基数实体解析 限制为由搜索索引支持且具有内部派生子查询 ORDER BY ... LIMIT 10 的查找表或维度表(少于 100,000 行)。请勿用于小型封闭枚举或未编入索引的事实表。

上下文集中的上下文类型

在运行时,QueryData 会一次性合并所有三种上下文类型。例如,如果用户询问:

“帮我在德尔马找一些靠近好学校、适合新家庭且拥有海景的房源”

QueryData 通过四个协调步骤来解析请求:

  1. 查询模板提供了“$1邻近好学校的房源”的核心查询结构,并应用了距离(2 英里以内)和学校排名(5 或更高)的业务规则。
  2. 查询分面会注入“入门家庭”(3 到 4 间卧室、2 间或更多浴室)和“海景”(向量相似度搜索)的模块化过滤条件。
  3. 值搜索会在 cities.city_name 列中查找 'Del Mar' 并验证其概念类型。
  4. 意图说明会合并为一条经过认证的说明,并与查询结果一起返回:“德尔马房源,距离排名至少前 5 的学校 2 英里以内,有 3 到 4 间卧室,且有海景。”

查询模板

查询模板是一组精选的代表性自然语言问题,其中包含相应的 SQL 查询。它们还包含解释,为问题的解读方式提供经过认证的理由。

例如,如果用户向房地产应用询问“帮我找一下德尔马好学校附近的房源”,仅凭数据库架构无法定义多远的距离算“附近”、什么样的评分才算“好”学校,或者如何对匹配的房产进行排名。查询模板会捕获确切的业务解释,例如距离排名不低于 5 的学校 2 英里以内、按排名和邻近性的加权分数排序的房源,并将其泛化到任何城市。

查询模板的主要组成部分如下:

  • 示例自然语言问题:用普通英语提出的代表性问题,例如“帮我找找德尔马邻近好学校的房源”。
  • SQL 查询示例:根据您的业务规则回答问题的经过验证的 SQL 查询。
  • 泛化问题模式:一种自动生成的模式,其中特定值会被替换为通用描述,例如“查找指定城市中靠近好学校的房源”,用于匹配各种不同措辞的传入问题。
  • 意图说明:对查询所应用的业务规则进行经过认证的通俗易懂的说明,例如“在$1查找距离排名至少前 5 的学校 2 英里以内的房源”。
  • 参数化 SQL 查询:与 intent 说明对应的可执行 SQL 查询,使用 $1 等参数。
为 SQL 数据库编写查询模板时,请遵循以下最佳实践:

  • 去除 SQL 注释:从 sql 和 parameterized_sql 中移除所有 -- 行注释和 /* ... */ 块注释,尤其是在将多行 SQL 压缩到单个 JSON 行之前,因为 -- 注释会注释掉语句的其余部分。
  • 让模板专注于结构骨架:使用模板捕获可重复使用的多表联接、分组粒度和聚合模式(每个上下文集通常有 8 到 25 个模板)。将条件政策截止日期或特定同类群组的 WHERE 谓词放在查询分面中,而不是将其硬编码到常规模板中。

查询分面

查询分面是一组精选的代表性自然语言条件,其中包含相应的 SQL 谓词。分面可管理过滤和条件,使查询模板能够执行分面搜索,而无需为每个过滤条件组合使用单独的模板。

例如,用户可以扩展“帮我找找德尔马靠近好学校的房源”,添加更多条件:

  • “…适合新家庭”,该短语会映射到结构化 SQL 过滤条件,例如 properties.bedrooms BETWEEN 3 AND 4 AND properties.bathrooms >= 2.0。
  • “…with an ocean view”,该查询使用数据库 AI 运算符(例如 AI.IF)或跨非结构化列(例如 listing_description、listing_image_embeddings 和 customer_reviews)进行向量相似度搜索。

查询分面的主要组成部分如下:

  • SQL 代码段:可重复使用的 SQL 过滤条件,例如 properties.bedrooms BETWEEN 3 AND 4 AND properties.bathrooms >= 2.0。为避免产生混淆,请使用完整表名称限定每个列名称,例如 table_name.column_name。请勿使用裸列名称或表别名,例如 t1.column_name。
  • 通用条件模式:构面匹配的自然语言模式,例如“适合新家庭”。
  • 意图说明:对过滤条件的认证说明,作为整体回答依据的一部分返回,包括其确切的适用范围(例如,条件适用于哪个实体群组、状态或日期窗口)。
  • 参数化 SQL 代码段:与意图说明对应的可执行 SQL 片段。

值搜索查询

值搜索查询是开发者定义的查询,使用匹配函数(例如完全匹配、模糊三元组相似度或语义向量搜索)在数据库中查找值及其上下文。QueryData 会对这些结果使用值关联,以识别哪些表和列包含匹配值、了解值的概念类型、更正拼写错误,并在执行 SQL 之前检测歧义。

例如,如果用户向房地产应用询问“Westwod 过去一个月内售出的房产”,仅使用架构的模型可能会按 `WHERE name = 'Westwod'` 进行过滤,并且不返回任何结果。值搜索查询使用模糊匹配将拼写错误的“Westwod”解析为数据库值 'Westwood'。此外,如果 'Westwood' 存在于数据库中的多个概念类型(例如 City、Municipality 和 Brokerage)中,值关联会检测到歧义,以便 QueryData 可以要求用户澄清他们指的是哪个概念,而不是猜测。

值搜索查询的主要组成部分如下:

  • 查找查询:一个参数化 SQL 查询,使用完全匹配、N 元语法相似度或 Vector Search 来查找列中的值。
  • 概念类型:语义标签,例如 City、Municipality 或 Brokerage,用于指定值所代表的内容以及要过滤的列。
  • 说明:对查找逻辑的简要说明。 为 SQL 数据库设计 value_searches 时,请遵循以下规则,以防止运行时查询失败和高延迟表扫描:

    • 将 ORDER BY 和 LIMIT 放在子查询中,切勿放在顶层:在运行时,QueryData 可以将多个 value_searches 查询与 UNION ALL 组合在一起。为确保每个查询都限定自己的索引扫描范围,请将 ORDER BY ... LIMIT 10 放在派生子查询 (SELECT ... FROM (SELECT ... ORDER BY ... LIMIT 10)) 中,而不是放在顶层。Spanner GoogleSQL 不支持带括号的 UNION ALL 子查询中的 WITH 子句。
    • 查询已编入索引的对照表,切勿查询大型事实表或封闭枚举:仅针对由搜索索引支持的小型对照表或维度表(少于 100,000 行)运行值搜索。切勿直接对包含数百万行的事实表或日志表运行 value_searches,切勿在查询时对表列中的每一行内嵌计算嵌入,并对小型封闭枚举省略 value_searches。

    后续步骤