AI 索引概览

借助 AI 索引,您可以在表列中执行自然语言搜索,而无需手动生成嵌入或管理模型。您可以使用 AI.SEARCH 函数查询数据,而 BigQuery 会自动处理列选择、索引优化和持续维护。

AI 索引简介

AI 索引是一种托管式、自我优化的索引抽象,可让您使用 AI.SEARCH 函数在 BigQuery 表中的一列或多列中进行自然语言搜索。如果您希望在一个或多个文本列中进行自然语言搜索,而无需管理嵌入模型、嵌入列或向量索引,请使用 AI 索引。如果您需要特定的嵌入模型或自定义向量索引选项,请生成嵌入并创建向量索引。

BigQuery AI 索引可帮助您更高效地执行以下任务:

  • 执行自然语言搜索,而无需管理模型:您可以使用自然语言查询在数据中进行搜索,而无需生成嵌入或配置向量索引。
  • 自动选择列:当您使用 AUTO COLUMNS 选项创建 AI 索引时,BigQuery 会自动识别并选择表中要编入索引的候选列,或者让您指定要包含的列的显式列表。
  • 自适应索引:BigQuery 会自动确定并应用适合您的数据和查询的最佳索引和检索策略。
  • 全托管式生命周期:随着表数据的变化,BigQuery 会自动管理索引创建、维护、更新和刷新,而无需您管理底层 AI 工件。

工作负载管理

默认情况下,BigQuery 会使用按需槽和共享槽池来处理构建、刷新和优化 AI 索引所需的后台处理。如需确保在较大的生产工作负载上实现可预测且一致的索引性能,或在包含超过 1,000,000 行的表上创建 AI 索引,请执行以下操作:

  • 在表所在的区域中创建预留
  • 将项目分配到预留,并将 job_type 设置为 BACKGROUND。

如果存在 BACKGROUND 预留,BigQuery 会使用该预留来运行维护 AI 索引的后台作业。

价格

AI 索引费用分为以下几类:

  • DDL 语句:运行 CREATE AI INDEX 和 DROP AI INDEX 语句不会产生额外费用。
  • 后台索引数据处理(gc_ 作业):所有数据处理都使用 BigQuery 槽直接在 BigQuery 中运行。默认情况下,BigQuery 使用按需槽来处理这些作业,并且表的项目会按照 DML 按需结算模式进行结算。如果将 BACKGROUND 预留分配给项目,BigQuery 会使用 BACKGROUND 预留来运行这些后台 DML 作业,并根据槽时间用量对预留进行结算。如需了解详情,请参阅跟踪后台作业费用。
  • 嵌入生成:AI 索引的嵌入生成(包括为对具有 AI 索引的表执行的 AI.SEARCH 查询生成的嵌入)按 AI 索引使用的底层模型的公开费率计费。Google 可能会不时更新 AI 索引使用的默认模型,以改进模型生命周期或性能,并按照发布的 BigQuery 价格对模型进行计费。
  • 索引训练和优化:只要编入索引的表数据的总大小低于组织限制,使用默认共享槽池时,训练和优化索引结构所需的处理无需额外付费。
  • 存储:AI 索引在表中存在期间会产生存储费用。您可以在 INFORMATION_SCHEMA.AI_INDEXES 视图的 total_logical_bytes 列中查看 AI 索引的存储空间大小。
  • 查询:使用 AI.SEARCH 函数的查询按标准 BigQuery 计算价格计费。为查询生成嵌入会按照本列表中前面所述的方式计费。

AI 索引的限制

使用 AI 索引时,存在以下限制:

  • 如果某行中已编入索引的列的组合文本非常长(例如完整文档或许多长 STRING 列),则只有部分文本会用于搜索。为确保使用信息最丰富的字段,请在 CREATE AI INDEX 中指定明确的列列表,并首先列出信号最强的列。
  • 不支持需要对没有自然语言含义的标识符值(例如 ID、UUID、哈希或系统代码)进行完全匹配的查询。默认情况下,AUTO COLUMNS 包含所有顶级 STRING 列,而不会滤除不透明 ID 列。如需从 AI 索引中排除不透明 ID 列,请在 CREATE AI INDEX 中指定显式列列表。
  • 仅靠自然语言搜索文本无法支持包含严格数字限制条件或需要对非 STRING 列进行结构化过滤的查询。请改为在预过滤子查询中使用 WHERE 子句应用结构化或数字过滤条件。
  • 如果 AI 索引包含的列中的文本未描述行(例如原始日志、堆栈轨迹、网址或机器生成的字符串),则搜索质量可能会下降。如需排除这些列,请列出要编入索引的列,而不是使用 AUTO COLUMNS。
  • 不支持 CREATE OR REPLACE AI INDEX 和 ALTER AI INDEX 语句。您也无法删除、重命名或更改 AI 索引中包含的源列的数据类型。如需更改已编入索引的列,请删除 AI 索引并重新创建。
  • 具有 AI 索引的表不支持以下表操作。如需执行这些操作,请删除 AI 索引。

    • 根据表的架构 (CREATE TABLE ... LIKE) 创建表。
    • 复制表(bq cp 或 CREATE TABLE ... COPY),包括跨区域复制,或将数据复制到具有 AI 索引的现有表中。
    • 克隆表 (CREATE TABLE ... CLONE)。
    • 创建表快照 (CREATE SNAPSHOT TABLE)。
    • 重命名表 (ALTER TABLE ... RENAME TO)。
    • 恢复表 (RESTORE TABLE)。

后续步骤