AI 索引概览
借助 AI 索引,您可以在表列中执行自然语言搜索,而无需手动生成嵌入或管理模型。您可以使用 AI.SEARCH 函数查询数据,而 BigQuery 会自动处理列选择、索引优化和持续维护。
AI 索引简介
AI 索引是一种托管式、自我优化的索引抽象,可让您使用 AI.SEARCH 函数在 BigQuery 表中的一列或多列中进行自然语言搜索。如果您希望在一个或多个文本列中进行自然语言搜索,而无需管理嵌入模型、嵌入列或向量索引,请使用 AI 索引。如果您需要特定的嵌入模型或自定义向量索引选项,请生成嵌入并创建向量索引。
BigQuery AI 索引可帮助您更高效地执行以下任务:
- 执行自然语言搜索,而无需管理模型:您可以使用自然语言查询在数据中进行搜索,而无需生成嵌入或配置向量索引。
- 自动选择列:当您使用
AUTO COLUMNS选项创建 AI 索引时,BigQuery 会自动识别并选择表中要编入索引的候选列,或者让您指定要包含的列的显式列表。 - 自适应索引:BigQuery 会自动确定并应用适合您的数据和查询的最佳索引和检索策略。
- 全托管式生命周期:随着表数据的变化,BigQuery 会自动管理索引创建、维护、更新和刷新,而无需您管理底层 AI 工件。
工作负载管理
默认情况下,BigQuery 会使用按需槽和共享槽池来处理构建、刷新和优化 AI 索引所需的后台处理。如需确保在较大的生产工作负载上实现可预测且一致的索引性能,或在包含超过 1,000,000 行的表上创建 AI 索引,请执行以下操作:
- 在表所在的区域中创建预留
- 将项目分配到预留,并将
job_type设置为BACKGROUND。
如果存在 BACKGROUND 预留,BigQuery 会使用该预留来运行维护 AI 索引的后台作业。
价格
AI 索引费用分为以下几类:
- DDL 语句:运行
CREATE AI INDEX和DROP AI INDEX语句不会产生额外费用。 - 后台索引数据处理(
gc_作业):所有数据处理都使用 BigQuery 槽直接在 BigQuery 中运行。默认情况下,BigQuery 使用按需槽来处理这些作业,并且表的项目会按照 DML 按需结算模式进行结算。如果将BACKGROUND预留分配给项目,BigQuery 会使用BACKGROUND预留来运行这些后台 DML 作业,并根据槽时间用量对预留进行结算。如需了解详情,请参阅跟踪后台作业费用。 - 嵌入生成:AI 索引的嵌入生成(包括为对具有 AI 索引的表执行的
AI.SEARCH查询生成的嵌入)按 AI 索引使用的底层模型的公开费率计费。Google 可能会不时更新 AI 索引使用的默认模型,以改进模型生命周期或性能,并按照发布的 BigQuery 价格对模型进行计费。 - 索引训练和优化:只要编入索引的表数据的总大小低于组织限制,使用默认共享槽池时,训练和优化索引结构所需的处理无需额外付费。
- 存储:AI 索引在表中存在期间会产生存储费用。您可以在
INFORMATION_SCHEMA.AI_INDEXES视图的total_logical_bytes列中查看 AI 索引的存储空间大小。 - 查询:使用
AI.SEARCH函数的查询按标准 BigQuery 计算价格计费。为查询生成嵌入会按照本列表中前面所述的方式计费。
AI 索引的限制
使用 AI 索引时,存在以下限制:
- 如果某行中已编入索引的列的组合文本非常长(例如完整文档或许多长
STRING列),则只有部分文本会用于搜索。为确保使用信息最丰富的字段,请在CREATE AI INDEX中指定明确的列列表,并首先列出信号最强的列。 - 不支持需要对没有自然语言含义的标识符值(例如 ID、UUID、哈希或系统代码)进行完全匹配的查询。默认情况下,
AUTO COLUMNS包含所有顶级 STRING 列,而不会滤除不透明 ID 列。如需从 AI 索引中排除不透明 ID 列,请在CREATE AI INDEX中指定显式列列表。 - 仅靠自然语言搜索文本无法支持包含严格数字限制条件或需要对非
STRING列进行结构化过滤的查询。请改为在预过滤子查询中使用WHERE子句应用结构化或数字过滤条件。 - 如果 AI 索引包含的列中的文本未描述行(例如原始日志、堆栈轨迹、网址或机器生成的字符串),则搜索质量可能会下降。如需排除这些列,请列出要编入索引的列,而不是使用
AUTO COLUMNS。 - 不支持
CREATE OR REPLACE AI INDEX和ALTER AI INDEX语句。您也无法删除、重命名或更改 AI 索引中包含的源列的数据类型。如需更改已编入索引的列,请删除 AI 索引并重新创建。 具有 AI 索引的表不支持以下表操作。如需执行这些操作,请删除 AI 索引。
- 根据表的架构 (
CREATE TABLE ... LIKE) 创建表。 - 复制表(
bq cp或CREATE TABLE ... COPY),包括跨区域复制,或将数据复制到具有 AI 索引的现有表中。 - 克隆表 (
CREATE TABLE ... CLONE)。 - 创建表快照 (
CREATE SNAPSHOT TABLE)。 - 重命名表 (
ALTER TABLE ... RENAME TO)。 - 恢复表 (
RESTORE TABLE)。
- 根据表的架构 (
后续步骤
- 了解如何使用 AI 索引。
- 了解如何使用
AI.SEARCH函数搜索表。