使用列式引擎加速向量搜索

选择文档版本：

使用可扩容最近邻 (ScaNN) 或分层可导航小世界 (HNSW) 索引时，您可以使用 AlloyDB Omni 列式引擎来加速向量搜索。列式引擎充当这些向量索引的读取优化型内存中缓存。

在列式引擎中缓存索引可直接从经过读取优化的内存中索引表示形式提供查询，并提高数据库可处理的向量搜索工作负载的每秒查询次数 (QPS)。

您只能将 HNSW 与运行 PostgreSQL 17 或更高版本的 AlloyDB Omni 集群的列式引擎搭配使用。使用列式引擎的 ScaNN 没有此类限制。

准备工作

将 google_columnar_engine.enabled 和 google_columnar_engine.enable_index_caching 数据库标志设置为 on，以启用列式引擎及其索引缓存功能。

修改数据库集群清单，以将 parameters 属性添加到 primarySpec 部分：
```
apiVersion: alloydbomni.dbadmin.goog/v1
kind: DBCluster
metadata:
  name: CLUSTER_NAME
spec:
  databaseVersion: "18.1.0"
  primarySpec:
    parameters:
      google_columnar_engine.enabled: "on"
      google_columnar_engine.enable_index_caching: "on"
```
将 CLUSTER_NAME 替换为您的数据库集群的名称。这是您在创建数据库集群时声明的同一个名称。

如需详细了解如何设置标志，请参阅配置数据库标志。
在数据库中创建 ScaNN 索引或创建 HNSW 索引。

向列式引擎添加索引

启用列式引擎后，您可以使用 google_columnar_engine_add_index() SQL 函数将现有索引添加到缓存中。

如需向列式引擎添加索引，请运行以下查询：

SELECT google_columnar_engine_add_index('INDEX_NAME');

将 INDEX_NAME 替换为您的向量索引的名称。

向列式引擎添加索引后，所有使用该索引的查询都会自动通过列式引擎加速。您可以使用查询的 EXPLAIN (ANALYZE, COLUMNAR_ENGINE) 计划来验证列式引擎是否正在加速向量查询。

验证缓存使用情况

如需验证列式引擎是否正在加速向量查询，您可以在查询中使用 EXPLAIN (ANALYZE, COLUMNAR_ENGINE) 计划。

ScaNN 执行计划示例

以下是使用已添加到列式引擎的 ScaNN 索引的查询的执行计划示例：

EXPLAIN (ANALYZE TRUE, SCANN TRUE, COSTS FALSE, TIMING FALSE, SUMMARY FALSE, VERBOSE FALSE, COLUMNAR_ENGINE TRUE)
SELECT * FROM t ORDER BY val <=> '[0.5,0.5,0.5,0.5]' LIMIT 100;

--This contains details about ScaNN's usage from the columnar engine. Example:
------------------------------------------------------------------------------------------------------
 Index Scan using scann_idx on t t_1 (actual rows=100 loops=1)
      Order By: (val <=> '[0.5,0.5,0.5,0.5]'::vector)
      Limit: 100
      ScaNN Info: (... columnar engine nodes hit=6...)
      Columnar Engine ScaNN Info: (index found=true)
(5 rows)

如果输出中存在 columnar engine nodes hit 和 Columnar Engine ScaNN Info: (index found=true)，则表示查询使用了列式引擎。

HNSW 执行计划示例

执行计划会显示相应索引的列式引擎 HNSW 信息部分，其中显示了从列式引擎 (elements_from_ce) 和从磁盘 (elements_from_disk) 检索的元素比例等指标。

以下是使用已添加到列式引擎的 HNSW 索引的查询的执行计划示例：

EXPLAIN (ANALYZE, COLUMNAR_ENGINE) SELECT * FROM documents ORDER BY embedding <=> '[0.1, 0.2, 0.3, 0.4, 0.5]'::vector LIMIT 5;

--This contains details about HNSW's usage from the columnar engine. Example:
------------------------------------------------------------------------------------------------------
 Limit (actual rows=5 loops=1)
   ->  Index Scan using hnsw_idx on documents (actual rows=5 loops=1)
         Order By: (embedding '[0.1, 0.2, 0.3, 0.4, 0.5]'::vector)
         Columnar Engine HNSW Info: (index found=true elements_from_ce=385 elements_from_disk=0)
         Columnar Check: table is not in the columnar store
(5 rows)

响应显示，列式引擎正在加速索引，因为所有元素都是从列式引擎 (elements_from_ce=385) 中检索的，而没有从磁盘 (elements_from_disk=0) 中检索任何元素。

当 INSERT、UPDATE 或 DELETE 等数据修改语句使缓存条目失效时，列式引擎会使用混合方法来保持准确性和性能。它直接从内存中读取有效的缓存向量，并仅从磁盘中提取修改过或新的向量。

如果您修改了大量数据，在缓存刷新之前，您可能会暂时看到 elements_from_disk 增加，性能下降。

管理缓存的索引

如需管理缓存索引的生命周期，请针对所选任务运行相应的 SQL 命令：

如需手动刷新缓存，请运行以下命令：

SELECT google_columnar_engine_refresh_index('INDEX_NAME');

如需验证索引状态，请运行以下命令：

SELECT google_columnar_engine_verify('INDEX_NAME');

如需从缓存中舍弃索引，请运行以下命令：

SELECT google_columnar_engine_drop_index('INDEX_NAME');

如需查看有效索引，请运行以下命令：
```
SELECT * FROM g_columnar_indexes;
```
如需查看分区索引，请运行以下命令：
```
SELECT * FROM g_columnar_index_partitions;
```

将 INDEX_NAME 替换为您的索引名称。

限制

刷新列式引擎加速的 HNSW 索引时，暂时消耗的内存最多可达索引大小的两倍。