借助 AlloyDB for PostgreSQL 列式引擎,您可以加速使用可扩缩最近邻 (ScaNN) 或分层可导航小世界 (HNSW) 索引的向量搜索。通过在经过读取优化的内存中表示法中缓存向量索引,列式引擎可以直接从内存提供查询,并提高 Vector Search 工作负载的每秒查询次数 (QPS)。
您只能将 HNSW 与运行 PostgreSQL 17 或更高版本的 AlloyDB 集群的列式引擎搭配使用。ScaNN 与列式引擎搭配使用没有此类限制。
准备工作
将
google_columnar_engine.enabled和google_columnar_engine.enable_index_caching数据库标志设置为on,以启用列式引擎及其索引缓存功能。gcloud alloydb instances update INSTANCE_ID \ --database-flags google_columnar_engine.enabled=on,google_columnar_engine.enable_index_caching=on \ --region=REGION \ --cluster=CLUSTER_ID \ --project=PROJECT_ID替换以下内容:
INSTANCE_ID:您要在其中启用列式引擎的实例的 ID。REGION:您的实例所在的区域,例如us-central1。CLUSTER_ID:您的实例所在的集群的 ID。PROJECT_ID:您的集群所在项目的 ID。
如需详细了解如何设置标志,请参阅配置数据库标志。
向列式引擎添加索引
启用列式引擎后,您可以使用 google_columnar_engine_add_index() SQL 函数将现有索引添加到缓存。
如需向列式引擎添加索引,请按以下步骤操作:
在 Google Cloud 控制台中,前往 集群 页面。
如需显示集群概览 页面,请在资源名称 列中点击 AlloyDB 集群的名称。
在导航窗格中,点击 AlloyDB Studio 。
使用您的数据库名称、用户名和密码登录 AlloyDB Studio 。
在 Editor 1 标签页中,输入以下查询:
SELECT google_columnar_engine_add_index('INDEX_NAME');将
INDEX_NAME替换为向量索引的名称。- 点击运行 。
向列式引擎添加索引后,所有使用此索引的查询都会自动由列式引擎加速。您可以使用查询中的 EXPLAIN (ANALYZE, COLUMNAR_ENGINE) 计划来验证向量查询是否由列式引擎加速。
验证缓存使用情况
如需验证向量查询是否由列式引擎加速,您可以使用查询中的 EXPLAIN (ANALYZE, COLUMNAR_ENGINE) 计划。
ScaNN 执行计划示例(预览版)
以下是使用已添加到列式引擎的 ScaNN 索引的查询的执行计划示例:
EXPLAIN (ANALYZE TRUE, SCANN TRUE, COSTS FALSE, TIMING FALSE, SUMMARY FALSE, VERBOSE FALSE, COLUMNAR_ENGINE TRUE)
SELECT * FROM t ORDER BY val <=> '[0.5,0.5,0.5,0.5]' LIMIT 100;
--This contains details about ScaNN's usage from the columnar engine. Example:
------------------------------------------------------------------------------------------------------
Index Scan using scann_idx on t t_1 (actual rows=100 loops=1)
Order By: (val <=> '[0.5,0.5,0.5,0.5]'::vector)
Limit: 100
ScaNN Info: (... columnar engine nodes hit=6...)
Columnar Engine ScaNN Info: (index found=true)
(5 rows)
如果输出中存在 columnar engine nodes hit 和 Columnar Engine ScaNN Info:
(index found=true),则表示查询使用了列式引擎
。
HNSW 执行计划示例
执行计划会显示相应索引的 Columnar Engine HNSW Info 部分,其中显示了从列式引擎检索的元素比例 (elements_from_ce) 和从磁盘检索的元素比例 (elements_from_disk) 等指标。
以下是使用已添加到列式引擎的 HNSW 索引的查询的执行计划示例:
EXPLAIN (ANALYZE, COLUMNAR_ENGINE) SELECT * FROM documents ORDER BY embedding <=> '[0.1, 0.2, 0.3, 0.4, 0.5]'::vector LIMIT 5;
--This contains details about HNSW's usage from the columnar engine. Example:
------------------------------------------------------------------------------------------------------
Limit (actual rows=5 loops=1)
-> Index Scan using hnsw_idx on documents (actual rows=5 loops=1)
Order By: (embedding '[0.1, 0.2, 0.3, 0.4, 0.5]'::vector)
Columnar Engine HNSW Info: (index found=true elements_from_ce=385 elements_from_disk=0)
Columnar Check: table is not in the columnar store
(5 rows)
响应表明,索引正在由列式引擎加速,因为所有元素都是从列式引擎检索的 (elements_from_ce=385),没有从磁盘检索任何元素 (elements_from_disk=0)。
当 INSERT、UPDATE 或 DELETE 语句等数据修改操作使缓存条目失效时,列式引擎会使用混合方法来保持准确性和性能。它会直接从内存读取有效的缓存向量,并且仅从磁盘提取修改后的向量或新向量。
如果您修改大量数据,您可能会暂时看到 elements_from_disk 增加,并且性能下降,直到缓存刷新为止。
管理缓存的索引
如需管理缓存的索引的生命周期,请按以下步骤操作:
在 Google Cloud 控制台中,前往 集群 页面。
如需显示集群概览 页面,请在资源名称 列中点击 AlloyDB 集群的名称。
在导航窗格中,点击 AlloyDB Studio 。
使用您的数据库名称、用户名和密码登录 AlloyDB Studio 。
在 Editor 1 标签页中,输入所选任务的 SQL 命令:
如需手动刷新缓存,请运行以下命令:
SELECT google_columnar_engine_refresh_index('INDEX_NAME');如需验证索引状态,请运行以下命令:
SELECT google_columnar_engine_verify('INDEX_NAME');如需从缓存中删除索引,请运行以下命令:
SELECT google_columnar_engine_drop_index('INDEX_NAME');如需查看活跃索引,请运行以下命令:
SELECT * FROM g_columnar_indexes;如需查看分区索引,请运行以下命令:
SELECT * FROM g_columnar_index_partitions;
将
INDEX_NAME替换为索引的名称。点击运行 。
限制
刷新列式引擎加速的 HNSW 索引可能会暂时消耗的内存量高达索引大小的两倍。