在 AlloyDB Omni 中对向量查询性能进行调优

选择文档版本：

本文档介绍如何在 AlloyDB Omni 中对索引进行调优，以实现更快的查询性能和更高的召回率。

准备工作

在构建 ScaNN 索引之前，请完成以下操作：

确保已创建包含您数据的表。
如需避免在生成索引时出现问题，请确保您为 maintenance_work_mem 和 shared_buffers 标志设置的值小于机器总内存。
如需使用四级索引，您必须先为实例启用预览版功能。如需启用预览版功能，请选择以下两种方法之一：
- 启用 scann.enable_preview_features 数据库标志。
- 将会话级 scann.max_allowed_num_levels 数据库标志设置为 3。 sql SET scann.max_allowed_num_levels = 3;

对 `ScaNN` 索引进行调优

请按照以下指南确定 ScaNN 索引所需的级别数：

对于 0 到 1000 万行：选择二级索引。
对于 1000 万到 1 亿行：
- 如需优先考虑搜索召回率，请选择二级索引。
- 如需优先考虑索引构建时间，请选择三级索引。
对于 1 亿到 10 亿行：
- 如需优先考虑搜索召回率，请选择三级索引。
- 如需优先考虑索引构建时间，请选择四级索引（预览版）。
对于 10 亿到 100 亿行：选择四级索引（预览版）。

请考虑以下关于二级、三级和四级 ScaNN 索引的示例，它们展示了如何为包含 1,000,000 行的表设置调优参数：

二级索引

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 1/2)]);

三级索引

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

四级索引

（预览版）

SET LOCAL scann.num_leaves_to_search = 100;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);

处理因使用列式引擎加速而导致的 DML 失效

如果您选择使用列式引擎加速向量搜索，请注意，对基表执行 DML 和 DDL 操作可能会影响向量查询性能。如果 DML 吞吐量较高，请考虑调优 google_columnar_engine.refresh_threshold_percentage 数据库标志，或使用 google_columnar_engine_refresh_index 命令手动刷新索引。

分析查询

如以下 SQL 查询示例所示，使用 EXPLAIN ANALYZE 命令分析查询分析洞见。

  EXPLAIN ANALYZE SELECT result-column
  FROM my-table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

示例响应 QUERY PLAN 包含所用时间、扫描或返回的行数以及使用的资源等信息。

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

查看向量索引指标

您可以使用向量索引指标来查看向量索引的性能、确定需要改进的方面，以及在需要时根据指标对索引进行调优。

如需查看所有向量索引指标，请运行以下 SQL 查询，该查询使用 pg_stat_ann_indexes 视图：

SELECT * FROM pg_stat_ann_indexes;

您将看到类似如下所示的输出：

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

如需查看创建索引时创建的行数，请运行以下命令：

SELECT * FROM pg_stat_ann_index_creation;