分析查询性能统计信息
本页面介绍了如何使用 Query Insights 信息中心来检测和分析查询性能。
Query Insights 概览
您可以使用 Query Insights 信息中心来监控与指标相关的查询。根据这些指标,您可以识别最常用的查询以及延迟时间较长可能需要优化的查询。您可以使用 Query Insights 信息中心来执行以下操作:
- 查询性能优化:识别延迟时间较长且可能需要优化的查询。
- 查询费用管理:发现高费用查询并对其进行优化,以降低费用。
- 查询统计信息监控:跟踪一段时间内的查询统计信息。
- 索引建议:识别缺失或欠佳的复合索引,并直接从信息中心创建建议的索引(企业版)。
Query Insights数据
Query Insights 包含以下 API 方法中的数据:
您可以查看在给定项目、数据库和时间段(1 分钟到 30 天)内使用这些方法的查询的相关数据。具有等效结构的查询的数据会在单个标准化查询下捕获。
Query Insights 会返回有关查询的以下信息:
| 标准化查询文本 | 以文本形式表示的查询结构。 |
| 执行次数 | 所选时段内的执行次数。 |
| 错误数 | 所选时段内的错误数。 |
| 平均执行时长(毫秒) | 数据库处理查询所用的平均时间(以毫秒为单位)。 |
| 返回的平均结果数 | 查询返回的结果数。结果包括文档、集合 ID 和汇总的存储桶。 |
| 扫描的平均文档数 | 查询中扫描的文档数。 |
| 扫描的平均索引条目数 | 为执行查询而检查的索引条目数。 |
| 负载(按平均时长) | 有助于根据平均延迟时间过滤热门查询的数据。 |
| 负载(按 [计费] 读取操作总次数) | 有助于根据计费读取操作总次数过滤热门查询的数据。 |
| 索引建议 | 企业版数据库中查询的推荐复合索引、已用索引和估算的工作负载影响。 |
数据粒度和保留期限
数据粒度取决于指定的时长:
- 对于最长 6 小时前的时间间隔,以 1 分钟为粒度
- 对于最长 4 天前的时间间隔,以 10 分钟为粒度
- 对于最长 30 天前的时间间隔,以 1 小时为粒度
Query Insights 的数据保留期限上限为 30 天。1 分钟数据的存储期限为 6 小时,10 分钟数据的存储期限为 4 天,每小时数据的存储期限为 30 天。
查看 Query Insights
如需查看 Firestore 数据库的 Query Insights,请执行以下操作:
在 Google Cloud 控制台中,前往数据库页面。
从数据库列表中选择一个数据库。
在导航菜单中,点击 Query Insights。
Query Insights 页面会显示热门查询的时间序列图,以及标准化查询统计信息表。如需分析查询性能,请执行以下操作:
- 选择一个时间范围,以 1 分钟为间隔查看历史趋势或近乎实时的指标。
- 使用负载类型列表,按平均延迟时间或读取操作总次数对热门查询进行排名。
- 在表中选择各个查询,以在图表上绘制并比较其执行次数、延迟时间、扫描的文档、扫描的索引条目和错误计数。
索引建议
Query Insights 的索引建议功能会自动识别 Firestore 企业版数据库中频繁执行的查询形状是否存在缺失或欠佳的复合索引配置。在 Firestore 企业版中,即使没有匹配的复合索引,查询也可以运行,但这可能会导致全集合扫描或内存中排序操作变慢。Query Insights 信息中心会分析历史查询执行统计信息,并建议有针对性的复合索引,以优化查询延迟时间并减少可计费的扫描文档。
索引建议的工作原理
离线批处理流水线会定期评估历史热门查询:
- 查询结构分析:从频繁执行的查询中提取等式、排序和范围谓词。
- 候选索引生成:使用索引排序启发法(等式 > 排序 > 范围)生成潜在的复合索引定义。
- 优化器评估:将候选索引注入查询引擎的费用模型,以比较基准查询执行费用与假设的索引执行计划。
- 工作负载影响排名:根据估算的工作负载总费用节省情况,将建议的索引划分为不同的影响层级:
- 高:将全集合扫描转换为选择性索引查找,从而显著减少文档读取次数和执行延迟时间。
- MEDIUM:通过提供预排序的索引结果,消除内存中排序等开销高昂的操作。
- 低:提供细微的跳转改进。
查看和创建建议索引
如需在Google Cloud 控制台中查看索引建议并创建建议的索引,请执行以下操作:在 Google Cloud 控制台中,前往数据库页面。
从数据库列表中选择一个企业版数据库。
在导航菜单中,点击 Query Insights。
在查询表中,选择一个查询形状以查看其建议卡片。该卡片会显示:
- 建议的复合索引定义(集合、字段、排列顺序或 array-contains 属性)。
- 估计的工作负载影响层级(HIGH、MEDIUM 或 LOW)。
- 所使用的索引,或执行完整集合扫描的指示。
点击建议卡片上的创建索引。系统会打开一个对话框,其中预先填充了集合、查询范围和字段。
点击创建,开始构建索引。您可以在 Google Cloud 控制台的索引页面上监控索引构建进度。
支持的版本和模式
Firestore 企业版数据库支持索引建议,包括:
- 原生模式 Firestore
- 与 MongoDB 兼容的 Firestore
标准版数据库不支持索引建议。
限制
- 实时监听器不包含在 Query Insights 统计信息中。
- Query Insights 数据在查询执行后的几分钟内即可提供。
- 索引建议是根据历史查询数据定期生成的,而不是实时生成的。
- 索引建议会建议新的复合索引,但不会建议修改或删除现有索引。
- 不支持自动创建索引;建议的索引必须手动创建。
- 查询标准化会将字面量值替换为占位符。索引建议基于规范化查询模板,而不是特定的运行时值。
- 费用评估使用启发法,而不是实时数据抽样。建议的索引可能无法在所有场景中提高性能,并且创建索引会增加写入和存储开销。
价格
Query Insights 或索引建议不会产生额外费用。
所需的角色
如需获得查看 Query Insights 信息中心和创建推荐索引所需的权限,请让您的管理员为您授予项目的以下 IAM 角色:
-
查看 Query Insights:Datastore Viewer (
roles/datastore.viewer) -
创建建议索引:
- 数据存储区索引管理员 (
roles/datastore.indexAdmin) - Cloud Datastore Owner (
roles/datastore.owner) - Editor (
roles/editor) - Owner (
roles/owner)
- 数据存储区索引管理员 (
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色可提供查看 Query Insights 信息中心和创建推荐索引所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
您需要具备以下权限才能查看 Query Insights 信息中心和创建建议的索引:
-
查看 Query Insights:
datastore.insights.get -
创建建议索引:
-
datastore.indexes.create -
datastore.indexes.update
-