查看 Knowledge Catalog 洞见

您可以使用 Knowledge Catalog 搜索和管理 Firestore 资源。Knowledge Catalog 是一个可用于存储、管理和访问元数据的平台。您可以使用 Knowledge Catalog 来分析 Firestore 元数据，并帮助完成以下任务：

  • 分析，包括依赖关系和针对应用场景的适用性
  • 变更管理
  • 架构演变

Knowledge Catalog 在新的和现有的 Firestore 数据库中默认处于启用状态，并会自动检索以下元数据：

资源 类型 字段
数据库 控制平面
  • 版本
  • 模式
  • 位置（包括多区域）
  • 项目 ID
  • 数据库名称
  • 创建时间
数据库架构 数据平面
  • 名称
  • 集合
  • 字段 - 数据类型
  • 架构

准备工作

  • 启用 Knowledge Catalog API（如果尚未启用）。

    启用 API 所需的角色

    如需启用 API，您需要拥有 serviceusage.services.enable 权限。如果您创建了项目，则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则，您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获取此权限。 了解如何授予角色。

    启用 API

如需将 Knowledge Catalog 数据洞见与 Firestore 搭配使用，您必须先拥有一个 Firestore 数据库。如需了解详情，请参阅创建和管理数据库。

访问搜索结果所需的角色

如需在 Knowledge Catalog 中搜索和查看 Firestore 元数据，主体必须拥有查看 Firestore 资源的权限，包括 dataplex.projects.search 权限。

如需向主账号（例如用户、群组或服务账号）授予这些权限，请向其分配包含 Firestore 资源的项目的 Cloud Datastore Viewer (roles/datastore.viewer) IAM 角色。

Knowledge Catalog 操作 Firestore 资源 所需的角色或权限
搜索 Firestore 资源 数据库 datastore.databases.getMetadata
数据库架构 datastore.schemas.get

如需详细了解如何授予角色，请参阅管理访问权限。 如需详细了解 Firestore IAM 角色，请参阅 Firestore 角色和权限。

搜索条目所需的角色

要搜索条目，您需要在用于搜索的项目中至少拥有下列一个 IAM 角色：

搜索结果的权限检查独立于所选项目。如需了解详情，请参阅使用 Knowledge Catalog 搜索数据资产。

元数据发现类型

Knowledge Catalog 元数据发现是一个自动化流程，用于扫描已连接的数据源（例如 Firestore），以识别数据资产（例如集合和数据库），并将这些数据资产的技术元数据（例如架构、说明和位置）提取到 Knowledge Catalog 目录中。此进程会定期运行，以使目录与源系统保持同步。

Knowledge Catalog 支持关键字搜索和自然语言搜索。

  • 借助关键字搜索，您可以使用特定关键字、过滤条件和定义的语法来查找资源。例如，您可以输入 system=Firestore AND type=Database 以查看所有 Firestore 数据库。
  • 自然语言搜索（预览版）使用 AI 来理解语义查询。借助它，您可以使用日常语言查找资源，无需使用复杂的语法。例如，您可以输入 List all Firestore databases related to sales 等查询内容。

如需了解详情，请参阅 Knowledge Catalog 的搜索语法。

示例：发现 Firestore 合集组架构

为了解元数据发现过程，不妨考虑一个名为 user-firestore-database 的 Firestore 数据库。在此数据库中，您有一个名为 user-schema 的合集组架构。

发现完成后，您可以在Google Cloud 控制台的 Knowledge Catalog 页面中或使用 Knowledge Catalog API 搜索这些资产（user-firestore-database 和 user-schema）。然后，您可以查看有关资产的详细信息，并使用其他业务或运营元数据来丰富这些信息。

使用切面丰富元数据

切面类型是可重复使用的资源，可用作切面的模板。切面类型可帮助您避免重复性工作和不完整的切面。您可以使用 Knowledge Catalog 创建所需的切面类型。

创建自定义切面类型后，您可以将切面关联到 Firestore 资源。通过将切面关联到资源，您可以执行以下操作：

  • 将业务元数据添加到资产
  • 按业务元数据和其他自定义元数据搜索资产

如需详细了解如何创建切面类型并将切面附加到 Firestore，请参阅管理切面并丰富元数据。

搜索 Firestore 资产

使用 Google Cloud 控制台中的 Knowledge Catalog 搜索页面可搜索 Firestore 资产。

  1. 前往 Knowledge Catalog 搜索页面。

    转到搜索

  2. 在过滤条件面板中，点击系统，然后选择 Firestore。

  3. 可选。在类型别名中，您可以通过选择以下一种或多种类型别名，将搜索结果过滤为特定类型的 Firestore 资产：

    • 数据库
    • 数据库架构
    • 其他

您可以使用 Knowledge Catalog 中的搜索字段执行关键字搜索查询。例如，您可以输入 system=Firestore AND type=Database 以查看所有 Firestore 数据库。

如需了解详情，请参阅 Knowledge Catalog 的搜索语法。

如需查看所有 Firestore 资产，请输入 system=Firestore。您可以输入特定关键字。例如，如需查看所有 Firestore 数据库，请输入以下查询：

system=Firestore AND type=Database

您还可以使用复杂的括号和逻辑运算符 AND 和 OR 来表示复杂表达式。如需详细了解可在搜索字段中使用的表达式，请参阅 Knowledge Catalog 的搜索语法。

您可以直接在搜索字段中输入用于特定 Firestore 资产的搜索查询。查询字符串的格式如下：

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

替换以下内容：

  • QUERY_STRING：请使用以下列表根据您要查询的 Firestore 资产类型来确定查询字符串：

    • firestore-database
    • firestore-schema

示例查询可能如下所示：

type="projects/1234567890/locations/global/entryTypes/firestore-schema"

按切面类型搜索

Knowledge Catalog 包含一些内置的切面类型，您可以使用这些切面类型执行搜索。

如需按方面类型进行搜索，请按以下步骤操作：

  1. 在切面面板中，点击添加更多切面类型菜单。
  2. 输入 Firestore，然后选择一个或多个以下切面类型，以将搜索结果限制为该类型。
    • Firestore 数据库
    • Firestore 架构
  3. 点击确定。
  4. 在结果表中，点击资产的名称以查看该资产的元数据。
  5. 可选：优化或查看资产。您可以执行以下任一操作：
    • 如需添加资产的富文本说明，请在概览中点击添加。
    • 如需将某个切面附加到资产，请在切面中点击添加。
    • 如需查看实例的成员数据库，请点击条目列表标签页，然后点击在搜索结果中显示所有子条目。
    • 在条目详情中，查看资产的完整详情。点击条目名称可展开细目至其他条目。

Firestore 中的自然语言搜索

自然语言搜索（预览版）使用 AI 来理解语义查询。借助它，您可以使用日常语言查找资源，无需使用复杂的语法。例如，您可以输入 List all Firestore collections related to sales 等查询内容。

如需了解详情，请参阅 Knowledge Catalog 的搜索语法。

Firestore 中的语法搜索

借助关键字搜索，您可以使用特定关键字、过滤条件和定义的语法来查找资源。例如，您可以输入 system=Firestore AND type=Database 以查看所有 Firestore 数据库。

如需了解详情，请参阅 Knowledge Catalog 的搜索语法。

工作流示例：从数据库展开细目至架构

如需从数据库下钻到架构，请按以下步骤操作：

  1. 前往 Knowledge Catalog 搜索页面。

    转到搜索

  2. 在过滤条件面板中，选择系统，然后选择 Firestore。或者，在搜索字段中输入 system=Firestore。

  3. 选择数据库。

  4. 在 Firestore 详情页面上，点击条目列表标签页，然后点击在搜索结果中显示所有子条目。

  5. 在 Firestore 数据库详情页面上，点击条目列表标签页，然后点击在搜索结果中显示所有子条目。Knowledge Catalog 会显示数据库中的集合组。

  6. 选择合集组名称，然后在合集组详情页面上，点击架构以查看架构。

  7. 可选：如需向数据库添加某个切面类型，请点击添加切面按钮。

价格

在 Knowledge Catalog 中存储 Firestore 技术元数据无需付费。对于 API 调用和额外的业务元数据丰富化，适用标准 Knowledge Catalog 价格。如需了解详情，请参阅 Knowledge Catalog 价格页面。

限制

  • 在提取 10,000 个集合组后，查询结果会被截断。
  • 在批量提取期间，数据库更新最多可能需要 48 小时才能反映在 Knowledge Catalog 中。
  • 在实时提取期间，数据库更新最多可能需要 5 分钟才能反映在 Knowledge Catalog 中。
  • 在实时提取期间，系统不会更新集合组。
  • 在实时注入期间，系统会更新合集组架构，但此更新仅涵盖前 100 个顶级原始字段（按字母顺序排列）。其余架构信息会在实时提取后 24 到 48 小时内更新。
  • 提取过程可能需要几分钟时间。

后续步骤