配额和限制

本文档列出了适用于 Knowledge Catalog(以前称为 Dataplex Universal Catalog)的配额。

Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额用于限制您的 Google Cloud 项目可使用多少Google Cloud 资源。配额适用于一系列资源类型,包括硬件、软件和网络组件。例如,配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载,从而保护Google Cloud 用户社区。配额还可以帮助您管理自己的 Google Cloud 资源。

Cloud 配额系统执行以下操作:

在大多数情况下,当您尝试消耗的资源超出其配额允许的范围时,系统会阻止对资源的访问,并且您尝试执行的任务会失败。

配额通常在 Google Cloud 项目级别应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中,配额在所有应用和 IP 地址间共享。

如需了解详情,请参阅 Cloud 配额概览。

Knowledge Catalog 资源也有系统限制。系统限制不能更改。

Knowledge Catalog 会对特定时间段内的 API 请求数量以及可在项目中创建的资源数量实施配额。配额可保护您免受意外用量激增和服务过载的影响。详细了解实施配额的原因。

随着您对 Knowledge Catalog 的使用量增加,您的配额需求可能会增加。 如果配额太低,无法满足您的需求,或者您预计自己的用量即将增加,您可以主动申请增加配额。

了解 API 请求类型

各种 Knowledge Catalog 功能(例如资源管理、元数据、任务和数据扫描)的 API 请求会归入通用存储桶,以管理服务用量和保护。

读请求次数

读取请求是指旨在检索现有资源、元数据或执行历史记录的相关信息,而不修改任何配置或状态的操作。这些操作是非变更操作,不会触发新的处理作业。

读取请求操作包括 Get、List 和 Describe。例如,查看数据扫描的定义或扫描作业的状态是读取请求。

写请求次数

写入请求包括创建、更新或删除资源定义的所有操作,以及修改安全政策的操作。这些是更改环境状态的操作。

写入请求操作包括 Create、Update、Delete、Cancel 和 SetIamPolicy。例如,配置数据质量扫描或更新现有数据分析扫描属于写入请求。

运行请求

运行请求专门指触发预配置资源的活跃执行。与写入请求(可能会创建周期性时间表)不同,运行请求通常用于按需执行配置的逻辑。

例如,手动启动数据扫描执行是一项运行请求。

Dataplex API 请求的配额

Dataplex API 会在不同级层实施 Knowledge Catalog 资源管理和搜索请求的配额,无论这些请求源自何处。这包括直接来自 API 调用、客户端库、Google Cloud CLI 和 Google Cloud 控制台的请求。

以下配额适用于 Knowledge Catalog 请求:

配额 默认值
每个区域每个项目每分钟针对条目和切面进行的读取请求数 6000
每个区域每个项目每分钟针对条目和切面进行的写入请求数 1500
每位用户每个项目每分钟针对切面类型、条目类型和条目组进行的读取请求数 100
每个项目每分钟针对切面类型、条目类型和条目组进行的读取请求数 200
每位用户每个项目每分钟针对切面类型、条目类型和条目组进行的写入请求数 10
每个项目每分钟针对切面类型、条目类型和条目组进行的写入请求数 20
每位用户每个项目每分钟的搜索请求数 900
每个项目每分钟的搜索请求数 1200
每个组织每分钟的搜索请求数 2400
每个组织每天的搜索请求数 345600
每个区域每个项目每分钟针对元数据作业进行的读取请求数 400
每位用户每个区域每个项目每分钟针对元数据作业进行的读取请求数 200
每个区域每个项目每分钟针对元数据作业进行的写入请求数 20
每位用户每个区域每个项目每分钟针对元数据作业进行的写入请求数 10
每个区域每个项目每分钟针对数据扫描进行的读取请求数 1200
每位用户每个区域每个项目每分钟针对数据扫描进行的读取请求数 600
每个区域每个项目每分钟针对数据扫描进行的写入请求数 200
每位用户每个区域每个项目每分钟针对数据扫描进行的写入请求数 100
每个区域每个项目每分钟针对数据扫描进行的运行请求数 60
每位用户每个区域每个项目每分钟针对数据扫描进行的运行请求数 30
每个项目每天对 BigQuery 对象表中的非结构化数据执行数据分析扫描的总次数 140
每个组织每天由元数据导出作业导出的元数据量 10 GB

每个组织每天由元数据导出作业导出的已扫描元数据量

此配额会评估元数据导出作业范围内的组织、项目或条目组中存在的元数据总量。

100 GB

对于下表中列出的每个 Knowledge Catalog 请求,系统都会在每个项目级层和每个项目每位用户级层实施配额。

配额 示例
针对资源管理的读取请求 获取数据湖、列出区域
针对资源管理的写入请求 创建数据湖、删除资产
针对元数据的获取请求 获取实体、获取分区
针对元数据的列出请求 列出实体、列出分区
针对元数据的写入请求 更新实体、删除分区
针对任务和作业资源的读取请求 获取任务、列出作业
针对任务和作业资源的写入请求 创建任务、取消作业
设置 IAM 政策请求 设置 IAM 政策

Data Lineage API 请求的配额

Data Lineage API 会对以下各项强制执行配额:

  • 仅返回数据的读取请求
  • 创建或更改数据的写入请求
  • 创建开放式沿袭

以下配额适用于数据沿袭请求:

配额 默认值
每位用户每个区域每个项目每分钟的读取请求数 1000
每位用户每个区域每个项目每分钟的写入请求数 6000
每位用户每个区域每个项目每分钟的 Open Lineage 请求数 3000

Products API 请求的配额

Dataplex API 会对数据产品和数据资产的元数据操作和生命周期请求实施速率限制。无论请求是来自 Google Cloud 控制台、Google Cloud CLI、客户端库还是直接 API 调用,这些限制都适用。

以下配额适用于数据产品和数据资产请求:

配额 默认值
每个区域每个项目每分钟针对数据产品进行的读取请求数 500
每位用户每个区域每个项目每分钟针对数据产品进行的读取请求数 250
每个区域每个项目每分钟针对数据产品进行的创建和删除请求数 250
每位用户每个区域每个项目每分钟针对数据产品进行的创建和删除请求数 125
每个项目每分钟针对数据产品进行的更新请求数 10
每位用户每个项目每分钟针对数据产品进行的更新请求数 5
每个区域每个项目每分钟针对数据资产进行的读取请求数 500
每位用户每个区域每个项目每分钟针对数据资产进行的读取请求数 250
每个区域每个项目每分钟针对数据资产进行的写入请求数 30
每位用户每个区域每个项目每分钟针对数据资产进行的写入请求数 15

Knowledge Studio 扩充任务的配额和限制

Dataplex API 会对 Knowledge Studio 扩充任务(AgentTask 资源)和任务运行(AgentRun 资源)实施速率和资源配额。

以下配额适用于 Knowledge Studio 扩充任务:

配额 默认值
每个区域每个项目每分钟针对丰富化任务资源(例如用于任务和运行的 Get 和 List)进行的读取请求数 1200
每个区域每个项目每分钟针对丰富任务资源(例如 Create、Update 和 Delete)进行的写入请求数 60
每个区域每个项目每分钟针对丰富任务资源进行的运行请求数 20
每个区域每个项目的丰富化任务(AgentTask 资源)数量上限 100

资源配额

以下资源类型的资源配额是在项目级层实施的:数据湖、区域、资产、按需任务、周期性任务。您可以在 Google Cloud 控制台的配额页面上查看 Knowledge Catalog 配额的当前用量。

申请增加配额

  1. 在 Google Cloud 控制台中,进入配额页面。

    转到“配额”

  2. 选择要修改的配额。

  3. 点击 更多操作 > 修改配额。

  4. 输入新的配额值和请求说明。

  5. 点击下一步。

  6. 输入详细联系信息。

  7. 点击提交请求。

如需调整大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请配额调整。

配额依赖项

您的 Knowledge Catalog 用量可能涉及其他 Google Cloud 产品。例如,数据发现需要调用 Cloud Storage 或 BigQuery API 才能与底层资源进行交互。这些产品具有项目级配额,其中包括适用于 Knowledge Catalog 用量的配额。

您可能与 Knowledge Catalog 搭配使用的其他产品的配额页面:

该列表并不详尽。

限制

以下限制适用于 Knowledge Catalog:

限制 值
条目和切面(包括架构切面)的请求大小 2 MB
条目 ID 的长度 4000 个字符
条目中完全限定名称的长度 4000 个字符
条目中条目来源显示名称的长度 500 个字符
条目中条目来源说明的长度 2,000 个字符
条目中条目来源资源的长度 4000 个字符
条目中条目源系统的长度 64 个字符
条目中条目来源平台的长度 64 个字符
条目中条目来源标签的长度 每个键和值 128 个字符
切面(架构和数据分析切面除外)中 JSON 内容的大小 120 KB
数据分析切面中 JSON 内容的大小 1 MB
条目的总大小 5 MB
条目中的切面数量上限 10000
条目类型、切面类型和条目组的显示名称长度 256
条目类型、切面类型和条目组的说明长度 1024
切面类型模板中字段名称的长度 63
条目类型中的必需切面类型数量上限 20
切面类型模板中的枚举值数量上限 1024
Knowledge Catalog 搜索结果中的项数上限 500( Google Cloud 控制台中的纯关键字搜索模式,或使用 API 时的 semanticSearch=false)

100(所有其他搜索情况)
每个区域每个项目的数据扫描次数上限 1000
每个区域每个项目的数据产品数量上限 200
每个数据产品的数据资产数量上限 50
每个分类的最大政策标记数 100