无边界湖仓一体的配额和系统限制

Borderless Lakehouse 资源具有可配置的配额和固定的系统限制,有助于控制资源消耗并保持服务稳定性。配额设置了基准分配,您可以通过申请增加配额或使用配额调整工具来调整配额,而系统限制是无法更改的固定操作阈值。

如需了解配额在 Google Cloud 项目级层的工作原理以及如何跟踪用量,请参阅 Cloud 配额概览。

获取配额和系统限制指标名称

配额和系统限制有两种类型的名称:显示名称和指标名称。显示名称包含空格和大写字母,更便于人类阅读。指标名称更可能是小写形式,并使用下划线而非空格作为分隔符;确切的格式取决于服务。

以下说明介绍了如何使用 Google Cloud 控制台或 Google Cloud CLI 获取配额和系统限制的指标名称。

控制台

  1. 在 Google Cloud 控制台中,依次前往 Identity and Access Management (IAM) 和管理 > 配额和系统限制页面:

    进入“配额和系统限制”

    本页面的表格会显示具有用量或具有调整值的配额和系统限制,以及其他配额的引用条目。引用条目在名称列的列表末尾的括号中有“default”字样。例如,SetIAM Policy requests per minute per region (default) 是配额 SetIamPolicyRequestsPerMinutePerProject 的引用条目。

  2. 如果您没有看到指标列,请执行以下步骤。

    1. 点击 列显示选项。
    2. 选择指标。
    3. 点击确定。表格中会显示指标列。

    指标列显示指标名称。如需过滤结果,请在 过滤条件旁边的字段中输入属性名称或值。

gcloud

如需使用 gcloud CLI 获取服务的指标名称,请运行 quotas info list 命令。如需跳过未列出指标名称的行,请将输出传递给 grep 等命令,并将 metric: 作为搜索字词,或者使用 gcloud CLI --format 标志:

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

替换以下内容:

  • PROJECT_ID_OR_NUMBER:项目 ID 或项目编号。
  • SERVICE_NAME:您要查看其配额指标的服务的名称,例如 Compute Engine 的服务名称为 compute.googleapis.com。包含服务名称的 googleapis.com 部分。

申请增加配额

如需调整大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请配额调整。

配额

以下配额适用于 Lakehouse:

Lakehouse 运行时目录

以下限制适用于 Lakehouse 运行时目录:

限制 默认值 备注
每天的表修改次数 1,500 次修改

您的项目每天最多可以对每个表进行 1,500 次表修改。 将表数据附加到表或覆盖表数据的加载作业、复制作业或查询作业计为对表的一次修改。此限制无法更改。

DML 语句会被排除,不会计入每天的表修改次数。

流式数据会被排除,不会计入每天的表修改次数。

表元数据更新操作的速率上限 每 10 秒 5 次操作 您的项目每表每 10 秒最多可以执行 5 次表元数据更新操作。此限制适用于所有由以下项执行的表元数据更新操作: 此限制还包括所有加载作业、复制作业和查询作业的总数,这些作业对目标表执行附加或覆盖操作,或者使用 DML DELETE、INSERT、MERGE、TRUNCATE TABLE 或 UPDATE 语句将数据写入表中。请注意,虽然 DML 语句计数会计入此限制,但达到上限时,不受其约束。DML 操作具有专用速率限制。

如果超出此限制,您会收到类似于 Exceeded rate limits: too many table update operations for this table 的错误消息。 这是一个暂时性错误,您可以使用指数退避算法重试。

如需确定计入此限制的操作,您可以检查日志。如需了解如何诊断和解决此错误,请参阅排查配额错误。

每个表的列数上限 1 万列 每个表、查询结果或视图定义最多可以有 1 万列。 其中包括嵌套列和重复列。

跨云数据访问

配额 值
联合目录中的命名空间总数上限 100 个命名空间
联合目录中每个命名空间的表数量上限 每个命名空间 300 个表
联合目录中的表总数上限 1 万个表
联合目录中的命名空间过滤条件数量上限 16 个命名空间过滤条件

系统限制

下表列出了适用于 Lakehouse 的系统限制以及每个系统限制的值:

系统限制 值
发现扫描支持的每个 Cloud Storage 存储桶中由 Lakehouse 管理的 Apache Iceberg 表的数量上限 每个存储桶 1,000 个表