Borderless Lakehouse 资源具有可配置的配额和固定的系统限制,有助于控制资源消耗并保持服务稳定性。配额设置了基准分配,您可以通过申请增加配额或使用配额调整工具来调整配额,而系统限制是无法更改的固定操作阈值。
如需了解配额在 Google Cloud 项目级层的工作原理以及如何跟踪用量,请参阅 Cloud 配额概览。
获取配额和系统限制指标名称
配额和系统限制有两种类型的名称:显示名称和指标名称。显示名称包含空格和大写字母,更便于人类阅读。指标名称更可能是小写形式,并使用下划线而非空格作为分隔符;确切的格式取决于服务。
以下说明介绍了如何使用 Google Cloud 控制台或 Google Cloud CLI 获取配额和系统限制的指标名称。
控制台
在 Google Cloud 控制台中,依次前往 Identity and Access Management (IAM) 和管理 > 配额和系统限制页面:
本页面的表格会显示具有用量或具有调整值的配额和系统限制,以及其他配额的引用条目。引用条目在名称列的列表末尾的括号中有“default”字样。例如,
SetIAM Policy requests per minute per region (default)是配额SetIamPolicyRequestsPerMinutePerProject的引用条目。如果您没有看到指标列,请执行以下步骤。
- 点击 列显示选项。
- 选择指标。
- 点击确定。表格中会显示指标列。
指标列显示指标名称。如需过滤结果,请在 过滤条件旁边的字段中输入属性名称或值。
gcloud
如需使用 gcloud CLI 获取服务的指标名称,请运行 quotas info list 命令。如需跳过未列出指标名称的行,请将输出传递给 grep 等命令,并将 metric: 作为搜索字词,或者使用 gcloud CLI --format 标志:
gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
--service=SERVICE_NAME --format="value(metric)"
替换以下内容:
PROJECT_ID_OR_NUMBER:项目 ID 或项目编号。SERVICE_NAME:您要查看其配额指标的服务的名称,例如 Compute Engine 的服务名称为compute.googleapis.com。包含服务名称的googleapis.com部分。
申请增加配额
如需调整大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请配额调整。
配额
以下配额适用于 Lakehouse:
Lakehouse 运行时目录
以下限制适用于 Lakehouse 运行时目录:
| 限制 | 默认值 | 备注 |
|---|---|---|
| 每天的表修改次数 | 1,500 次修改 | 您的项目每天最多可以对每个表进行 1,500 次表修改。 将表数据附加到表或覆盖表数据的加载作业、复制作业或查询作业计为对表的一次修改。此限制无法更改。 DML 语句会被排除,不会计入每天的表修改次数。 流式数据会被排除,不会计入每天的表修改次数。 |
| 表元数据更新操作的速率上限 | 每 10 秒 5 次操作 |
您的项目每表每 10 秒最多可以执行 5 次表元数据更新操作。此限制适用于所有由以下项执行的表元数据更新操作:
DELETE、INSERT、MERGE、TRUNCATE TABLE 或 UPDATE 语句将数据写入表中。请注意,虽然 DML 语句计数会计入此限制,但达到上限时,不受其约束。DML 操作具有专用速率限制。
如果超出此限制,您会收到类似于 |
| 每个表的列数上限 | 1 万列 | 每个表、查询结果或视图定义最多可以有 1 万列。 其中包括嵌套列和重复列。 |
跨云数据访问
| 配额 | 值 |
|---|---|
| 联合目录中的命名空间总数上限 | 100 个命名空间 |
| 联合目录中每个命名空间的表数量上限 | 每个命名空间 300 个表 |
| 联合目录中的表总数上限 | 1 万个表 |
| 联合目录中的命名空间过滤条件数量上限 | 16 个命名空间过滤条件 |
系统限制
下表列出了适用于 Lakehouse 的系统限制以及每个系统限制的值:
| 系统限制 | 值 |
|---|---|
| 发现扫描支持的每个 Cloud Storage 存储桶中由 Lakehouse 管理的 Apache Iceberg 表的数量上限 | 每个存储桶 1,000 个表 |