Google Cloud Managed Service for Apache Kafka 使用配额和系统限制来维持公平的资源分配、防止服务过载,并帮助您管理资源使用情况。
配额和系统限制类似,但在以下方面有所不同:
- 配额具有默认值,但您通常可以申请调整。
- 系统限制是无法更改的固定值。
Google Cloud 使用配额来帮助维持公平性并减少资源使用和可用性的激增。配额用于限制您的 Google Cloud 项目可使用多少Google Cloud 资源。配额适用于一系列资源类型,包括硬件、软件和网络组件。例如,配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载,从而保护Google Cloud 用户社区。配额还可以帮助您管理自己的 Google Cloud 资源。
Cloud 配额系统执行以下操作:
在大多数情况下,当您尝试消耗的资源超出其配额允许的范围时,系统会阻止对资源的访问,并且您尝试执行的任务会失败。
配额通常在 Google Cloud 项目级别应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中,配额在所有应用和 IP 地址间共享。
如需了解详情,请参阅 Cloud 配额概览。
Managed Service for Apache Kafka 资源也有系统限制。系统限制不能更改。
查看和管理配额
对于给定项目,您可以使用配额和系统限制信息中心查看当前配额限制和用量。您还可以使用此信息中心执行以下操作:
- 降低配额限制
- 申请更高配额限制
Managed Service for Apache Kafka 配额
您可以在配额和系统限制信息中心内查看和修改下表中列出的每个项目的配额。
| 配额 | 默认配额限制 | 说明 |
|---|---|---|
| 每个区域每个项目的集群数 | 5 | 给定区域中每个项目允许的集群数量上限。 |
| 每个项目每个区域的 CPU 容量 | 750 | 给定区域内项目中代理允许的最大 CPU 容量。 |
| 每个区域每个项目的内存容量 | 6,000 GiB | 给定区域内项目中代理允许的最大内存容量。 |
| 每个区域每个项目的代理本地磁盘容量 | 200 TiB | 给定区域内项目中代理的本地磁盘允许的最大存储容量。 |
| 每个区域每个项目每分钟的集群写入请求数 | 100 | 在给定区域中,每个项目每分钟允许的集群(例如 UpdateCluster 和 DeleteCluster)写入请求数。此配额不限制提供方发布记录的速率。 |
| 每个区域每个项目每分钟的集群创建请求数 | 1 | 给定区域中每个项目每分钟允许的 CreateCluster 请求数。 |
| 每个区域每个项目每分钟的集群读取请求数。 | 600 | 在给定区域中,每个项目每分钟允许的集群(例如 GetCluster 和 ListClusters)读取请求数。此配额不会限制使用方读取记录的速率。 |
| 每个区域每个项目每分钟的集群身份验证连接请求数。 | 1200 | 在给定区域中,每个项目每分钟可进行身份验证的客户端连接数。 |
| 每个区域每个项目每分钟的主题写入请求数。 | 100 | 在给定区域中,每个项目每分钟允许的主题写入请求(例如 CreateTopic、UpdateTopic 和 DeleteTopic)数。 |
| 每个区域每个项目每分钟的主题读取请求数。 | 600 | 在给定区域中,每个项目每分钟允许的主题(例如 GetTopic 和 ListTopics)读取请求数。 |
| 每个区域每个项目每分钟的消费者群组写入请求数。 | 100 | 在给定区域中,每个项目每分钟允许的针对使用方群组(例如 UpdateConsumerGroup 和 DeleteConsumerGroup)的写入请求数。 |
| 每个区域每个项目每分钟的消费者群组读取请求数。 | 600 | 在给定区域中,每个项目每分钟允许的针对使用方群组(例如 GetConsumerGroup 和 ListConsumerGroups)的读取请求数。 |
| 每个项目每个区域每分钟的操作请求数 | 1200 | 给定区域中每个项目每分钟允许的长时间运行的操作请求数。 |
| 每个区域的 Connect 集群数 | 5 | 给定区域中每个项目允许的 Connect 集群数量上限。 |
| 每个区域的 Connect 集群内存容量 | 800 GiB | 给定区域内项目中 Connect 集群允许的最大内存容量。 |
| 每个区域的 Connect 集群 CPU 容量 | 800 | 给定区域内一个项目中的 Connect 集群允许的最大 CPU 容量。 |
| 每个区域每分钟的 Connect 集群创建请求数 | 1 | 给定区域中每个项目每分钟允许的 CreateConnectCluster 请求数。 |
| 每个区域每分钟的 Connect 集群读取请求数 | 600 | 在给定区域中,每个项目每分钟允许的 Connect 集群(例如 GetConnectCluster 和 ListConnectClusters)读取请求数。 |
| 每个区域每分钟的 Connect 集群写入请求数 | 100 | 在给定区域中,每个项目每分钟允许的 Connect 集群(例如 UpdateConnectCluster 和 DeleteConnectCluster)写入请求数。 |
| 每个区域每分钟的连接器读取请求数 | 600 | 在给定区域中,每个项目每分钟允许的连接器(例如 GetConnector 和 ListConnectors)读取请求数。 |
| 每个区域每分钟的连接器写入请求数 | 100 | 在给定区域中,每个项目每分钟允许的连接器(例如 CreateConnector、UpdateConnector、DeleteConnector、PauseConnector、ResumeConnector 和 RestartConnector)写入请求数。 |
申请增加配额
如需调整大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请配额调整。
Managed Service for Apache Kafka 限制
Managed Service for Apache Kafka 具有以下限制:
- 磁盘容量:每个 vCPU 至少 100 GiB,每个代理最多 32768 GiB (32 TiB)。
- 默认消息大小上限 (
message.max.bytes) 为 10 MiB - 每个主题的默认分区数为 1。