Hyperdisk Exapool 概览

本文档介绍了 Exapools 的功能和限制。Hyperdisk Exapool 是一种 Hyperdisk 池，专为 Hyperdisk 存储池无法在单个可用区中提供足够 Hyperdisk 存储空间的工作负载而设计。借助 Exapools，您可以批量购买存储和性能，然后在池中创建磁盘以消耗存储。

何时使用 Hyperdisk Exapools

Exapool 适用于大规模工作负载，这些工作负载在单个地区中需要数万个磁盘，并且需要 500 TiB 到 2.5 EiB 之间的持久性块存储。如果您的工作负载需要的容量或性能规模较小，请使用 Hyperdisk 存储池或在存储池外部创建磁盘。

Exapool 可提供 Compute Engine 中规模最大的存储空间和性能，同时还可让您预配超出实际需求的性能和容量，但仅按实际用量收费，从而节省费用。

Hyperdisk Exapool 非常适合大规模 AI、机器学习 (ML) 和大型分布式并行文件系统工作负载。以下是一些工作负载示例：

Hyperdisk Exapools 的工作负载示例：

  • AI/ML 工作负载跨越 4,000 个 TPU 虚拟机，使用 2 PiB 的 Hyperdisk Balanced，预配的性能为 2,000 万 IOPS 和 3 TiB/秒的吞吐量，可实现 500 GiB/秒的并发聚合峰值吞吐量。
  • AI/ML 训练工作负载，使用 Hyperdisk Balanced 作为启动磁盘和暂存磁盘，总容量为 8 PiB，驱动并发聚合峰值吞吐量为 1 TiB/秒，GPU 实例数量为 15,000。
  • 容量为 6 PiB 或更多，并发聚合峰值为 800 GiB/s 的读取密集型吞吐量的并行文件系统。

Exapools 的运作方式

您可以创建一个 Exapool，其中包含一个可用区内所有工作负载的磁盘所需的总容量和性能，然后根据需要在此池中创建磁盘。您可以使用 Exapool 中的磁盘作为 Compute Engine 实例和容器的启动磁盘或数据磁盘。

在 Exapool 中创建磁盘时，您需要为该磁盘分配一部分池资源（大小和性能）。删除池中的磁盘时，分配给该磁盘的资源会返回到池中，供其他磁盘使用。

例如，假设您创建了一个容量为 50 PiB 的 Hyperdisk Balanced Exapool。如果您在池中创建 100 个 10 TiB 的磁盘，则池的剩余可用容量会减少 1,000 TiB。

Exapool 类型

创建 Exapool 时，您必须为池中的磁盘选择 Hyperdisk 类型。您可以选择以下类型：

如需详细了解如何选择 Hyperdisk 类型，请参阅为工作负载选择 Hyperdisk 类型。

机器系列支持

支持 Hyperdisk Throughput 和 Hyperdisk Balanced 的机器系列也分别支持 Hyperdisk Throughput Exapool 和 Hyperdisk Balanced Exapool。 如需查看受支持的机器系列列表，请参阅 Hyperdisk Throughput 的机器系列支持和 Hyperdisk Balanced 的机器系列支持。

Exapool 的性能和容量配置

存储池的预配类型决定了存储池中的磁盘如何消耗资源。

Exapool 在容量和性能方面均采用高级预配，可最大限度地节省成本和时间。

高级容量预配

所有 Exapool 都使用高级容量预置，可提供以下优势：

  • 精简预配：Compute Engine 会根据需要将数据分配给池中的磁盘，而不是在配置磁盘时分配。
  • 过度预配：您可以为 Exapool 中的磁盘预配的容量最多比您购买的容量多 50 倍。这简化了容量规划，并避免了手动调整磁盘大小造成的停机时间。

如需详细了解高级容量预配，请参阅高级容量预配。

高级性能预配

Exapool 使用高级性能预配，具有以下优势：

  • 精简预配：Compute Engine 会根据需要为池中的磁盘分配性能资源。只有 Exapool 中磁盘使用的 IOPS 和吞吐量才会消耗性能。
  • 过度预配：池中所有磁盘的总性能可达到池的预配写入性能的 50 倍。
  • 共享性能：Exapool 中的磁盘共享池的预配性能，但不得超过每个磁盘的限制，从而节省不同峰值使用时间磁盘的成本。

如需详细了解高级性能预配，请参阅高级性能预配。

购买容量和性能

Exapool 的预配性能（即您可以为池中的磁盘分配多少 IOPS 和吞吐量）取决于以下因素：

  • 池中的容量单位数
  • Exapool 的磁盘类型

容量单位的运作方式

一个容量单位包括 1 GiB 的容量和每 GiB 的固定性能（IOPS 和吞吐量）。例如，如需向池中添加 1 PiB 的容量，您需要购买 1,048,576 个容量单位（1,048,576 GiB = 1 PiB）。Exapool 提供三种容量单位类型供您选择。添加到池中的性能量取决于容量单位的类型：

  • 容量优化型单位：提供平衡的读取和写入 IOPS 和吞吐量速率。
  • 读取优化型单元：提供最高的读取操作速率和每 GiB 吞吐量。
  • 写入优化型单位：提供最高的写入操作速率和每 GiB 吞吐量。

如果您的工作负载的读取操作多于写入操作，或者如果它需要的读取吞吐量高于写入吞吐量，那么购买读取优化型单元将能实现最佳价值。

在配置或扩展 Exapool 时，您可以组合使用不同类型的容量单位。您为池购买的容量单位类型和数量称为容量单位组合。

Exapool 的单元组合不会影响 Exapool 中磁盘的性能。单位组合只会影响以下因素：

  • Exapool 的结算方式。
  • Exapool 的最大预配性能。

为 Exapool 选择容量单位的混合组合

为了以最具成本效益的方式满足工作负载的需求，请与您的客户支持团队合作，选择最适合您工作负载的混合容量单位。例如，您可以创建一个具有大量读优化型单元的 Exapool，用于项目中的所有读密集型磁盘。

Hyperdisk Throughput Exapool 的容量单位比率

Hyperdisk Throughput Exapool 的性能比取决于购买的容量，具体如下：

容量单位类型 购买的容量单位数 Exapool 容量 (TiB) 读取吞吐量 (MiB/s) 写入吞吐量（MiB/秒）
容量优化型 1024 1 0.97 0.10
读取优化型 1024 1 3.38 0.10
写入优化型 1024 1 0.97 1.84

Hyperdisk Balanced Exapool 的容量单位比率

Hyperdisk Balanced Exapool 的性能比率取决于购买的容量，具体如下：

容量单位类型 购买的容量单位数 Exapool 容量 (TiB) 读取吞吐量 (MiB/s) 写入吞吐量 (MiB/s) 读取 IOPS 写入 IOPS
容量优化型 1024 1 5.12 1.02 275 102
读取优化型 1024 1 378.88 30.72 21,311 3072
写入优化型 1024 1 220.16 71.68 12288 6,656

容量单位如何影响磁盘性能

Exapool 的容量单位组合不会影响 Exapool 中的磁盘消耗性能的方式。您无需为池中磁盘的各个读取和写入操作支付不同的费用。购买特定类型的单位不会将磁盘限制为固定的读取或写入 IOPS。此外，在 Exapool 中创建磁盘时，您无需指定读取 IOPS 或写入 IOPS 限制，只需指定预配的 IOPS 限制。

例如，假设有两个 Hyperdisk Balanced Exapool，分别为 Pool-1 和 Pool-2.，二者都具有 1 亿个经过容量优化的单位。Pool-1 还具有 5,000,000 个写入优化型单元，而 Pool-2 具有 5,000,000 个读取优化型单元。

由于这两个池的总单位数均为 105,000,000，因此它们将具有相同的总容量 100.1 PiB (105,000,000 GiB)。 不过，由于它们具有不同类型的容量单位，因此具有不同的最大性能限制和费用。这两个池中的磁盘在性能方面没有区别。

示例

假设某个 Hyperdisk Balanced Exapool 的容量单位为 12,400,000，其中包括：

  • 5,000,000 个容量优化型单位
  • 2,400,000 个读取优化型单元
  • 500 万个写入优化型单位

Exapool 的容量为 12,109.4 TiB（每 1,024 个单位为 1 TiB）。

Exapool 的 IOPS 为 151,488,476，计算方法如下：

  • 5,000,000 个容量优化型单元的 IOPS：1,840,820（1,342,773 个读取 IOPS + 498,047 个写入 IOPS）

  • 240 万个读取优化型单元的 IOPS：57,147,656（49,947,656 个读取 IOPS + 720 万个写入 IOPS）

  • 5,000,000 个写入优化型单元的 IOPS：92,500,000（60,000,000 个读取 IOPS + 32,500,000 个写入 IOPS）

查看性能和容量利用率

Compute Engine 提供了可用于监控 Exapools 的指标。这些指标可解答以下问题：

  • Exapool 中还剩多少读取和写入 IOPS？
  • Exapool 中的磁盘已分配多少容量？
  • Exapool 中有多少个磁盘？

您可以在 Cloud Monitoring 中查看这些指标。如需了解详情，请参阅监控 Hyperdisk 池。

Hyperdisk Exapool 的大小和性能限制

本部分列出了每种 Exapool 类型的限制。

属性 Hyperdisk Balanced Exapools Hyperdisk Throughput Exapools
最小容量 500 TiB 500 PiB
最大容量 1 EiB 5 EiB
最大吞吐量 10 TiB/s 10 TiB/s
每个池的磁盘数上限 50 万 50 万
容量增量 1 TiB 1 PiB
每个可用区每个项目的 Exapool 数量上限 1 1
效果比率 读取和写入吞吐量的 I/O 大小为 32 KB；读取和写入 IOPS 的 I/O 大小为 4 KB 读取的 I/O 大小为 1MB，写入的 I/O 大小为 256K

Exapool 中磁盘的大小和性能限制

Exapool 中的磁盘与不在池中的磁盘具有相同的大小和性能限制，如下所示：

Hyperdisk 类型 每个磁盘的可预配性能上限 可自定义吞吐量 可自定义 IOPS
平衡 Hyperdisk 160,000 IOPS；
2,400 MiB/s 吞吐量		 是 是
Hyperdisk Throughput 2,400 MiB/s 吞吐量 是 否；每 MiB/s 吞吐量 4 IOPS，最高 9,600 IOPS

您可以在创建磁盘时指定性能限制，并在使用磁盘时修改性能限制。

如需详细了解大小和性能限制，请参阅 Hyperdisk Throughput 的大小和性能限制以及 Hyperdisk Balanced 的大小和性能限制。

区域级可用性

Hyperdisk Balanced Exapools 和 Hyperdisk Throughput Exapools 在所有可用区提供。

加密

对 Hyperdisk 池中的磁盘进行加密的方式与对池外的磁盘进行加密的方式相同。

如需了解详情，请参阅磁盘加密简介。

价格

您需要根据为 Exapool 购买的容量和性能单位的数量和类型支付费用。您无需为存储池中创建的磁盘的预配 IOPS、吞吐量或容量付费。

Hyperdisk Exapool 符合基于资源的承诺使用折扣 (CUD) 的条件，最低承诺期限为 1 年，最长为 3 年。购买 1 年期或 3 年期 Exapool 后，您会自动获得 1 年期或 3 年期基于资源的 CUD。如需了解详情，请参阅磁盘价格。

限制

Exapools 存在以下限制。

  • 您必须与您的客户支持团队联系，才能创建、修改或删除 Hyperdisk Exapool。
  • 您可以为 Exapool 预配的性能量取决于 Exapool 的容量单位类型和数量。不过，在 Exapool 中创建的磁盘的性能与池的容量单位组合无关。
  • 您无法在 Exapool 中使用 Hyperdisk Balanced 卷的机密模式。
  • Exapool 仅使用高级容量和高级性能配置。它们不支持标准容量或标准性能预配。
  • Exapool 不使用数据压缩。
  • Exapool 不支持因性能或容量而自动扩容。您必须自行监控 Exapool 的性能和容量利用率。如需提高池的性能或容量，您必须与您的客户支持团队联系。
  • 只能在池中创建位于同一项目和同一可用区的新磁盘。
  • 您无法将磁盘移入或移出池；您必须通过标准快照重新创建磁盘。如需了解详情，请参阅更改磁盘类型。
  • 如需在池中创建启动磁盘，您必须使用 Hyperdisk Balanced 存储池或 Hyperdisk Balanced Exapool。
  • 存储池不支持区域级磁盘。
  • 您无法对存储池中的磁盘进行克隆、创建即时快照或配置异步复制。

后续步骤