Hyperdisk Exapool 概览

本文档介绍了 Exapool 的功能和限制。Hyperdisk Exapool 是 Hyperdisk 存储池，专为 Hyperdisk 存储池无法在单个可用区中提供足够 Hyperdisk 存储空间的工作负载而设计。借助 Exapool，您可以批量购买存储空间和性能，然后在池中创建磁盘以使用存储空间。

何时使用 Hyperdisk Exapool

Exapool 适用于在单个可用区中拥有数万个磁盘、需要 500 TiB 到 2.5 EiB 持久性块存储的大规模工作负载。如果您的工作负载需要较低的容量或性能，请使用 Hyperdisk 存储池或在池外创建磁盘。

Exapool 提供 Compute Engine 中最大规模的存储空间和性能，同时还允许您预配超出需求的性能和容量，但仅按实际用量收费，从而帮助您节省费用。

Hyperdisk Exapool 非常适合大规模 AI、机器学习 (ML) 和大型分布式并行文件系统工作负载。以下是一些示例工作负载：

Hyperdisk Exapool 的示例工作负载：

  • AI/ML 工作负载跨越 4,000 个 TPU 虚拟机，使用 2 PiB 的 Hyperdisk Balanced，预配性能为 20,000,000 IOPS 和 3 TiB/s 吞吐量，从而实现 500 GiB/s 的并发总峰值吞吐量。
  • AI/机器学习训练工作负载，包含 15,000 个 GPU 实例，使用 Hyperdisk Balanced 作为启动磁盘和 scratch 磁盘，总容量为 8 PiB，并发总峰值吞吐量为 1 TiB/s。
  • 并行文件系统，容量不低于 6 PiB，并发聚合峰值达到 800 GiB/s 的读取密集型吞吐量。

Exapool 的运作方式

您可以创建一个 Exapool，其总容量和性能可满足可用区内所有工作负载磁盘的需求，然后根据需要在此池中创建磁盘。您可以将 Exapool 中的磁盘用作 Compute Engine 实例和容器的启动磁盘或数据磁盘。

在 Exapool 中创建磁盘时，您需要将池的部分资源（大小和性能）分配给该磁盘。删除池中的磁盘时，分配给该磁盘的资源会返回到池中，供其他磁盘使用。

例如，假设您创建了一个容量为 50 PiB 的 Hyperdisk Balanced Exapool。如果您在池中创建 100 个 10 TiB 磁盘，则池的剩余可用容量会减少 1,000 TiB。

Exapool 类型

创建 Exapool 时，您必须为池中的磁盘选择 Hyperdisk 类型。您可以选择以下类型：

如需详细了解如何选择 Hyperdisk 类型，请参阅为工作负载选择 Hyperdisk 类型。

机器系列支持

支持 Hyperdisk Throughput 和 Hyperdisk Balanced 的机器系列也分别支持 Hyperdisk Throughput Exapool 和 Hyperdisk Balanced Exapool。如需查看受支持的机器系列列表，请参阅机器系列对 Hyperdisk Throughput 的支持和机器系列对 Hyperdisk Balanced 的支持。

Exapool 的性能和容量预配

存储池的预配类型决定了存储池中的磁盘如何消耗资源。

Exapool 使用高级预配功能来预配容量和性能，从而最大限度地节省成本和时间。

高级容量预配

所有 Exapool 都使用高级容量预配，这具有以下优势：

  • 精简预配：Compute Engine 会根据需要将数据分配到池中的磁盘，而不是在预配磁盘时分配。
  • 超额预配：您最多可以为池中的磁盘预配比为 Exapool 购买的容量多 50 倍的容量。这简化了容量规划，并避免了手动调整磁盘大小导致的停机。

如需详细了解高级容量预配，请参阅高级容量预配。

高级性能预配

Exapool 使用高级性能预配，具有以下优势：

  • 精简预配：Compute Engine 会根据需要为池中的磁盘分配性能资源。只有 Exapool 中磁盘使用的 IOPS 和吞吐量才会消耗性能。
  • 超额预配：池中所有磁盘的总性能最多可达池预配写入性能的 50 倍。
  • 共享性能：Exapool 中的磁盘共享池的预配性能，最高可达每个磁盘的上限，从而为具有不同高峰使用时间的磁盘节省成本。

如需详细了解高级性能预配，请参阅高级性能预配。

购买容量和性能

Exapool 的预配性能（即您可以分配给池中磁盘的 IOPS 和吞吐量）取决于以下因素：

  • 池中的容量单位数量
  • Exapool 的磁盘类型

容量单位的工作原理

一个容量单位包括 1 GiB 的容量和每 GiB 的固定性能（IOPS 和吞吐量）。例如，如需向池中添加 1 PiB 的容量，您需要购买 1,048,576 个容量单位（1,048,576 GiB = 1 PiB）。Exapool 提供三种容量单位类型供您选择。添加到池中的性能量取决于容量单位的类型：

  • 容量优化型单元：为读取和写入操作提供均衡的 IOPS 和吞吐量。
  • 读取优化单元：提供最高的每 GiB 读取操作速率和吞吐量。
  • 写入优化单元：提供最高的写入操作速率和每 GiB 吞吐量。

如果您的工作负载的读取操作多于写入操作，或者需要的读取吞吐量高于写入吞吐量，那么购买读取优化单元将获得最大价值。

在预配或扩展 Exapool 时，您可以组合使用不同类型的容量单位。您为池购买的容量单位类型和数量称为容量单位组合。

Exapool 的单元组合不会影响 Exapool 中磁盘的性能。单位组合仅影响以下因素：

  • Exapool 的结算方式。
  • Exapool 的预配性能上限。

为 Exapool 选择容量单位组合

为了以最具成本效益的方式满足工作负载的需求，请与您的客户支持团队合作，选择最适合您工作负载的容量单位组合。例如，您可以为项目中的所有读取密集型磁盘创建一个具有大量读取优化单元的 Exapool。

Hyperdisk Throughput Exapool 的容量单位比率

Hyperdisk Throughput Exapool 具有以下性能比率，具体取决于购买的容量：

容量单位类型 购买的容量单位 Exapool 容量 (TiB) 读取吞吐量 (MiB/s) 写入吞吐量 (MiB/s)
容量优化型 1024 1 0.97 0.10
读取优化型 1024 1 3.38 0.10
写入优化型 1024 1 0.97 1.84

Hyperdisk Balanced Exapool 的容量单位比率

Hyperdisk Balanced Exapool 具有以下性能比率，具体取决于购买的容量：

容量单位类型 购买的容量单位 Exapool 容量 (TiB) 读取吞吐量 (MiB/s) 写入吞吐量 (MiB/s) 读取 IOPS 写入 IOPS
容量优化型 1024 1 5.12 1.02 275 102
读取优化型 1024 1 378.88 30.72 21,311 3072
写入优化型 1024 1 220.16 71.68 12288 6,656

容量单位如何影响磁盘性能

Exapool 的容量单位组合不会影响 Exapool 中的磁盘如何消耗性能。池中磁盘的各个读写操作不会单独计费。购买特定类型的单元不会将磁盘限制为固定数量的读取或写入 IOPS。此外，在 Exapool 中创建磁盘时，您无需指定读取 IOPS 或写入 IOPS 限制，只需指定预配的 IOPS 限制。

例如，假设有两个 Hyperdisk Balanced Exapool：Pool-1 和 Pool-2.。两者都有 100,000,000 个容量优化单元。Pool-1 还具有 5,000,000 个写入优化型单位，而 Pool-2 具有 5,000,000 个读取优化型单位。

由于两个池的总容量均为 105,000,000 个单位，因此它们的总容量相同，均为 100.1 PiB (105,000,000 GiB)。不过，由于这些池具有不同类型的容量单位，因此它们具有不同的性能上限和费用。两个池中的磁盘之间没有性能差异。

示例

假设一个 Hyperdisk Balanced Exapool 拥有 12,400,000 个容量单位，其构成如下：

  • 5,000,000 个容量优化型单元
  • 2,400,000 个读取优化型单元
  • 500 万个写入优化型单元

Exapool 的容量为 12,109.4 TiB（每 1,024 个单位为 1 TiB）。

Exapool 的 IOPS 为 151,488,476，计算方式如下：

  • 5,000,000 个容量优化单元的 IOPS：1,840,820（1,342,773 读取 IOPS + 498,047 写入 IOPS）

  • 2,400,000 个读取优化单元的 IOPS：57,147,656（49,947,656 读取 IOPS + 7,200,000 写入 IOPS）

  • 5,000,000 个写入优化单元的 IOPS：92,500,000（60,000,000 读取 IOPS + 32,500,000 写入 IOPS）

查看性能和容量利用率

Compute Engine 提供了可用于监控 Exapool 的指标。这些指标可解答以下问题：

  • Exapool 中还剩多少读取和写入 IOPS？
  • Exapool 中的磁盘分配了多少容量？
  • Exapool 中有多少个磁盘？

您可以在 Cloud Monitoring 中查看这些指标。如需了解详情，请参阅监控 Hyperdisk 存储池。

Hyperdisk Exapool 的大小和性能限制

本部分列出了每种 Exapool 类型的限制。

属性 Hyperdisk Balanced Exapool Hyperdisk Throughput Exapool
最小容量 500 TiB 500 PiB
最大容量 1 EiB 5 EiB
最大吞吐量 10 TiB/s 10 TiB/s
每个存储池的磁盘数上限 50 万 50 万
容量增量 1 TiB 1 PiB
每个可用区每个项目的 Exapool 数量上限 1 1
性能比率 32KB I/O 大小（对于读写吞吐量）；4KB I/O 大小（对于读写 IOPS） 读取操作的 I/O 大小为 1MB，写入操作的 I/O 大小为 256K

Exapool 中磁盘的大小和性能限制

Exapool 中的磁盘与不在池中的磁盘具有相同的大小和性能限制，如下所示：

Hyperdisk 类型 每个磁盘的可预配性能上限 可自定义吞吐量 可自定义 IOPS
平衡 Hyperdisk 160,000 IOPS；
2,400 MiB/s 吞吐量		 是 是
Hyperdisk Throughput 2,400 MiB/s 吞吐量 是 否；每 MiB/s 吞吐量 4 IOPS，最高 9,600 IOPS

您可以在创建磁盘时指定磁盘的性能限制，并在磁盘使用期间修改性能限制。

如需详细了解大小和性能限制，请参阅 Hyperdisk Throughput 的大小和性能限制和 Hyperdisk Balanced 的大小和性能限制。

区域级可用性

Hyperdisk Balanced Exapool 和 Hyperdisk Throughput Exapool 在所有可用区提供。

加密

加密 Hyperdisk 存储池中的磁盘与加密存储池外部的磁盘的方式相同。

如需了解详情，请参阅磁盘加密简介。

预留

您可以使用容量块的未来预留，将 Exapools 容量与计算实例一起预留。您还可以将 Exapool 中的磁盘挂接到使用预留的计算实例。

如需了解详情，请参阅池预留。

价格

Exapool 的费用取决于您为该池购买的容量和性能单元的数量和类型。您无需为存储池中创建的磁盘的预配 IOPS、吞吐量或容量付费。

Compute Engine 为 Hyperdisk Exapool 提供基于资源的承诺使用折扣 (CUD)。您可以通过购买 1 年期或 3 年期块存储承诺来获得这些折扣。如需详细了解块存储承诺的工作原理，请参阅基于资源的 CUD 文档中的块存储承诺。如需了解如何购买块存储承诺，请参阅购买块存储承诺。

如需比较按需价格与 1 年期和 3 年期 CUD 价格，请参阅磁盘价格。

限制

以下限制适用于 Exapool。

  • 您必须与您的客户支持团队联系，才能创建、修改或删除 Hyperdisk Exapool。
  • 您可以为 Exapool 预配的性能量取决于 Exapool 的容量单位类型和数量。不过，在 Exapool 中创建的磁盘的性能与池的容量单位组合无关。
  • 您无法在 Exapool 中为 Hyperdisk Balanced 卷使用机密模式。
  • Exapool 仅使用高级容量和高级性能预配。它们不支持标准容量或标准性能预配。
  • Exapool 不使用数据压缩。
  • Exapool 不支持性能或容量自动扩容。您必须自行监控 Exapool 的性能和容量利用率。如需提高池的性能或容量，您必须与您的客户支持团队联系。
  • 只能在池中创建位于同一项目和同一可用区的新磁盘。
  • 您无法将磁盘移入或移出存储池；您必须通过标准快照重新创建磁盘。如需了解详情，请参阅更改磁盘类型。
  • 如需在池中创建启动磁盘，您必须使用 Hyperdisk Balanced 存储池或 Hyperdisk Balanced Exapool。
  • 池不支持区域级磁盘。
  • 您无法对池中的磁盘进行克隆、创建即时快照或配置异步复制等操作。

后续步骤