AI 可用区

本文档简要介绍了 Cloud Storage 的 AI 可用区。AI 可用区 是专门的 Google Cloud 可用区，旨在为人工智能 (AI) 和机器学习 (ML) 工作负载提供计算容量 。它们提供大量的机器学习加速器（GPU 和 TPU）容量。

AI 可用区针对以下 AI 和机器学习工作负载进行了优化：

  • 大规模训练
  • 小规模训练、微调、批量推理和重新训练
  • 实时机器学习推理

如需了解 AI 可用区的背景信息，请参阅 AI 可用区 在 Compute Engine 文档中。

在某个区域内，AI 可用区可能在地理位置上与标准（非 AI）可用区相距较远。

AI 可用区与其他 Cloud Storage 和 Google Cloud 功能兼容。

存储架构建议

我们建议您使用分层存储架构来平衡费用、耐用性和性能：

  • 冷存储层：在 标准可用区中使用区域级 Cloud Storage 存储桶，以持久存储训练数据集和模型检查点（“可信来源”），并确保其高度耐用。

  • 性能层：使用专门的可用区级存储服务作为 高速缓存或临时暂存空间。这种方法可以消除可用区间的延迟，并最大限度地提高活跃作业期间的吞吐量。

建议使用以下存储解决方案，通过 AI 可用区优化 AI 和机器学习系统性能：

存储服务或产品 说明 使用场景
Rapid Cache Cloud Storage 产品

一种全代管式、由固态硬盘提供支持的可用区级读取缓存，可将存储桶中经常读取的数据引入 AI 可用区。

在 AI 可用区中为包含您要部署的训练数据集或模型的区域级 源存储桶创建 Rapid Cache 实例。当训练作业读取文件时，该文件会被 提取到快速的可用区内缓存中。后续读取将直接从缓存提供，绕过区域级网络。这非常适合模型训练中的重复数据访问模式，以及 低延迟模型部署。

建议用于：

  • 读取密集型工作负载
  • 低延迟模型训练和部署
Rapid Bucket Cloud Storage 的产品

一种高性能功能，可让您在可用区中定位存储桶并使用 Rapid Storage 存储类别。针对 I/O 密集型 工作负载进行了优化，专门为需要与要访问的数据位于同一位置的 AI/机器学习应用而设计。

如需针对需要低 延迟和高吞吐量的工作负载优化数据存储区， 请创建一个可用区级存储桶 ，该存储桶使用 Rapid Storage，然后使用 Cloud Storage FUSE将该存储桶装载为 虚拟机上的目录。然后，您可以将应用配置为通过存储桶的装载点在 可用区级存储桶中存储或访问数据。例如，如需在可用区级存储桶中存储 模型检查点，请将检查点 目录配置为训练代码中的装载点。

为了实现区域级弹性，您可以将检查点备份到 区域级、多区域级或双区域级存储桶。使用 Storage Transfer Service 将数据从可用区级存储桶移至位于其他位置的存储桶。使用 对象生命周期管理 在 设定的时间段后使数据过期并删除数据。

建议用于：

  • 高吞吐量读取和写入工作负载
  • 高速检查点
  • 低延迟模型训练和部署

最佳实践

使用 AI 可用区时，请遵循以下存储最佳实践：

  • 在与计算资源相同的 AI 可用区中预配性能层。将计算资源和存储资源放在同一位置有助于确保 GPU 和 TPU 保持完全饱和状态，从而最大限度地提高“有效吞吐量”（有用的吞吐量）。

  • 对于 Rapid Cache，在开始主要训练周期之前，请对数据集执行预读取操作，以填充或预热由 SSD 提供支持的缓存。

可用的 AI 可用区

下表显示了 AI 可用区及其父 Google Cloud 区域。

地理区域 父区域 AI 可用区
欧洲 europe-west4 europe-west4-ai1a
美国 us-central1 us-central1-ai1a
美国 us-south1 us-south1-ai1b

注意事项

  • 您可以从 区域的 AI 可用区访问该 Google Cloud 区域中的 Google Cloud 产品。但是，从 AI 可用区访问 Google Cloud 区域中的服务可能会增加网络延迟，因为 AI 可用区的位置可能与区域的标准 可用区的位置在物理上是分开的。

  • 我们建议您在标准可用区（而非 AI 可用区）中运行非机器学习工作负载，因为 AI 可用区不会在本地提供所有 Google Cloud 服务。

后续步骤