将持久性块存储挂接到 TPU 虚拟机

TPU 虚拟机包含一个 10 GB 的启动磁盘。在某些情况下,需要额外的存储空间进行训练或预处理。添加 Google Cloud Hyperdisk 或永久性磁盘 (PD) 卷来扩展本地磁盘容量。

为了获得最高性能和高级功能,请使用 Hyperdisk(如果适用于您的 TPU 版本)。否则,请使用 Persistent Disk。如需详细了解 Compute Engine 中的块存储选项,请参阅选择磁盘类型。

TPU 对 Hyperdisk 和永久性磁盘的支持

下表展示了每个 TPU 版本支持的磁盘类型:

TPU 版本 支持的磁盘类型 每个虚拟机
的磁盘数上限(包括启动磁盘)
TPU7x Hyperdisk Balanced
Hyperdisk ML
128
v6e Hyperdisk Balanced
Hyperdisk ML
32
v5p Hyperdisk ML
平衡永久性磁盘
128

访问模式

以读写 (rw) 或只读 (ro) 模式配置挂接到单个 TPU 虚拟机(也称为单主机 TPU 切片,例如 ct6e-standard-4t)的磁盘。

将磁盘挂接到多主机 TPU 切片时,该磁盘会挂接到切片中的每个虚拟机。为了防止多个 TPU 虚拟机同时写入磁盘,您必须将挂接到多主机 TPU 切片的所有磁盘都配置为只读 (ro)。只读磁盘可用于存储要在 TPU 切片上处理的数据集。

前提条件

在按照这些过程操作之前,请先设置 Google Cloud 账号和项目。如需了解详情,请参阅设置 Cloud TPU 环境。

创建磁盘

如需创建磁盘,请使用以下命令:

gcloud compute disks create DISK_NAME \
    --size DISK_SIZE  \
    --zone ZONE \
    --type DISK_TYPE

替换以下占位符:

  • DISK_NAME:新磁盘的名称。
  • DISK_SIZE:新磁盘的大小。该值必须是一个整数,后跟大小单位(GB 表示吉比字节,或 TB 表示太比字节)。如果您未指定大小单位,系统会假定为 GB。
  • ZONE:要在其中创建新磁盘的可用区的名称。此可用区必须与您创建 TPU 的可用区相同。
  • DISK_TYPE:磁盘类型。 请使用以下某个值:hyperdisk-balanced、hyperdisk-ml 或 pd-balanced。

对于 Hyperdisk,您可以选择使用以下值之一指定 --access-mode 标志:

  • READ_WRITE_SINGLE:从一个实例进行读写访问(默认)。
  • READ_ONLY_MANY:(仅限 Hyperdisk ML)从多个实例同时进行只读访问。

如需详细了解如何创建磁盘,请参阅创建新的 Hyperdisk 卷和创建新的 Persistent Disk 卷。

挂接磁盘

您可以在创建 TPU 虚拟机或切片时挂接磁盘卷,也可以在创建后挂接。

在创建 TPU 虚拟机时挂接磁盘

创建 TPU 虚拟机或实例模板时,请使用 --disk 标志挂接磁盘卷。

在创建单个 TPU 虚拟机时挂接磁盘

以下示例展示了如何在创建单个 TPU 虚拟机时挂接磁盘卷:

  gcloud compute instances create TPU_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --maintenance-policy=TERMINATE \
    --disk=name=DISK_NAME,device-name=DEVICE_NAME,mode=MODE

替换以下占位符:

  • TPU_NAME:TPU 虚拟机的名称。
  • MACHINE_TYPE:TPU 虚拟机的机器类型(例如 ct6e-standard-8t)。
  • IMAGE_FAMILY:TPU 虚拟机的操作系统映像系列。如果您想安装特定操作系统版本,请使用 --image 标志。如需详细了解操作系统映像,请参阅操作系统映像。
  • IMAGE_PROJECT:包含操作系统映像的项目。对于 TPU 映像,此值为 ubuntu-os-accelerator-images。
  • ZONE:TPU 虚拟机的可用区。
  • DEVICE_NAME:要用于磁盘的设备的名称。此名称用于在操作系统中标识磁盘。
  • MODE:磁盘的模式。可以是 rw(读写)或 ro(只读)。如需了解详情,请参阅访问模式。

在创建多主机 TPU 切片时挂接磁盘

创建多主机 TPU 切片时,您必须指定 mode=read-only(仅限 Hyperdisk ML 和平衡永久性磁盘)。如需了解详情,请参阅访问模式。

如需在多主机 TPU 切片中挂接磁盘,请创建包含挂接磁盘的实例模板,创建工作负载政策,然后创建 MIG:

  1. 创建实例模板

    gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --disk=name=DISK_NAME,mode=MODE
    

    替换以下占位符:

    • INSTANCE_TEMPLATE_NAME:实例模板的名称。
    • MACHINE_TYPE:TPU 虚拟机的机器类型,例如 ct6e-standard-8t。
    • IMAGE_FAMILY:TPU 虚拟机的操作系统映像系列。如果您想安装特定操作系统版本,请使用 --image 标志。如需详细了解操作系统映像,请参阅操作系统映像。
    • IMAGE_PROJECT:包含操作系统映像的项目。 对于 TPU 映像,此值为 ubuntu-os-accelerator-images。
    • DISK_NAME:要挂接到 TPU 虚拟机的磁盘的名称。
    • MODE:磁盘的模式。对于多主机 TPU 切片,模式必须为 ro(只读)。
  2. 创建工作负载政策

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
        --type=high-throughput \
        --accelerator-topology=TOPOLOGY \
        --region=WORKLOAD_POLICY_REGION
    

    替换以下占位符:

    • WORKLOAD_POLICY_NAME:工作负载政策的名称。
    • TOPOLOGY:TPU 虚拟机的拓扑,例如 4x4x8。如需详细了解每个 TPU 版本的拓扑,请参阅系统架构。
    • WORKLOAD_POLICY_REGION:工作负载政策的区域。使用包含 MIG 可用区的区域。
  3. 创建 MIG:

    gcloud compute instance-groups managed create MIG_NAME \
        --project=PROJECT_ID \
        --zone=ZONE \
        --template=TEMPLATE_NAME \
        --size=SIZE \
        --workload-policy=WORKLOAD_POLICY_NAME
    

    替换以下占位符:

    • MIG_NAME:MIG 的名称。
    • PROJECT_ID:项目 ID。
    • ZONE:Cloud TPU 所在的可用区。
    • TEMPLATE_NAME:实例模板的名称。
    • SIZE:多主机 TPU 切片的虚拟机数量。
    • WORKLOAD_POLICY_NAME:工作负载政策的名称。

在创建具有多个单主机 TPU 切片的 MIG 时挂接磁盘

如果您创建单主机 TPU 切片,则可以指定 mode=read-only(仅限 Hyperdisk ML 和平衡永久性磁盘)或 mode=read-write。

如需将持久性存储挂接到具有独立单主机 TPU 切片的 MIG,请使用 --create-disk 标志配置实例模板,以便为每个实例创建一个新磁盘:

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --disk=name=DISK_NAME,mode=MODE

替换以下占位符:

  • INSTANCE_TEMPLATE_NAME:实例模板的名称。
  • MACHINE_TYPE:TPU 虚拟机的机器类型(例如 ct6e-standard-8t)。
  • IMAGE_FAMILY:TPU 虚拟机的操作系统映像系列。
  • IMAGE_PROJECT:包含操作系统映像的项目 (ubuntu-os-accelerator-images)。
  • DISK_NAME:要创建并挂接到每个 TPU 虚拟机的磁盘的基本名称。
  • DISK_SIZE:磁盘大小(以 GB 为单位)。
  • DISK_TYPE:磁盘类型(例如 pd-balanced、hyperdisk-balanced)。

然后,按照上一部分中的说明创建 MIG,并将 --size 设置为您选择的 TPU 虚拟机数量。

将磁盘挂接到现有 TPU 虚拟机

如需将磁盘挂接到现有 TPU 虚拟机,请使用 gcloud compute instances attach-disk 命令。

gcloud compute instances attach-disk VM_NAME \
    --zone=ZONE \
    --disk=DISK_NAME \
    --mode=MODE

替换以下占位符:

  • VM_NAME:TPU 虚拟机的名称。
  • ZONE:Cloud TPU 所在的可用区。
  • DISK_NAME:要挂接到 TPU 虚拟机的磁盘的名称。
  • MODE:磁盘的模式。如需了解详情,请参阅访问模式。

如果您的虚拟机因任何原因而关停,您可能需要在重启虚拟机后装载磁盘。如需了解如何使磁盘在虚拟机重启时自动装载,请参阅配置系统重启时的自动装载。

如需详细了解如何自动删除磁盘,请参阅修改磁盘的自动删除设置。

格式化并装载磁盘

如果您将新的空白磁盘挂接到 TPU 虚拟机,则必须先格式化并装载磁盘,然后才能使用磁盘。如果挂接的磁盘已包含数据,则必须先装载该磁盘,然后才能使用它。

如需详细了解如何格式化和装载非启动磁盘,请参阅在 Linux 虚拟机上格式化和装载非启动磁盘。

分离磁盘

如需从 TPU 虚拟机中卸载磁盘,请运行以下命令:

gcloud compute instances detach-disk VM_NAME \
    --zone=ZONE \
    --disk=DISK_NAME

替换以下占位符:

  • VM_NAME:TPU 虚拟机的名称。
  • ZONE:Cloud TPU 所在的可用区。
  • DISK_NAME:要从 TPU 虚拟机中分离的磁盘的名称。

如需详细了解如何分离磁盘,请参阅分离磁盘。

清理

使用完 Cloud TPU 和 Compute Engine 资源后,请将其删除。

  1. 断开与 Cloud TPU 的连接(如果您尚未这样做):

    exit
    
  2. 删除 TPU 虚拟机:

    gcloud compute instances delete VM_NAME \
        --zone=ZONE
    

    替换以下占位符:

    • VM_NAME:TPU 虚拟机的名称。
    • ZONE:Cloud TPU 所在的可用区。

    如果您使用 MIG 创建了多主机 TPU 切片,请改为删除实例组:

    gcloud compute instance-groups managed delete MIG_NAME \
        --zone=ZONE
    

    替换以下占位符:

    • MIG_NAME:MIG 的名称。
    • ZONE:Cloud TPU 所在的可用区。
  3. 验证 Cloud TPU 是否已删除。删除操作可能需要几分钟时间。

    gcloud compute instances list --zone=ZONE
    
  4. 通过列出您在其中创建磁盘的可用区中的所有磁盘,验证磁盘在 TPU 虚拟机删除时是否会自动删除:

    gcloud compute disks list --filter="zone:( ZONE )"
    

    替换以下占位符:

    如果磁盘在 TPU 虚拟机删除时未删除,请使用以下命令将其删除:

    gcloud compute disks delete DISK_NAME \
        --zone=ZONE
    

    替换以下占位符:

    • DISK_NAME:要删除的磁盘的名称。
    • ZONE:Cloud TPU 所在的可用区。