Pathways on Cloud 简介

Pathways 是一个适用于 JAX 的分布式运行时,它使用单控制器执行模型,在一个或多个 TPU 切片上编排大规模、多任务和稀疏激活的机器学习 (ML) 工作负载。它让单个 Python 进程(控制器)能够协调数千或数万个 TPU 芯片上的计算,并在任务之间动态分配计算资源。

您的 JAX 工作负载不会在每个 TPU 虚拟机上运行 Python 程序的单独副本,而是在客户端 CPU 进程(控制器)中运行,并通过 gRPC 与 CPU 头节点上的 Pathways 控制平面进行通信,该节点是集群中托管 Pathways 协调和编译服务的专用纯 CPU 虚拟机。控制平面会编译您的代码,并将计算任务分派给在 TPU 虚拟机上运行的 Pathways 工作器。

Google 在内部使用 Pathways 来训练 Gemini 等大型模型。 Pathways on Cloud 为 Google Cloud 客户提供相同的架构。

准备工作

您可以在 Google Kubernetes Engine (GKE) 或具有 Slurm 的 Cluster Director 集群上运行 Pathways。选择与您的平台对应的标签页,查看前提条件。

GKE

完成以下前提条件:

本文档假定您已熟悉如何在 GKE 中使用 TPU,包括在 GKE 上使用单切片和多切片 TPU,并且对多切片 TPU 有一般经验。

如需创建集群,请参阅使用 Pathways 创建 GKE 集群。

Cluster Director

完成以下前提条件:

本文档假定您已熟悉 Cluster Director、Cluster Director 中的 TPU 机器以及使用 Slurm 运行作业,并且具有多切片 TPU 的一般经验。

如需创建集群,请参阅使用 Pathways 创建 Cluster Director 集群。

单控制器和多控制器

TPU 上的分布式机器学习工作负载使用多控制器执行模型(JAX 中的默认模型)或单控制器执行模型(由 Pathways 使用)。这两种模型的区别在于 Python 代码的运行位置、程序查看加速器的方式以及工作负载在 TPU 切片之间的协调方式。

多控制器工作负载(JAX 默认)

在多控制器模型中,TPU 切片中的每个 TPU 虚拟机都会运行相同的 Python 脚本。每个 TPU 虚拟机都充当直接连接到该主机的 TPU 芯片的独立控制器。多控制器工作负载具有以下特征:

  • 分布式控制:每个 TPU 虚拟机都会同步执行 Python 脚本的副本,并协调跨进程的集体操作。
  • 本地化设备视图:每个 Python 进程仅直接管理连接到其本地虚拟机 (jax.local_devices()) 的 TPU 芯片,而 jax.devices() 会列出集群中的所有设备。
  • 单程序多数据 (SPMD) 执行:由于每个主机同时运行相同的脚本,因此多控制器工作负载主要遵循 SPMD 范式。在 TPU 切片的不同子集上编排不同的操作需要自定义多主机协调逻辑。
  • 主机耦合生命周期:由于 Python 控制器直接在 TPU 虚拟机上运行,因此如果任何 TPU 虚拟机被抢占或发生故障,所有控制器进程都必须一起停止并重启。

单控制器工作负载 (Pathways)

在 Pathways 单控制器模型中,单个 Python 进程充当整个工作负载的中央控制器。您的 JAX 程序(控制器)在 CPU 主机(例如 CPU 头节点上的批处理容器或外部客户端虚拟机)上运行,并通过 gRPC 与 Pathways 运行时通信,而不是直接在 TPU 虚拟机上运行。单控制器工作负载具有以下特征:

  • 集中控制:您运行并监控一个 Python 控制器进程,该进程将计算分派到 Pathways 运行时,后者负责管理所有 TPU 虚拟机上的执行。
  • 统一设备视图:JAX 程序会将所有 TPU 切片视为一个统一的系统。在您的代码中,jax.process_index() 始终为 0,并且 jax.devices() 和 jax.local_devices() 都会返回所有已分配切片中的每个 TPU 芯片,就像它们连接到一台大型机器一样。
  • 灵活的计算模式:除了标准 SPMD 训练之外,单个控制器还可以跨不同的加速器子集调度不同的计算,从而支持非对称流水线并行、多任务工作负载和计算稀疏性。
  • 解耦的控制器生命周期:由于 Python 程序在 TPU 虚拟机之外运行,因此在 Pathways 资源管理器恢复或替换被抢占的 TPU 切片时,控制器进程可以保持运行。当您确实需要在 TPU 虚拟机上运行主机本地 Python 代码(例如高吞吐量数据加载、预处理或检查点设置)时,可以使用共置 Python 通过边车服务器在 TPU 主机 CPU 上执行特定的 Python 函数。

Pathways 组件

Pathways 架构将组件分布在三个环境中:客户端 CPU 环境、CPU 主节点和 TPU 工作器虚拟机。下图展示了这些组件如何交互以及每个组件在何处运行:

架构图,展示了用户 JAX 程序和嵌入式 IFRT 代理客户端如何与 CPU 主节点上的 IFRT 代理服务器、嵌入式 Pathways 客户端和 Pathways Resource Manager 通信,以及这些组件如何将工作分派给 Pathways 工作器、可选边车服务器和每个 Cloud TPU 工作进程虚拟机上挂接的 Cloud TPU 芯片。
Pathways 组件和主机放置

客户端 CPU 环境

在 CPU 头节点上的工作负载容器中运行(通常用于 GKE 上的批量作业),或在单独的客户端容器、Slurm 作业或外部 CPU 虚拟机中运行(用于交互式工作负载或 Cluster Director):

  • 用户程序(控制器):您的 Python JAX 进程,用于定义模型、训练循环和设备分片,并将切片中的所有 TPU 芯片视为本地设备。
  • IFRT 代理客户端:嵌入在 JAX 进程中的开源临时框架运行时 (IFRT) 库。导入 pathwaysutils 并设置 JAX_PLATFORMS=proxy 后,您的代码会与底层运行时解耦,并通过 gRPC 向 IFRT 代理服务器发送请求。

CPU 头节点

在集群中的专用 CPU 虚拟机(GKE 上的 CPU 节点池节点,或 Cluster Director 上的 CPU 计算节点)上运行:

  • IFRT 代理服务器:一个 gRPC 服务器容器,用于接收来自 IFRT 代理客户端的请求,并将其转发到其嵌入式 Pathways 客户端库。
  • Pathways 客户端:嵌入在 IFRT 代理服务器容器中的 IFRT 运行时库。它会将高级优化器 (HLO) 程序发送到 Pathways 资源管理器中的编译服务,并通过 gRPC 协调放置。然后,它会将执行请求和张量数据分派给 Pathways 工作器,并向 JAX 呈现统一的设备视图。
  • Pathways 资源管理器:中央控制平面容器。它负责管理加速器切片、监控工作器运行状况、调度作业,并托管 Pathways 编译服务,该服务会将 HLO 程序编译为 XLA 可执行文件,并存储在 --gcs_scratch_location 下的编译缓存中。

Cloud TPU 工作器虚拟机

每个 TPU 工作器虚拟机都通过主机 CPU 容器管理其连接的 Cloud TPU 芯片(执行已编译的 XLA 计算):

  • Pathways 工作器:从编译缓存加载已编译的可执行文件,并通过 gRPC 从 Pathways 客户端接收执行请求和张量数据。它在连接的 Cloud TPU 芯片上运行计算,通过高速互连与其他工作器交换数据,并向资源管理器报告运行状况。
  • 边车服务器(可选,仅限 GKE):一个 gRPC 容器 (colocated-python-sidecar),用于在 TPU 虚拟机上运行用户指定的 Python 函数(例如数据加载和检查点设置)。它通过零复制共享主机内存与本地 Pathways 工作器交换张量缓冲区。请参阅使用 Pathways 运行共置 Python。

GKE 上的 Pathways 组件

在 GKE 上,pathways-head Pod 在 CPU 节点池池上运行,并托管 pathways-rm 和 pathways-proxy(以及您的批处理工作负载容器,如适用)。每个 TPU 工作进程 Pod 都会运行 worker(或 pathways-worker),并且在启用共置 Python 时,还会运行 colocated-python-sidecar。

您可以在以下位置找到 Pathways 容器映像:

容器类型 位置

IFRT 代理服务器

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:jax-JAX_VERSION

Pathways 资源管理器和工作器

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:jax-JAX_VERSION

共置 Python 边车(可选)

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/colocated_python_sidecar:jax-JAX_VERSION

Pathways 资源管理器

创建 GKE 集群后,您可以使用以下 containerSpec 部署 Pathways 资源管理器:

  - name: pathways-rm
    image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest
    imagePullPolicy: Always
    env:
    - name: HOST_ADDRESS
      valueFrom:
        fieldRef:
          fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
    - name: TPU_SKIP_MDS_QUERY
      value: "true"
    args:
    - --server_port=29001
    - --node_type=resource_manager
    - --instance_count=WORKLOAD_NODEPOOL_COUNT
    - --instance_type=SLICE_TOPOLOGY
    - --gcs_scratch_location=gs://BUCKET_NAME

替换以下内容:

  • WORKLOAD_NODEPOOL_COUNT:TPU 切片的数量。
  • SLICE_TOPOLOGY:切片的 TPU 类型和拓扑,格式为 tpuTPU_TYPE:TOPOLOGY,例如 tpuv5e:4x4。
  • BUCKET_NAME:用于临时文件的 Cloud Storage 存储桶。

该容器还使用以下参数:

  • --server_port:Pathways 资源管理器用于与其他 Pathways 组件通信的端口(在本示例中为 29001)。
  • --node_type:节点类型。对于 Pathways 资源管理器,请将此参数设置为 resource_manager。其他容器不需要此字段。

IFRT 代理服务器

您可以使用以下 containerSpec 部署 IFRT 代理服务器:

  - name: pathways-proxy
    image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:latest
    imagePullPolicy: Always
    env:
    - name: PATHWAYS_HEAD
      valueFrom:
        fieldRef:
          fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
    args:
    - --resource_manager_address=$(PATHWAYS_HEAD):29001
    - --server_port=29000
    - --gcs_scratch_location=gs://BUCKET_NAME
    ports:
    - containerPort: 29000

将 BUCKET_NAME 替换为用于临时文件的 Cloud Storage 存储桶的名称。

该容器还使用以下参数:

  • --resource_manager_address:代理服务器用于与 Pathways 资源管理器通信的主机名和端口。该端口必须与用于 Pathways 资源管理器容器的 --server_port 值匹配。
  • --server_port:IFRT 代理服务器用于与 IFRT 代理客户端通信的端口(在本例中为 29000)。
  • --gcs_scratch_location:用于临时文件的 Cloud Storage 路径。

Pathways 工作器

您可以使用以下 containerSpec 部署 Pathways 工作器:

- name: worker
  image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest
  imagePullPolicy: Always
  env:
  - name: PATHWAYS_HEAD
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
  - name: MEGASCALE_NUM_SLICES
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/replicatedjob-replicas']"
  - name: MEGASCALE_SLICE_ID
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/job-index']"
  - name: MEGASCALE_COORDINATOR_ADDRESS
    value: "$(PATHWAYS_HEAD)"
  args:
  - --server_port=29001
  - --resource_manager_address=$(PATHWAYS_HEAD):29001
  - --gcs_scratch_location=gs://BUCKET_NAME
  ports:
  - containerPort: 29001
  resources:
    limits:
      google.com/tpu: "4"

将 BUCKET_NAME 替换为用于临时文件的 Cloud Storage 存储桶的名称。

该容器还使用以下参数:

  • --server_port:工作器用于与代理服务器和 Pathways 资源管理器通信的端口(在本示例中为 29001)。
  • --resource_manager_address:TPU 工作器用于与 Pathways 资源管理器通信的主机名和端口。该端口必须与用于 Pathways 资源管理器容器的 --server_port 值匹配。
  • --gcs_scratch_location:用于临时文件的 Cloud Storage 路径。

Pathways 资源管理器、IFRT 代理服务器和 Pathways 工作器都可以具有不同的端口,但在本示例中,Pathways 资源管理器和 Pathways 工作器共享同一端口。

Cluster Director 上的 Pathways 组件

本部分将 Pathways 组件映射到 Cluster Director 集群上的 Slurm 作业。

Pathways 脚本会使用 Enroot 运行 Pathways 组件。setup_env.sh 脚本使用以下容器映像,这些映像与它构建的 Python 环境的 JAX 版本 (0.11.1) 匹配:

容器类型 位置

IFRT 代理服务器

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:jax-0.11.1

Pathways 资源管理器和工作器

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:jax-0.11.1

您可以通过将 start_pathways.sh 脚本作为 Pathways 服务作业提交来启动 Pathways 组件。您无需自行编写以下命令。 这些脚本会从您在提交 start_pathways.sh 时设置的环境变量(例如 SLICE_SHAPE、MIN_SLICES、MAX_SLICES 和 GCS_BUCKET)中派生参数。

Pathways 资源管理器

Pathways 服务作业在一个 CPU 节点上运行 Pathways 资源管理器。它会在 Pathways 服务器容器中运行以下命令:

/pathways/server \
    --server_port=29001 \
    --node_type=resource_manager \
    --instance_type=tpuTPU_TYPE:TOPOLOGY \
    --instance_count=MAX_SLICES \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --enable_gcs_olm=false

该脚本会填充命令中的以下占位符:

  • TPU_TYPE 和 TOPOLOGY:每个切片的 TPU 类型和拓扑,派生自 SLICE_SHAPE,例如,SLICE_SHAPE=2x4 设置 tpuv6e:2x4。
  • MAX_SLICES:TPU 切片数量上限,来自 MAX_SLICES。
  • BUCKET_NAME:您的 Cloud Storage 存储桶名称,来自 GCS_BUCKET。

该命令使用以下参数:

  • --server_port:Pathways 资源管理器监听的端口。IFRT 代理服务器和 Pathways 工作器会连接到此端口。
  • --node_type:节点类型 resource_manager。只有 Pathways 资源管理器会设置此参数。
  • --instance_type:每个切片的 TPU 类型和拓扑。
  • --instance_count:TPU 切片的数量。
  • --gcs_scratch_location:用于临时文件(例如编译缓存)的 Cloud Storage 路径。
  • --enable_gcs_olm:Pathways 是否创建 Cloud Storage 对象生命周期规则来清理旧的编译缓存条目。该脚本会关闭此功能,因为它需要对存储桶拥有额外的权限。

IFRT 代理服务器

Pathways 服务作业在与 Pathways 资源管理器相同的 CPU 节点上运行 IFRT 代理服务器。它会在 IFRT 代理服务器容器中运行以下命令:

/pathways/proxy_server \
    --server_port=29000 \
    --resource_manager_address=RM_IP:29001 \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --num_elastic_instances=MAX_SLICES

该脚本会填充命令中的以下占位符:

  • RM_IP:运行 Pathways 资源管理器的 CPU 节点的内部 IP 地址。
  • BUCKET_NAME:您的 Cloud Storage 存储桶名称,来自 GCS_BUCKET。
  • MAX_SLICES:TPU 切片数量上限,来自 MAX_SLICES。

该命令使用以下参数:

  • --server_port:IFRT 代理服务器监听的端口。您的 JAX 程序会连接到此端口。
  • --resource_manager_address:Pathways 资源管理器的地址和端口。
  • --gcs_scratch_location:与 Pathways 资源管理器相同的 Cloud Storage 路径。
  • --num_elastic_instances:在不停止 IFRT 代理会话的情况下,可以不可用的切片数量,从 MAX_SLICES 开始。您的工作负载强制执行 MIN_SLICES。

当至少有 MIN_SLICES 个切片运行时,服务作业会将 IFRT 代理服务器地址写入 ~/pathways/cluster.env。您的 JAX 程序(IFRT 代理客户端)会读取此文件以连接到 Pathways。JAX 程序作为工作负载(例如 run_maxtext.sh)或在 Jupyter 笔记本中运行。

Pathways 工作器

Pathways 服务作业会提交一个 Slurm 作业数组 (run_worker_slice.sh),其中每个 TPU 切片对应一个数组任务。每个数组任务都会在其切片中的每个 TPU 虚拟机上的 Pathways 服务器容器中运行以下命令:

/pathways/server \
    --server_port=29001 \
    --resource_manager_address=RM_IP:29001 \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --enable_gcs_olm=false

该脚本会使用 CPU 节点的内部 IP 地址填充 RM_IP,并使用 Cloud Storage 存储桶名称填充 BUCKET_NAME。

该命令使用以下参数:

  • --server_port:Pathways 工作器监听的端口。Pathways 资源管理器和 IFRT 代理服务器会连接到此端口。
  • --resource_manager_address:Pathways 资源管理器的地址,与 IFRT 代理服务器的地址相同。
  • --gcs_scratch_location 和 --enable_gcs_olm:与 Pathways 资源管理器相同。

该脚本还会根据切片的节点和数组任务索引,为每个工作器设置 TPU 拓扑和 MEGASCALE_* 环境变量。

如果 TPU 切片被抢占或发生故障,Slurm 会将其数组任务重新排队。如果您在集群节点上没有密码sudo,则服务作业还会关闭切片的节点,以便 Slurm 可以重新创建这些节点。Pathways 资源管理器和 IFRT 代理服务器会继续运行,因此您的 JAX 程序无需连接到新地址。

后续步骤