本文档适用于将 JAX 工作负载移植到 Google Kubernetes Engine (GKE) 上的 Pathways 的机器学习工程师。本文档介绍了单控制器执行如何影响设备索引编制、CPU 主机大小调整、pathwaysutils 集成、检查点、数据加载、编译缓存、性能分析和 XLA 标志。
准备工作
完成以下前提条件:
- 创建具有 Pathways 的 GKE 集群。
- 设置 Cluster Toolkit。
- 安装 Kubernetes 工具。
- 安装 Google Cloud CLI。
- 启用 Kubernetes Engine API。
- 为检查点、编译缓存工件和性能分析器跟踪记录创建 Cloud Storage 存储桶。
- 在工作负载环境中安装
jax和pathwaysutils。
进程索引
JAX with Pathways 将 Pathways 集群中的所有设备都视为本地设备,这简化了设备管理,并使 JAX 能够使用所有可用资源。在实践中,这意味着:
jax.process_index()始终会为所有设备返回0。jax.devices()和jax.local_devices()会返回整个作业中的所有 Cloud TPU 设备。
硬件类型和共置
为获得最佳性能,请将所有 Pathways 组件和 JAX 作业放在同一Google Cloud 可用区中。在专用、高容量的 CPU 虚拟机上运行 CPU 头节点组件,例如 IFRT 代理服务器、Pathways 资源管理器和(对于批处理工作负载)JAX 控制器进程,以处理编译和协调开销。至少使用 n2-standard-64 机器类型,该类型提供 64 个 vCPU 和 256 GB 内存。
pathwaysutils 软件包
Pathways-utils 是一个开源 Python 软件包,可将 JAX 工作负载与 Cloud 上的 Pathways 集成。它提供以下功能,可帮助您专注于机器学习工作流,只需进行极少的配置更改:
- 代理 JAX 后端:在您设置
JAX_PLATFORMS=proxy环境变量时启用 Pathways 后端。 - 集成式性能分析实用程序:让您可以使用标准 JAX 性能分析 API(例如
jax.profiler.start_trace和jax.profiler.start_server)对 JAX 代码和底层 Pathways 组件进行性能分析。 - 使用 Orbax 进行分布式检查点:在导入
pathwaysutils时注册自定义 Orbax 检查点处理程序,让您无需更改 Orbax 代码即可保存和恢复分布式检查点。 - 弹性训练基元:为弹性训练提供构建块,以便训练作业可以动态适应可用 Cloud TPU 切片的变化。
检查点
Orbax 已经过 Pathways 测试,可用于通过 Cloud Storage 进行分布式检查点设置和恢复。当您设置 ENABLE_PATHWAYS_PERSISTENCE=1 环境变量并在训练脚本中调用 import pathwaysutils; pathwaysutils.initialize() 时,Pathways 会注册自定义 ArrayHandler。它通过临时框架运行时 (IFRT) 代理运行检查点操作,让加速器上的 Pathways 工作器能够直接保存和恢复数据。
共置 Python
Colocated Python 是一个开源 JAX API,可让您直接在连接到加速器的主机 CPU 上运行用户指定的 Python 代码。在 GKE 上,Pathways 在 Cloud TPU 工作器虚拟机上运行共置的 Python,以避免通过控制器传输主机数据来进行数据加载和检查点设置。
如需构建自定义边车容器映像并使用零拷贝共享主机内存配置 Pathways JobSet,请参阅使用 Pathways 运行共置 Python。
数据加载
在训练期间,工作负载会反复从数据集中加载批量数据,以馈送给模型。使用高效的异步数据加载器,将每个批次分片到多个主机,可避免加速器缺少工作。在标准 Pathways 训练中,数据加载器在 CPU 虚拟机上运行(而不是像在多控制器设置中那样在 Cloud TPU 工作器虚拟机上运行),并将数据发送到 Cloud TPU 虚拟机。通过网络读取会增加延迟时间,Pathways 通过在 CPU 主机上提前读取多个批次并将数据异步分派到 Cloud TPU,在一定程度上缓解了这一问题。这种方法足以应对中小型规模。
在 GKE 上的头工作负载容器中运行多进程数据加载器(例如 Grain)时,该容器会与 pathways-proxy 和 pathways-rm 容器共享头节点。由于此共享主机,请配置以下内容:
- 设置明确的工作器数量:在容器内,
os.cpu_count()会报告主机虚拟机的总 vCPU 数量,而不是容器的 CPU 限制。传递明确的工作器数量(不超过容器的 CPU 限制),而不是从os.cpu_count()派生。 - 装载内存支持的
/dev/shm卷:多进程数据加载器使用 POSIX 共享内存 (/dev/shm) 进行进程间通信。在/dev/shm处装载由内存支持的emptyDir(medium: Memory) 卷,以便预提取的批次不会超出默认容器共享内存限制。
为了在大规模运行时获得最佳性能,请使用共置 Python 共置输入数据流水线,使其直接在 Cloud TPU 工作进程主机上运行。这样可以消除 CPU 瓶颈,并使用 Cloud TPU 互连进行快速数据传输。
如需查看迁移基于 TFDS 的输入流水线的参考示例,请参阅 multihost_dataloading.py 中的 RemoteIterator 实现。此实现通过使用共置的 Python JAX API,在多控制器 JAX 和 Pathways 上均可运行。
JAX 版本控制
Pathways 版本与 JAX 版本紧密耦合,以确保兼容性和稳定性。验证 Pathways 容器映像和 JAX 版本是否一致。每个 Pathways 版本都会通过 jax-<version> 格式的映像标记指定其兼容的 JAX 版本。
编译缓存
Pathways 永久性编译缓存会将已编译的 XLA 可执行文件存储在永久性位置(例如 Cloud Storage)中,以避免冗余编译。当您将 --gcs_scratch_location 传递给 pathways-proxy、pathways-rm 和 pathways-worker(或 worker)容器时,此功能默认处于启用状态。为了降低存储费用,缓存会将对象生命周期政策附加到 Cloud Storage 存储桶。由于 Cloud Storage 将存储桶限制为 50 个生命周期政策,因此请在所有工作负载中使用一个通用的 Cloud Storage 位置。
如果您省略 --gcs_scratch_location 标志或将其留空,Pathways 会回退到内存中编译缓存。此缓存不会在 Pathways 部署中保留已编译的 XLA 可执行文件。
此缓存类似于 JAX 编译缓存,pathwaysutils.initialize() 会针对 Pathways 工作负载停用该缓存。
编译缓存需要以下 Cloud Storage 权限:
storage.buckets.get:检索存储桶元数据。storage.buckets.update:允许 Pathways 设置对象生命周期政策,以强制执行 TTL 来逐出缓存。storage.objects.list:列出存储桶中的现有缓存对象。storage.objects.create:将新编译的可执行文件写入缓存。storage.objects.get:从存储桶中读取缓存的可执行文件。
分析
您可以通过以下两种方式使用 JAX 性能分析器生成 JAX 程序的跟踪记录:
在这两种情况下,Pathways 都会将配置文件写入 Cloud Storage 存储桶,并创建多个跟踪文件,这些文件可能位于不同的时间戳目录下,例如:
- 调用跟踪记录的主 Python 进程(通常是笔记本虚拟机):
JAX_CLIENT_VM_NAME.xplane.pb - Pathways IFRT 代理:
client.PATHWAYS_HEAD_NODE_NAME.xplane.pb - Pathways 资源管理器:
server.*PATHWAYS_HEAD_NODE_NAME.xplane.pb - Pathways 工作器:
server.*TPU_NODE_NAME.xplane.pb
您可以通过运行以下命令,使用 TensorBoard 分析这些跟踪文件。如需详细了解 TensorBoard 及其性能分析工具,请参阅使用 Profiler 优化 TensorFlow 性能。
# Verify that trace files are present gcloud storage ls -l -r gs://BUCKET/PREFIX # View on TensorBoard tensorboard --load_fast=false --logdir=gs://BUCKET/PREFIX
替换以下内容:
BUCKET:存储跟踪文件的 Cloud Storage 存储桶。PREFIX:Cloud Storage 存储桶中存储跟踪文件的路径。
程序化性能剖析文件捕获
从代码内部捕获性能剖析数据。Pathways 会将性能分析文件保存在 gs://BUCKET/PREFIX 的时间戳目录下:
import jax import pathwaysutils pathwaysutils.initialize() jax.profiler.start_trace("gs://BUCKET/PREFIX") # Run the operations to be profiled key = jax.random.key(0) x = jax.random.normal(key, (5000, 5000)) y = x @ x y.block_until_ready() jax.profiler.stop_trace()
手动捕获性能剖析文件
如需手动捕获性能分析信息,请从 Python 代码启动性能分析器服务器:
import jax import pathwaysutils pathwaysutils.initialize() jax.profiler.start_server(JAX_PROFILER_PORT) # Your JAX code jax.profiler.stop_server()
将 JAX_PROFILER_PORT 替换为 JAX 性能分析器服务器的端口号。
在性能分析器服务器运行时,捕获性能剖析文件并将数据导出到目标 Cloud Storage 位置。从工作负载容器内运行以下命令,或从 pathways-head Pod 转发 JAX_PROFILER_PORT 后运行以下命令:
export DURATION_IN_SECS=6 export OUTPUT_DIR="gs://BUCKET/PREFIX/" curl -X POST http://localhost:JAX_PROFILER_PORT/profiling \ -H "Content-Type: application/json" \ -d "{\"duration_ms\": $((DURATION_IN_SECS * 1000)), \"repository_path\": \"${OUTPUT_DIR}\"}"
您可以在程序的跟踪记录中找到 IFRT 代理客户端方法(例如 Compile 和 Execute)的时间信息。这些事件详细说明了在编译和执行期间与 IFRT 代理 gRPC 服务器的交互,它们会显示在名为 GrpcClientSessionUserFuturesWorkQueue 的线程上。在跟踪记录中检查此线程,可让您深入了解这些操作的性能。
XLA 标志
使用 Pathways 时,请在 pathways-proxy 容器中设置 XLA 标志。
使用 Cluster Toolkit(gcluster job submit 命令)时,请使用 --pathways-proxy-args 设置 XLA 标志:
--pathways-proxy-args="--xla_flag_1=value1 --xla_flag_2=value2"
HLO 转储
如需检查传递给 XLA 编译器的高级优化器 (HLO) 输入,请使用 --pathways-proxy-args 将 Pathways 配置为将 HLO 转储到 Cloud Storage 位置:
--pathways-proxy-args="--xla_dump_to=gs://BUCKET_NAME/HLO_PREFIX/"
替换以下内容:
BUCKET_NAME:用于 HLO 转储的 Cloud Storage 存储桶。HLO_PREFIX:存储桶中的路径前缀。