监控工作负载框架指标
本文档介绍了如何为在 Google Kubernetes Engine (GKE) 上运行的 Cloud TPU 工作负载收集和查看 Megascale XLA (MXLA)、Orbax 和 PyGrain (Grain) 指标,以及如何在 ML Diagnostics 平台中查看基于这些指标构建的分析器。通过监控这些指标,您可以识别和排查多切片通信、检查点和数据加载方面的性能瓶颈。
每组指标都针对工作负载的不同组件,可帮助您诊断流水线不同阶段的问题:
- Megascale XLA (MXLA) 指标:衡量多切片 TPU 工作负载中的跨切片数据中心网络 (DCN) 传输延迟时间、设备到主机 (D2H) 和主机到设备 (H2D) 传输时间、计算延迟时间以及端到端集合操作。使用这些指标来识别落后节点和硬件瓶颈。
- Orbax 指标:跟踪 Orbax 检查点库中的异步检查点保存和恢复时长、数据量以及写入吞吐量。使用这些指标可检测检查点延迟、停滞或训练线程阻塞时间过长等问题。
- PyGrain (Grain) 指标:衡量 PyGrain 数据加载库中的数据集迭代延迟时间、数据源读取时间、读取的总字节数和预提取缓冲区就绪情况。使用这些指标可确定您的工作负载是否因 I/O 或数据加载瓶颈而受到输入限制。
您可以通过直接读取的 Prometheus 端口、TPU 监控库、tpu-info CLI 或 Cloud Monitoring 访问这些指标。
ML Diagnostics 平台还包含工作负载监控分析器,可在工作负载性能下降时自动分析这些指标。这些分析器可确定 TPU 占空比下降是由 MXLA 网络传输延迟、Orbax 异步检查点还是 PyGrain 数据加载引起的。
Megascale 指标
Megascale XLA (MXLA) 是一种通信运行时和编译器扩展,可通过数据中心网络 (DCN) 协调多个 TPU 切片之间的集合操作。芯片间互连 (ICI) 链路负责处理单个切片内 TPU 芯片之间的高速通信,而 MXLA 则负责管理切片之间的数据传输、主机端归约以及主机内存与 TPU 高带宽内存 (HBM) 之间的数据移动。
在 TPU 上运行多切片工作负载时,您可以收集 MXLA 指标,以排查跨切片网络和主机处理瓶颈问题。GKE 默认将这些指标作为 GKE 系统指标进行收集,您可以在 Cloud Monitoring 中查看这些指标。这些指标也会自动显示在 ML Diagnostics 系统指标标签页中,并会针对机器学习运行工作负载上下文自动汇总。
下表列出了可用的 Megascale 指标:
| 指标名称 | GKE 指标名称 | 说明 |
|---|---|---|
| MXLA DCN 传输延迟时间 | container/multislice/network/dcn_transfer_latencies |
测量每个数据块的数据中心网络 (DCN) 往返传输延迟时间。离群值可能与有故障的网络硬件相关。 该指标具有以下属性:
|
| MXLA 入站传输延迟时间 | container/multislice/network/dcn_inbound_transfer_latencies |
测量每个数据块的单向入站 DCN 传输延迟时间。 离群值可能与有故障的网络硬件相关。 该指标具有以下属性:
|
| MXLA 计算延迟时间 | container/multislice/accelerator/compute_latencies |
测量完成归约操作所需的主机计算延迟时间。离群值可能表示 CPU 或内存问题,例如双列直插式内存模块 (DIMM) 故障。 该指标具有以下属性:
|
| MXLA 端到端集合通信延迟时间 | container/multislice/network/collective_end_to_end_latencies |
测量 DCN 上的端到端集合延迟时间,从主机发起操作到所有对等方收到输出。 包括主机端数据缩减和将输出发送到 TPU。 结果是字符串,详细说明了缓冲区空间、操作类型以及平均延迟时间、P50、P90、P95 和 P99.9 延迟时间。 该指标具有以下属性:
|
| MXLA d2h 延迟时间 | container/multislice/accelerator/device_to_host_transfer_latencies |
测量每个数据块的单向设备到主机 (D2H) 传输延迟时间。离群值可能与有故障的网络硬件相关。 该指标具有以下属性:
|
| MXLA h2d 延迟时间 | container/multislice/accelerator/host_to_device_transfer_latencies |
测量每个数据块的单向主机到设备 (H2D) 传输延迟时间。离群值可能与有故障的网络硬件相关。 该指标具有以下属性:
|
Orbax 指标
Orbax 是一个适用于 JAX 工作负载的分布式检查点库,可在单主机和多主机环境中保存和恢复模型权重、优化器状态和数据集迭代器。为了最大限度地减少训练停机时间,Orbax 支持异步检查点,该检查点会在同步阶段将状态从 TPU 内存复制到主机内存,然后在训练继续时在后台线程中将检查点写入存储。
如果您的工作负载使用 Orbax 进行检查点操作,您可以收集 Orbax 指标,以排查检查点延迟、写入吞吐量缓慢或停滞问题。Orbax 会在 Prometheus 端口上导出这些指标,您可以使用 Google Cloud Managed Service for Prometheus 直接读取这些指标或将其发送到 Cloud Monitoring。如需在 GKE、Cloud Monitoring 或 ML Diagnostics 中启用这些指标,请参阅访问 Orbax 和 PyGrain 指标。
下表列出了可用的 Orbax 指标:
| Prometheus 指标名称 | 说明 |
|---|---|
jax_checkpoint_write_async_total_duration_secs |
整个异步检查点写入流水线的总时间。 该指标具有以下属性:
|
jax_orbax_write_gbytes |
检查点保存操作期间写入的总千兆字节数。 该指标具有以下属性:
|
jax_orbax_write_gbytes_per_sec |
检查点保存操作的同步和异步阶段的写入吞吐量(以 GB/秒 [GBps] 为单位)。 该指标具有以下属性:
|
jax_checkpoint_write_async_blocking_duration_secs |
在移交给后台线程之前,异步检查点保存的阻塞阶段所花费的时间。 该指标具有以下属性:
|
jax_orbax_read_total_duration_secs |
检查点恢复操作的总端到端时长。 该指标具有以下属性:
|
jax_orbax_read_blocking_duration_secs |
检查点恢复操作的同步(阻塞)准备阶段的持续时间。 该指标具有以下属性:
|
jax_orbax_write_async_start_total |
已启动的异步检查点写入操作数。 该指标具有以下属性:
|
PyGrain 指标
PyGrain (Grain) 是一个 Python 库,用于读取、预处理和批处理输入数据,以用于机器学习训练和评估工作负载。PyGrain 提供确定性、可重现的数据流水线,可在主机 CPU 上预提取和转换记录,从而避免 TPU 加速器因等待输入批次而停滞。
如果您的工作负载使用 PyGrain 加载数据,您可以收集 PyGrain 指标,以排查输入流水线瓶颈、存储读取速度缓慢或预提取缓冲区耗尽等问题。PyGrain 会在 Prometheus 端口上导出这些指标,您可以使用 Google Cloud Managed Service for Prometheus 直接读取这些指标或将其发送到 Cloud Monitoring。如需在 GKE、Cloud Monitoring 或 ML Diagnostics 中启用这些指标,请参阅访问 Orbax 和 PyGrain 指标。
下表列出了可用的 PyGrain 指标:
| Prometheus 指标名称 | 说明 |
|---|---|
grain_python_dataset_next_duration_ns |
数据集的 该指标具有以下属性:
|
grain_python_dataset_prefetch_buffer_ready_count |
预取缓冲区中就绪元素的数量。 该指标具有以下属性:
|
grain_python_data_sources_bytes_read_total |
从数据源读取的总字节数。 该指标具有以下属性:
|
grain_python_dataset_source_read_time_ns |
从数据源读取数据所用的时间。 该指标具有以下属性:
|
grain_python_data_loader_iterator_get_next |
该指标具有以下属性:
|
前提条件
在收集 Megascale、Orbax 或 PyGrain 指标或使用关联的机器学习诊断分析器之前,请确保您的环境满足以下部分中的要求。
超大规模要求
如需收集 Megascale 指标并在 Cloud Monitoring 中查看这些指标,请满足以下版本要求:
- 安装 LibTPU
0.40.0版或更高版本。 - 如需在 Cloud Monitoring 中查看这些指标,请安装 GKE
1.36.4-gke.1247000版或更高版本。
Orbax 和 PyGrain 要求
如需从工作负载中导出 Orbax 和 PyGrain 指标,请满足以下软件包和容器要求:
- Python 软件包:
- 安装 Orbax (
orbax-checkpoint)0.12.1版或更高版本。 - 安装 PyGrain (
grain)0.2.18版或更高版本。 - 在容器映像中安装
prometheus-clientPython 软件包。orbax-checkpoint软件包会自动安装prometheus-client作为依赖项,但grain不会。如果您的工作负载仅使用 PyGrain,请运行pip install prometheus-client来安装该软件包。
- 安装 Orbax (
- 工作负载容器配置:
- 设置以下环境变量:
ENABLE_ORBAX_PROMETHEUS_TELEMETRY="true"(启用 Orbax 指标)ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY="true"(启用 PyGrain 指标)
- 在工作负载容器上公开 TCP 端口
9431。
- 设置以下环境变量:
以下示例容器规范设置了遥测环境变量并公开了 TCP 端口 9431:
containers:
- name: WORKLOAD_CONTAINER
env:
- name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
value: "true"
- name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
value: "true"
ports:
- name: framework-metrics
containerPort: 9431
protocol: TCP
将 WORKLOAD_CONTAINER 替换为工作负载容器的名称。
机器学习诊断分析器要求
如需将 ML Diagnostics 分析器用于 Megascale、Orbax 和 PyGrain 指标,请安装 GKE 1.36.4-gke.1247000 或更高版本。
访问 Megascale 指标
当集群运行受支持的 GKE 版本和 LibTPU 时,GKE 会自动收集 Megascale 指标,以便您在 Cloud Monitoring 中查看这些指标。您还可以部署您选择的 Prometheus 收集器,以直接从 MXLA 运行时的 Prometheus 端口读取 Megascale 指标。
访问 Orbax 和 PyGrain 指标
在工作负载容器上启用 Prometheus 遥测后,Orbax 和 PyGrain 会在 TCP 端口 9431 上导出指标。您可以通过以下任一方式访问这些指标:
- 直接读取 Prometheus 端点:部署您选择的 Prometheus 收集器,以从工作负载容器上的端口
9431读取 Orbax 和 PyGrain 指标。 - 将指标发送到 Cloud Monitoring:使用 Google Cloud Managed Service for Prometheus 读取每个节点上的端口
9431,并将指标发送到 Cloud Monitoring。
使用 Google Cloud Managed Service for Prometheus 查看指标
如需将 Orbax 和 PyGrain 指标从端口 9431 发送到 Cloud Monitoring,请在 GKE 集群中部署 Google Cloud Managed Service for Prometheus PodMonitoring 自定义资源。PodMonitoring 资源会指示每个节点上的 Google Cloud Managed Service for Prometheus 收集器读取端口 9431 并将指标发送到 Cloud Monitoring。如需了解详情,请参阅配置 PodMonitoring 资源。
默认情况下,GKE 集群中会启用 prometheus.googleapis.com 端点和 Google Cloud Managed Service for Prometheus 收集器。使用 Google Cloud Managed Service for Prometheus 会产生额外费用。
启用托管式集合
在运行 GKE 1.27 版或更高版本的 GKE Standard 集群中,Google Cloud Managed Service for Prometheus 的托管式收集功能默认处于启用状态。如需了解详情,请参阅启用代管式收集。
如果您的集群上停用了托管式收集,请启用它:
gcloud container clusters update CLUSTER_NAME \
--enable-managed-prometheus \
--region=REGION
替换以下内容:
CLUSTER_NAME:GKE 集群的名称。REGION:集群所在的区域。
如果您修改了节点服务账号的默认权限,请确保其具有 Monitoring Metric Writer (roles/monitoring.metricWriter) 角色。
配置工作负载 Pod 模板
如需准备工作负载 Pod 以进行抓取,请更新 JobSet、Job 或 Deployment 清单中的 Pod 模板:
- 添加 Pod 标签(例如
ml-framework-metrics: "enabled"),以便PodMonitoring资源可以选择工作负载 Pod。 - 将
ENABLE_ORBAX_PROMETHEUS_TELEMETRY和ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY环境变量设置为"true"。 - 公开 TCP 端口
9431并为其分配端口名称,例如framework-metrics。
以下示例 Pod 模板配置了这些字段:
template:
metadata:
labels:
ml-framework-metrics: "enabled" # used by the PodMonitoring selector
spec:
containers:
- name: WORKLOAD_CONTAINER
env:
- name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
value: "true"
- name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
value: "true"
ports:
- name: framework-metrics
containerPort: 9431
protocol: TCP
将 WORKLOAD_CONTAINER 替换为工作负载容器的名称。
验证指标端点
在部署 PodMonitoring 资源之前,请验证工作负载容器是否在端口 9431 上导出指标。从正在运行的工作负载 Pod 转发端口 9431,并查询 /metrics 端点:
kubectl -n NAMESPACE port-forward pod/WORKLOAD_POD 9431:9431
curl -s localhost:9431/metrics | grep -E '^(jax_orbax|jax_checkpoint|grain_python)'
替换以下内容:
NAMESPACE:工作负载运行所在的 Kubernetes 命名空间。WORKLOAD_POD:正在运行的工作负载 Pod 的名称。
Orbax 会在首次记录值时初始化每个指标,因此 Orbax 指标仅在首次检查点保存或恢复操作后才会显示。
部署 PodMonitoring 资源
如需将 Google Cloud Managed Service for Prometheus 配置为读取工作负载 Pod,请完成以下步骤:
将以下清单保存为
orbax-grain-podmonitoring.yaml:apiVersion: monitoring.googleapis.com/v1 kind: PodMonitoring metadata: name: orbax-grain-metrics namespace: WORKLOAD_NAMESPACE # must match the workload namespace spec: selector: matchLabels: ml-framework-metrics: "enabled" endpoints: - port: framework-metrics # the named containerPort (9431) path: /metrics interval: 30s # a longer interval reduces sample volume and cost metricRelabeling: # optional: keep only Orbax and PyGrain series to control cost - action: keep sourceLabels: [__name__] regex: (jax_orbax_|jax_checkpoint_|grain_python_).+ targetLabels: # optional: copy the JobSet name onto every series fromPod: - from: jobset.sigs.k8s.io/jobset-name to: jobset_name将
WORKLOAD_NAMESPACE替换为工作负载运行所在的 Kubernetes 命名空间。应用清单并确认
PodMonitoring资源已创建:kubectl apply -f orbax-grain-podmonitoring.yaml kubectl get podmonitoring -A
PodMonitoring 资源仅读取其自身命名空间中的 Pod。如果您的工作负载跨多个命名空间运行,请使用 kind:
ClusterPodMonitoring 的相同规范,并省略 metadata.namespace 字段。ClusterPodMonitoring 资源会发现所有命名空间中的匹配 Pod。
可选:验证 Google Cloud Managed Service for Prometheus 是否正在爬取 Pod
如需验证 Google Cloud Managed Service for Prometheus 是否正在主动爬取工作负载 Pod,请完成以下步骤:
- 在
gmp-public命名空间中,修改OperatorConfig资源并将features.targetStatus.enabled设置为true。 检查
PodMonitoring资源,并确认目标报告Health: up:kubectl -n NAMESPACE describe podmonitoring/orbax-grain-metrics将
NAMESPACE替换为工作负载运行所在的 Kubernetes 命名空间。完成问题排查后,在
OperatorConfig资源中将features.targetStatus.enabled重新设置为false。仅当您在调查活跃问题时,才建议启用目标状态。
在 Cloud Monitoring 中查询指标
如需查询发送到 Cloud Monitoring 的指标,请完成以下步骤:
- 在 Google Cloud 控制台中,前往 Monitoring > Metrics Explorer。
选择 PromQL,然后输入以下查询,以确认您的目标正在报告:
up{namespace="NAMESPACE"}将
NAMESPACE替换为工作负载的 Kubernetes 命名空间。
在基于菜单的指标选择器中,指标使用 prometheus.googleapis.com/METRIC_NAME/TYPE 格式存储,其中 TYPE 为 counter、histogram 或 gauge。每个库都会通过将 / 替换为 _,根据其指标路径构造其 Prometheus 指标名称。计数器会附加 _total 后缀,直方图会导出为 _bucket、_sum 和 _count 时序。
您可以使用以下 PromQL 查询示例来分析 Orbax 和 PyGrain 指标:
# Asynchronous checkpoint saves started per Pod
sum by (pod) (increase(jax_orbax_write_async_start_total[1h]))
# Average time training is blocked by asynchronous checkpointing
sum(rate(jax_checkpoint_write_async_blocking_duration_secs_sum[10m]))
/ sum(rate(jax_checkpoint_write_async_blocking_duration_secs_count[10m]))
# PyGrain P99 dataset iterator next() latency (nanoseconds)
histogram_quantile(0.99, sum by (le) (rate(grain_python_dataset_next_duration_ns_bucket[5m])))
# PyGrain bytes read per second, by data source
sum by (source) (rate(grain_python_data_sources_bytes_read_total[5m]))
# Median prefetch-buffer readiness (low values can indicate an I/O bottleneck)
histogram_quantile(0.5, sum by (le) (rate(grain_python_dataset_prefetch_buffer_ready_count_bucket[5m])))
费用注意事项
Google Cloud Managed Service for Prometheus 结算基于提取的样本数量。如需降低费用,请配置更长的抓取 interval,并使用 metricRelabeling 仅保留所需的时序。您可以在 Cloud Monitoring 的指标管理页面上查看每个指标的注入量。
在机器学习诊断中查看分析器输出
对于在 GKE 1.36.4-gke.1247000 及更高版本上运行的 GKE TPU JobSet 和 Job 工作负载,系统会自动启用机器学习诊断工作负载监控和工作负载情境化系统指标。工作负载监控会跟踪工作负载的汇总 TPU 占空比。如果占空比 (performance degradation) 下降 15% 或更多,ML 诊断会在基础架构、编排器和框架层运行分析器。
如果您的工作负载跨多个切片运行(使用 MXLA 层)或使用 PyGrain 或 Orbax 库,ML Diagnostics 会运行以下框架分析器,以确定性能下降是否由网络传输延迟、数据加载或异步检查点操作引起:
机器学习诊断分析器报告免费提供,并且生成分析器结果无需为 Orbax 和 PyGrain 指标配置 Google Cloud Managed Service for Prometheus。在 ML Diagnostics Google Cloud 控制台的系统指标标签页中,当您使用受支持的 LibTPU 和 GKE 版本时,Megascale 指标会自动显示。
您可以通过以下任一方式查看分析器输出:
- Google Cloud 控制台:在机器学习诊断 Google Cloud 控制台(请参阅查看机器学习运行)中,打开监控概览标签页,找到
performance degradation事件,然后点击查看详情以检查分析器报告。 - Google Cloud CLI 或 REST API:使用
monitored-events命令列出和描述事件及其分析器报告。如需了解详情,请参阅 ML Diagnostics CLI 使用入门。