监控 Compute Engine 实例和 Slurm 集群

集群化 GPU

本文档介绍了如何使用 Cloud Monitoring 信息中心监控您使用受预留约束的容量创建的 A4X Max、A4X、A4、A3 Ultra 和 A3 Mega 实例。使用这些信息中心有助于您识别和排查独立 Compute Engine 实例或 Slurm 集群中的性能瓶颈，从而最大限度地减少工作负载的停机时间。

通过创建自定义信息中心或使用预构建的 Monitoring 信息中心，您可以监控以下内容：

• 计算实例运行状况

• GPU 性能

• 网络传输效率

• 块和子块之间的网络效率

• 机器学习 (ML) 工作负载效率

• Straggler 检测

• 无响应工作负载检测

如需监控 Cluster Director 集群，请参阅使用预构建的信息中心监控集群性能。

准备工作

在监控工作负载之前，如果您尚未完成以下步骤，请先完成：

• 部署可监控的工作负载。如需了解支持哪些工作负载，请参阅本文档中的限制。如需了解如何部署工作负载，请参阅部署选项概览。

• 了解用于监控工作负载的 Google Cloud 服务：

  • 本文档中的指标使用 Monitoring 信息中心。了解 Monitoring 信息中心、Monitoring 保留期限和 Monitoring 价格。

  • 落后者检测还会在 Cloud Logging 中提供日志条目。了解 Logging 接口、Logging 保留期限和 Logging 价格。

当您使用 Google Cloud 控制台访问 Google Cloud 服务和 API 时，无需设置身份验证。

限制

• 只有在满足以下所有条件的计算实例上运行的工作负载才支持本文档中的指标：

  • 计算实例必须创建为独立 Compute Engine 实例或 Slurm 集群的一部分。
  • 计算实例必须是使用受预留约束的容量创建的。
  • 计算实例必须使用 A4X Max、A4X、A4、A3 Ultra 或 A3 Mega 机器系列。
    • 不过，落后者检测也支持使用 A3 Mega 机器系列的虚拟机 (VM) 实例。
  注意： 虽然 A4X Max、A4X、A4、A3 Ultra 或 A3 Mega 以外的其他机器系列也可能会显示指标，但这些指标可能不正确。
• 基础设施指标的已知问题：

  • 某些计算实例可能不会显示 GPU Power Consumption 指标。
  • 某些计算实例可能不会显示 GPU Temperature 或 GPU Thermal Margin 指标，或者可能会显示 NaN 而不是指标。
  • 指标在收集后最多可能需要 7 分钟才会显示在 Google Cloud 控制台中。
  • 对于 A4X Max、A4X、A4、A3 Ultra 或 A3 Mega 以外的机器系列，您可能会看到不正确的指标。

如需监控机器学习工作负载指标，您必须为工作负载设置监控。

Straggler 检测限制

落后者检测指标还具有以下限制：

• 对于除 A3 Mega 之外的受支持机器系列，落后者检测仅支持启用 Collective Communication Analyzer (CoMMA) 库以将 NCCL 遥测数据导出到 Google Cloud 服务的计算实例。如需了解详情，请参阅 CoMMA 概览。
• 落后者检测通常最多需要 10 分钟才能报告落后者。
• 与本文档中的其他指标不同，您无法按集群、块、子块或计算实例过滤项目的落后者检测指标。不过，您可以按一个或多个疑似落后者的计算实例的 ID 过滤落后者检测日志的查询。

注意：使用落后者检测时，您可能会看到假正例或假负例，包括但不限于以下情况：

• 落后者检测日志会报告，不支持落后者检测的正在运行的计算实例不是疑似落后者。
• 虽然落后者检测对于许多机器学习工作负载来说是准确的，但对于具有复杂通信模式的工作负载，不准确的可能性更高。

因此，我们建议您仅在其他指标表明工作负载遇到问题时，才对疑似落后节点采取行动。 否则，如果工作负载的整体性能令人满意，则不建议采取任何措施。

无响应工作负载检测限制

无响应工作负载检测指标仅支持使用 Collective Communication Analyzer (CoMMA) 库将 NCCL 遥测数据导出到 Google Cloud 服务的计算实例。如需了解详情，请参阅 CoMMA 概览。

所需的角色

如需获得监控 AI Hypercomputer 工作负载指标所需的权限，请让您的管理员为您授予以下 IAM 角色：

• 如需在 Cloud Monitoring 中查看指标：项目的 Monitoring Editor (roles/monitoring.editor)
• 如需在 Logging 中查看落后者检测日志，请执行以下操作：针对项目的 日志查看器 (roles/logging.viewer) 角色

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

这些预定义角色包含监控 AI Hypercomputer 工作负载指标所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需监控 AI Hypercomputer 工作负载的指标，您需要具备以下权限：

• 查看信息中心：项目的 monitoring.dashboards.get 权限
• 创建信息中心：项目的 monitoring.dashboards.create 权限
• 如需查看日志条目：针对项目的 logging.logEntries.list 权限

您也可以使用自定义角色或其他预定义角色来获取这些权限。

可用指标

根据您的使用场景，您可以使用以下指标来监控计算实例和 Slurm 集群：

• 如需监控挂接到计算实例的 GPU 的运行状况、性能和网络性能，请参阅基础架构指标。

• 如需监控机器学习工作负载中 GPU 的效率，请参阅机器学习工作负载指标。

• 如需在性能缓慢的机器学习工作负载中监控疑似 Straggler 计算实例，请参阅 Straggler 检测指标。

如需了解如何查看这些指标，请参阅本文档中的直观呈现指标。

基础设施指标

如需监控挂接到计算实例的 GPU 的健康状况、性能和网络性能，您可以使用以下指标：

• GPU 健康指标

• GPU 性能指标

• GPU 网络性能指标

• 架顶式 (ToR) 交换机指标

• GPU 严重错误指标

如需大致了解 Compute Engine 中的可用指标，请参阅 Google Cloud 指标。

GPU 健康指标

如需监控 GPU 的健康状况，请使用以下指标：

名称	指标类型	支持的机器系列	说明
机器状态	machine/machine_status	A4X Max、A4X、A4、A3 Ultra 或 A3 Mega	计算实例使用的机器是否健康，或者机器是否不健康且需要修复。
NVSwitch 状态	instance/gpu/nvswitch_status	A4X Max、A4X、A4、A3 Ultra 或 A3 Mega	挂接到计算实例的 NVIDIA GPU 上的 NVLink 交换机是否遇到问题。
虚拟机基础设施运行状况	instance/gpu/infra_health	A4X、A4、A3 Ultra 或 A3 Mega	计算实例运行所在的集群、块、子块和主机的健康状况。如果此指标显示计算实例的基础设施运行状况不佳，则该指标还会描述问题。
虚拟机故障预测分数	instance/gpu/failure_prediction_score	A4X、A4、A3 Ultra 或 A3 Mega	运行计算实例的主机在未来 5 小时内性能下降的可能性。此值介于 0.0 到 1.0 之间。在一段持续时间内，该值越接近 1.0，计算实例性能下降的可能性就越大。在这种情况下，我们建议您将作业移至其他计算实例，如果您遇到计算实例问题，请将其主机报告为有故障。

GPU 性能指标

如需监控 GPU 的性能，请使用以下指标：

名称	指标类型	支持的机器系列	说明
累计上下文利用率	instance/gpu/accumulated_context_utilization_seconds	A4X Max、A4X、A4、A3 Ultra 或 A3 Mega	GPU 忙于处理工作负载的总时间（以秒为单位）。
GPU 功耗	instance/gpu/power_consumption	A4X Max、A4X、A4、A3 Ultra 或 A3 Mega	主机上各个 GPU 消耗的功率（以瓦特 [W] 为单位，采用十进制值）。对于挂接了多个 GPU 的计算实例，该指标会分别提供主机上每个 GPU 的功耗。
SM 利用率	instance/gpu/sm_utilization	A4X Max、A4X、A4、A3 Ultra 或 A3 Mega	非零值表示 GPU 上的流式多处理器 (SM) 正在使用中。
GPU 温度	instance/gpu/temperature	A4X Max、A4X、A4、A3 Ultra 或 A3 Mega	主机上各个 GPU 的温度（以摄氏度 [℃] 为单位，采用十进制值）。对于挂接了多个 GPU 的计算实例，该指标会分别提供主机上每个 GPU 的温度。
GPU 热工裕量	instance/gpu/tlimit	A4X Max、A4X、A4、A3 Ultra 或 A3 Mega	各个 GPU 在因高温而需要减速之前所具有的热余量（以摄氏度 [℃] 为单位，采用十进制值）。对于挂载了多个 GPU 的计算实例，该指标会分别为宿主机上的每个 GPU 提供热余量。

GPU 网络性能指标

如需监控 GPU 的网络性能，请使用以下指标。如需监控后端 ToR 网络交换机，请参阅 ToR 交换机指标。

名称	指标类型	支持的机器系列	说明
关联运营商变更	instance/gpu/link_carrier_changes	A4X、A4、A3 Ultra 或 A3 Mega	网络链路载波在一分钟内发生变化的频率。
网络 RTT	instance/gpu/network_rtt	A4X、A4、A3 Ultra 或 A3 Mega	网络数据在来源和目的地之间传输的往返时间（以微秒为单位）。
块间网络流量	instance/gpu/network/inter_block_tx	A4X、A4、A3 Ultra 或 A3 Mega	块之间的网络流量字节数。
子块间网络流量	instance/gpu/network/inter_subblock_tx	A4X、A4、A3 Ultra 或 A3 Mega	子块之间的网络流量字节数。
子块内网络流量	instance/gpu/network/intra_subblock_tx	A4X、A4、A3 Ultra 或 A3 Mega	单个子块内的网络流量字节数。
NVLink 有效速度	instance/gpu/nvlink_active_speed	A4X Max、A4X、A4、A3 Ultra 或 A3 Mega	当前访问链路端口速度（以 GBps 为单位）。
接收吞吐量字节数	instance/gpu/throughput_rx_bytes	A4X、A4、A3 Ultra 或 A3 Mega	从网络流量接收的字节数。
发送吞吐量字节数	instance/gpu/throughput_tx_bytes	A4X、A4、A3 Ultra 或 A3 Mega	传输到网络流量的字节数。

ToR 交换机指标

对于 A4X Max 和 A4X 集群，您可以监控后端 ToR 网络交换机遥测，以便在分布式机器学习训练期间执行以下操作：

• 观察交换机和端口运行状况。
• 评估可用带宽容量和缓冲区队列深度。
• 诊断数据包丢弃、错误、接口抖动和拥塞管理事件。

这些指标使用 compute.googleapis.com/NetworkSwitch 受监控的资源类型和 compute.googleapis.com/ 指标类型前缀。在 Metrics Explorer 中，选择 NetworkSwitch 资源类型 (compute.googleapis.com/NetworkSwitch)。

切换指标分为以下几类：

切换健康和状态指标

使用本部分中列出的指标可执行以下操作：

• 验证交换机端口的运行状态。
• 监控交换机 CPU 和内存利用率。
• 检查启动时间，以检测意外重启。

名称	指标类型	支持的机器系列	说明
携号转网状态	network_switch/port_status	A4X Max 或 A4X	指示网络交换机上物理接口（端口）的运行状态。指标值始终为 1，以便进行汇总；实际状态在 status 标签（例如 UP 或 DOWN）中提供。 关键标签： port_identifier、status、peer_target_identifier、peer_port_identifier、subblock_id、block_id、reservation_id、switch_type。
CPU 利用率	network_switch/cpu_utilization	A4X Max 或 A4X	网络交换机的 CPU 利用率，以 0.0 到 1.0 之间的分数表示。 关键标签： subblock_id、block_id、reservation_id、switch_type。
内存用量	network_switch/memory_used	A4X Max 或 A4X	网络交换机使用的内存（以字节为单位）。 关键标签： subblock_id、block_id、reservation_id、switch_type。
总内存	network_switch/total_memory_bytes	A4X Max 或 A4X	网络交换机的总内存容量（以字节为单位）。 关键标签： subblock_id、block_id、reservation_id、switch_type。
启动时间	network_switch/boot_time_in_ns	A4X Max 或 A4X	网络交换机的启动时间戳，以自 Unix 纪元以来的纳秒数表示。 关键标签： subblock_id、block_id、reservation_id、switch_type。

切换容量和队列指标

如需跟踪基准网络容量与可用网络容量，并监控交换机上的缓冲区队列深度和队列丢弃情况，请使用以下指标：

名称	指标类型	支持的机器系列	说明
基准容量	network_switch/baseline_capacity_kbps	A4X Max 或 A4X	ToR 交换机与超级块连接的总潜在基准带宽容量，以千位/秒 (kbit/s) 为单位。 关键标签： subblock_id、block_id、reservation_id、switch_type。
有效容量	network_switch/effective_capacity_kbps	A4X Max 或 A4X	ToR 交换机与超级块连接的可用运行容量，以千位/秒 (kbit/s) 为单位。此指标反映了因链路降级或离线而导致的容量减少。 关键标签： subblock_id、block_id、reservation_id、switch_type。
出站流量最大队列深度	network_switch/egress_max_queue_depth	A4X Max 或 A4X	在最近的测量周期内观察到的最大队列深度。 关键标签： port_identifier、queue_name、subblock_id、block_id、reservation_id、switch_type。
出站队列丢弃	network_switch/egress_queue_drops_count	A4X Max 或 A4X	由于队列拥塞或缓冲区耗尽而从出站队列中丢弃的累计数据包数量。 关键标签： port_identifier、queue_name、subblock_id、block_id、reservation_id、switch_type。
入站缓冲区丢弃	network_switch/in_buffer_discards	A4X Max 或 A4X	由于缓冲区溢出而在入站时丢弃的传入数据包的累计数量。 关键标签： port_identifier、peer_target_identifier、peer_port_identifier、subblock_id、block_id、reservation_id、switch_type。

交换机丢弃、错误和流控制指标

使用本部分中的指标来诊断以下问题，这些问题可能会导致分布式训练停滞或集合通信超时（例如 NCCL 监控程序超时）：

• 数据包舍弃、传输错误和物理链路抖动。
• 前向纠错 (FEC) 字词错误。
• 拥塞管理事件，例如基于优先级的流量控制 (PFC) 暂停和显式拥塞通知 (ECN) 标记。

注意：基于优先级的流量控制 (PFC) 指标（network_switch/pfc_rx_packets_count 和 network_switch/pfc_tx_packets_count）仅适用于启用了 PFC 的专用环境。

名称	指标类型	支持的机器系列	说明
接口抖动	network_switch/interface_flaps_count	A4X Max 或 A4X	交换机端口接口上物理链路状态转换（UP 和 DOWN 之间的抖动）的累计计数。 关键标签： port_identifier、subblock_id、block_id、reservation_id、switch_type。
FEC 字词错误	network_switch/fec_word_error_count	A4X Max 或 A4X	前向纠错 (FEC) 字错误的累计计数。使用 correctable 布尔值标签（true 或 false）来区分可更正和不可更正的错误。 关键标签： port_identifier、correctable、subblock_id、block_id、reservation_id、switch_type。
ECN 标记的数据包	network_switch/ecn_marked_packets_count	A4X Max 或 A4X	由于超出缓冲区阈值而被标记为显式拥塞通知 (ECN) 位的数据包的累计数量。 关键标签： port_identifier、subblock_id、block_id、reservation_id、switch_type。
Pfc rx 数据包	network_switch/pfc_rx_packets_count	A4X Max 或 A4X	在端口上收到的基于优先级的流量控制 (PFC) 暂停帧的累计数量。 注意：仅适用于启用了 PFC 的专用环境。 关键标签： port_identifier、priority_index、subblock_id、block_id、reservation_id、switch_type。
PFC 发送的数据包数	network_switch/pfc_tx_packets_count	A4X Max 或 A4X	从端口传输的基于优先级的流量控制 (PFC) 暂停帧的累计计数，用于限制传入流量。 注意：仅适用于启用了 PFC 的专用环境。 关键标签： port_identifier、queue_name、subblock_id、block_id、reservation_id、switch_type。
QoS 发送的数据包	network_switch/qos_tx_packets	A4X Max 或 A4X	在指定队列中传输的服务质量 (QoS) 数据包的累计数量。 关键标签： port_identifier、queue_name、subblock_id、block_id、reservation_id、switch_type。
入站数据包数量	network_switch/in_packets_count	A4X Max 或 A4X	在交换机端口上收到的传入数据包的累计数量。 关键标签： port_identifier、subblock_id、block_id、reservation_id、switch_type。
错误数	network_switch/in_errors	A4X Max 或 A4X	接收到的因错误而无法传送的传入数据包的累计数量。 关键标签： port_identifier、peer_target_identifier、peer_port_identifier、subblock_id、block_id、reservation_id、switch_type。
在弃牌堆中	network_switch/in_discards	A4X Max 或 A4X	被丢弃的有效传入数据包的累计数量（例如，由于缓冲区空间不足）。 关键标签： port_identifier、peer_target_identifier、peer_port_identifier、subblock_id、block_id、reservation_id、switch_type。
传出错误	network_switch/out_errors	A4X Max 或 A4X	因错误而未能传输的出站数据包的累计数量。 关键标签： port_identifier、peer_target_identifier、peer_port_identifier、subblock_id、block_id、reservation_id、switch_type。
丢弃的出站数据包	network_switch/out_discards	A4X Max 或 A4X	即使未检测到错误，也选择丢弃的出站数据包的累计数量。 关键标签： port_identifier、peer_target_identifier、peer_port_identifier、subblock_id、block_id、reservation_id、switch_type。
入站字节数	network_switch/in_bytes_count	A4X Max 或 A4X	交换机端口上接收的传入字节的累计计数。 关键标签： port_identifier、subblock_id、block_id、reservation_id、switch_type。
出站字节数	network_switch/out_bytes_count	A4X Max 或 A4X	从交换机端口传出的累计传出字节数。 关键标签： port_identifier、subblock_id、block_id、reservation_id、switch_type。

GPU 严重错误指标

如需监控 GPU 遇到的可能导致计算实例停止或对其性能产生负面影响的错误，请使用以下指标：

名称	指标类型	支持的机器系列	说明
NVLink 运行时错误	instance/gpu/nvlink_runtime_error	A4X Max 或 A4X	是否发生了 NVLink 运行时错误。
无法更正的 DRAM ECC 错误	instance/gpu/dram_uncorrectable_ecc_error_count	A4X Max 或 A4X	GPU 动态随机存取存储器 (DRAM) 中不可更正的纠错码 (ECC) 的数量。
不可更正的 DRAM 行重新映射计数	instance/gpu/dram_uncorrectable_row_remapping_count	A4X Max 或 A4X	GPU DRAM 中因不可更正的错误而导致的行重新映射次数。
无法更正的 DRAM 行重新映射失败	instance/gpu/dram_row_remapping_failed	A4X Max 或 A4X	GPU DRAM 中的行重新映射是否因以下问题之一而失败： 由于内存组已有 8 个不可纠正的错误行被重新映射，因此对该内存组的重新映射尝试失败。 由于行已重新映射，因此对该行进行重新映射的尝试失败。 重新映射尝试失败，因为总共发生了 512 次重新映射。
无法更正的 PCIe 错误	instance/gpu/pcie_fatal_error_count	A4X Max 或 A4X	不可更正的外围组件互连高速 (PCIe) 错误的数量。
无法更正的缓存 ECC 错误	instance/gpu/cache_uncorrectable_ecc_error_count	A4X Max 或 A4X	缓存内存中无法更正的 ECC 数量。

机器学习工作负载指标

如需监控机器学习工作负载的效率（具体而言，即有效吞吐量），请使用以下指标：

名称	指标类型	支持的机器系列	说明
有效产出时间	workload/goodput_time	A4X、A4、A3 Ultra 或 A3 Mega	工作负载在有效吞吐量活动上花费的时间（以秒为单位）。这些活动是核心、有用的任务，例如模型训练期间的前向或后向传递。
非有效产出时间	workload/badput_time	A4X、A4、A3 Ultra 或 A3 Mega	工作负载在坏吞吐量活动上花费的时间（以秒为单位）。 这些活动是开销任务，例如加载或预处理数据以进行训练。

Straggler 检测指标

落后者检测指标可帮助您发现并找出疑似落后者。Straggler 是指单点、非崩溃故障，最终会拖慢整个工作负载。

如需监控虚拟机的落后者检测，请使用以下指标：

名称	指标类型	支持的机器系列	说明
疑似 Straggler	instance/gpu/straggler_status	A4X、A4、A3 Ultra 或 A3 Mega	虚拟机是否被怀疑为影响工作负载性能的落后者。我们建议您仅在其他指标表明工作负载遇到问题时，才对疑似落后节点采取措施。

您还可以在 A4X、A4、A3 Ultra 或 A3 Mega 实例的日志条目中查看落后者检测指标。例如，您可以使用以下查询：

说明	查询
特定虚拟机中疑似存在落后者的日志。使用此查询可检查项目中特定工作负载是否存在任何疑似 Straggler。	logName=~ "/logs/compute.googleapis.com%2Fworkload_diagnostic" AND jsonPayload.suspectedStragglersDetection.numNodes > 0 AND jsonPayload.suspectedStragglersDetection.nodes.instanceId="INSTANCE_ID" 将 INSTANCE_ID 替换为虚拟机的 ID。 对于要指定的每个其他虚拟机，请向查询添加以下条件： OR jsonPayload.suspectedStragglersDetection.nodes.instanceId="INSTANCE_ID"
项目中落后任务检测的所有日志。当未检测到疑似落后任务时，请使用此查询来验证落后任务检测服务是否正在运行。（由于这些限制，您无法按特定虚拟机过滤没有疑似落后者的日志。）	logName=~ "/logs/compute.googleapis.com%2Fworkload_diagnostic"

Straggler 检测指标对于大规模机器学习工作负载特别有用，原因如下：

• 大规模机器学习工作负载极易受到落后者的影响。大规模机器学习工作负载使用同步和大规模分布式计算。（换句话说，它们有许多高度相互依赖且同时运行的组件。）这种架构使得大规模机器学习工作负载非常容易受到单点故障（例如落后者）的影响。

• 在大规模机器学习工作负载中，发现和查明落后节点非常困难。 作为参考，请考虑以下两种类型的单点故障：

  • 停止故障：导致整个系统停止的故障；例如主机错误和维护事件。这类问题相对容易检测和解决。

  • 缓慢故障：导致性能严重下降但不会崩溃的故障。它们很难定位和调试。

  由于落后节点属于慢速故障，因此本质上很难被注意到和准确定位，尤其是在大规模同步工作负载中。

无响应工作负载检测指标

无响应工作负载检测指标可帮助您执行以下操作：

• 在整个工作负载停滞时发出通知（有时称为 NCCL 挂起）
• 了解工作负载停滞的原因，例如是否由进程崩溃或网络停滞引起

如需检测和诊断计算实例的无响应工作负载，请使用以下指标：

名称	指标类型	支持的机器系列	说明
通过 NCCL 遥测检测到无响应的工作负载事件	instance/gpu/nccl_hang	A4X Max、A4X、A4 和 A3 Ultra	检测到的无响应工作负载事件的数量（以时序形式显示）。

启用无响应工作负载检测

如需启用无响应工作负载检测，您必须启用 CoMMA 和心跳遥测，这是一种定期 ping 信号，用于指示工作负载正在运行。对于最新版本的 CoMMA，此功能默认处于启用状态。不过，如果您使用的是 NICCL/gIB 软件包 1.1.1 版中的 CoMMA 版本，则必须手动启用心跳遥测。如需验证您使用的是哪个版本的 NICCL/gIB 软件包，请参阅检查 NCCL 和 gIB 版本。

如需为 CoMMA 手动启用心跳遥测，请在训练环境中指定以下环境变量：

NCCL_PROFILER_HEARTBEAT=true

NCCL_PROFILER_HEARTBEAT_UPLOAD_INTERVAL=10s

使用 NCCL_PROFILER_HEARTBEAT 开启或关闭心跳遥测，并使用 NCCL_PROFILER_HEARTBEAT_UPLOAD_INTERVAL 指定心跳遥测的频率。如需了解详情，请参阅 CoMMA 环境变量。

关闭无响应工作负载检测

如需关闭无响应工作负载检测，请在训练环境中指定以下环境变量，以关闭 CoMMA 中的心跳遥测：

NCCL_PROFILER_HEARTBEAT=false

了解工作负载无响应的原因

如需了解工作负载无响应的原因，请完成以下步骤，检查标签 hang_reason 的值：

1. 在 Google Cloud 控制台中，前往 Metrics Explorer 页面：

   进入 Metrics Explorer

   如果您使用搜索栏查找此页面，请选择子标题为监控的结果。

2. 搜索以下指标：

   compute.googleapis.com/instance/gpu/nccl_hang
   

3. 使用汇总功能，然后选择以下标签：

   • instance_id
   • hang_reason

下表列出了标签的可能值、这些值对工作负载的含义以及建议的后续步骤。

标签值	说明	建议后续步骤
MissingHeartbeatIssue	一个或多个秩的心跳遥测已停止，这通常表示发生了致命进程或节点崩溃。	验证实例是否仍然可访问。 验证工作负载进程是否已崩溃。 在系统日志中检查是否存在内存不足 (OOM) 事件，例如 dmesg。 查找硬件故障或 NVIDIA XID 错误。
StalledRankIssue	系统仍在接收心跳遥测数据，但 NCCL 操作的排名没有进展。	调查应用级操作中可能存在的死锁。 检查应用进程是否卡在某个操作中，导致其无法与其他进程通信，例如计算或检查点。
MissingCommunicatorIssue	属于 NCCL 通信器的所有排名都已停止。	您的工作负载可能已被中断，或者其 NCCL 通信器可能已突然关闭。如果您希望工作负载在此虚拟机实例上不间断运行，请检查工作负载是否异常中断或关停。
NoHangIssue	默认值。未检测到任何问题。	您无需采取任何行动。

查看指标

如需查看计算实例和 Slurm 集群的指标，请按如下方式使用 Monitoring 信息中心：

• 如需查看基础架构指标和落后者检测指标，您可以执行以下操作：

  • 如需快速了解基础架构的运行状况和性能，或自定义现有信息中心，请使用预构建的信息中心。

  • 对于特定的监控需求，请创建自定义信息中心。

• 如需查看机器学习工作负载指标，请参阅有关如何为工作负载设置监控的文档。

• 如需查看落后者检测中的日志，请查看落后者检测日志。

如果您在使用信息中心时遇到问题，请参阅排查性能缓慢问题。

使用预构建的信息中心

您可以使用为 AI Hypercomputer 预构建的 Monitoring 信息中心来查看计算实例和 Slurm 集群的指标。您还可以创建预构建信息中心的副本，并根据需要进行修改。

如需为 AI Hypercomputer 使用预构建的信息中心，请执行以下操作：

1. 在 Google Cloud 控制台中，前往 信息中心页面：

   前往信息中心

   如果您使用搜索栏查找此页面，请选择子标题为监控的结果。

2. 在名称列中，根据您要查看的指标，点击以下某个信息中心的名称：

   • 如需监控计算实例健康状况、GPU 性能和落后者检测，请使用 Cluster Director 健康状况监控信息中心。

     如需详细了解如何使用这些指标来识别和分析问题，请参阅 GCE Interactive Playbook - Cluster Director Health Monitoring（GCE 互动式 playbook - Cluster Director 健康状况监控）playbook 信息中心。

   • 如需监控网络传输效率，请使用 Cluster Director 传输效率信息中心。

   • 如需监控块和子块之间的网络效率，请使用 Cluster Director 块网络信息中心。

     如需详细了解如何使用这些指标来识别和分析问题，请参阅 GCE 交互式 playbook - Cluster Director 屏蔽网络 playbook 信息中心。

   系统会打开您所选信息中心的详情页面。您可以使用工具栏中的时间范围选择器来更改数据的时间范围。

3. 可选：如需创建信息中心的副本并对其进行自定义以满足您的需求，请点击 复制信息中心。

创建自定义信息中心

如需创建自定义 Monitoring 信息中心，请执行以下操作：

1. 选择要监控的指标。如果您尚未查看，请参阅本文档中的可用指标。

2. 创建和管理自定义信息中心。

查看 Straggler 检测日志

如需使用Logs Explorer查看落后者检测日志，请完成以下步骤：

1. 在 Google Cloud 控制台中，前往 segment Logs Explorer 页面：

   前往 Logs Explorer

   如果您使用搜索栏查找此页面，请选择子标题为 Logging 的结果。

   默认情况下，该页面会查询项目中的所有日志。点击停止查询。

2. 使用工具栏中的时间范围选择器选择要分析的时间范围。

3. 在查询窗格中，输入用于检测落后者的日志的查询。

4. 点击 Run Query。

以下是落后任务检测日志条目的示例。

  {
    ...
    "jsonPayload": {
      ...
      "@type": "type.googleapis.com/ml.aitelemetry.performancedebugging.output.NetworkStragglersOutput",
      "suspectedStragglersDetection": {
        "numNodes": 4,
        "nodes": [
          {
            "latencyMs": 9,
            "instanceId": "INSTANCE_ID_1"
          },
          {
            "latencyMs": 9,
            "instanceId": "INSTANCE_ID_2"
          },
          {
            "instanceId": "INSTANCE_ID_3",
            "latencyMs": 4
          },
          {
            "instanceId": "INSTANCE_ID_4",
            "latencyMs": 0
          }
        ],
        "message": "Suspected stragglers detected."
      }
    },
    "resource": {
      "type": "project",
      "labels": {
        "project_id": "PROJECT_NUMBER"
      }
    },
    ...
    "severity": "INFO",
    "logName": "projects/PROJECT_ID/logs/compute.googleapis.com%2Fworkload_diagnostic",
    ...
  }
  

该日志条目包含以下字段：

• numNodes：在项目中检测到的疑似落后计算实例的数量。在此示例中，检测到四个疑似落后计算实例。
• instanceId：被检测为疑似落后者的计算实例的 ID。

后续步骤

• 观察和监控虚拟机
• 为 Google Cloud 服务自定义信息中心
• 排查性能缓慢问题