本文档介绍了在运行 AI 优化型 Compute Engine 实例或集群时可能会遇到的已知问题。如需了解其他问题排查资源,请参阅以下指南:
- 如需了解计算实例的问题,请参阅 Compute Engine 已知问题。
- 对于在创建计算实例或集群时出现的
ZONE_RESOURCE_POOL_EXHAUSTED或容量错误,请参阅排查资源可用性错误。 - 如需了解尝试使用预留时出现的错误,请参阅预留使用问题排查。
问题
以下部分列出了 AI Hypercomputer 的已知问题和解决方法。
由于 NVIDIA B200 GPU 的固件问题,A4 虚拟机上的工作负载中断
NVIDIA 已发现 A4 虚拟机 (VM) 实例使用的 B200 GPU 存在两个固件问题。这些问题可能会导致工作负载中断,例如 nvidia-smi 命令无响应。如果您发现 A4 虚拟机上的工作负载中断,请确认是否满足以下一个或多个条件:
- 虚拟机的正常运行时间 (
lastStartTimestamp) 超过 65 天。 - 日志显示一条提及
0x02a的Xid 149出错提示。
如果满足上述任一条件,则您必须重置挂接到 A4 虚拟机的 GPU。为防止未来因固件问题而导致工作负载中断,我们建议您至少每 60 天重置一次 GPU。如需了解详情,请参阅重置 GPU。
元数据服务器可能会显示旧的 physicalHost 元数据
遇到主机错误或使用报告故障主机 API 将计算实例移至新主机后,当您查询元数据服务器时,它可能会显示计算实例之前主机的 physicalHost 元数据。
如需解决此问题,请执行以下任一操作:
- 使用
instances.get方法或gcloud compute instances describe命令检索正确的physicalHost信息。 - 停止实例,然后启动实例。此过程会更新元数据服务器中的
physicalHost信息。 - 等待 24 小时,以便更新受影响实例的
physicalHost信息。