本文說明執行 AI 最佳化 Compute Engine 執行個體或叢集時,可能遇到的已知問題。如需其他疑難排解資源,請參閱下列指南:
- 如需運算執行個體的問題,請參閱「Compute Engine 已知問題」。
- 如果在建立運算執行個體或叢集時發生
ZONE_RESOURCE_POOL_EXHAUSTED或容量錯誤,請參閱「排解資源可用性錯誤」。 - 如要瞭解嘗試使用預留項目時發生的錯誤,請參閱「排解預留項目使用問題」。
問題
以下列出 AI Hypercomputer 的已知問題和解決方法。
NVIDIA B200 GPU 韌體問題導致 A4 VM 工作負載中斷
NVIDIA 已發現 B200 GPU 有兩個韌體問題,這些 GPU 是 A4 虛擬機器 (VM) 執行個體所使用。這些問題可能會導致工作負載中斷,例如 nvidia-smi 指令沒有回應。如果發現 A4 VM 的工作負載中斷,請確認是否符合下列一或多項條件:
- VM 的運作時間 (
lastStartTimestamp) 超過 65 天。 - 記錄顯示
Xid 149錯誤訊息,其中提及0x02a。
如果符合上述任一條件,就必須重設 A4 VM 附加的 GPU。為避免日後因韌體問題而中斷工作負載,建議您至少每 60 天重設一次 GPU。詳情請參閱「重設 GPU」。
中繼資料伺服器可能會顯示舊的 physicalHost 中繼資料
發生主機錯誤或使用回報故障主機 API 將運算執行個體移至新主機後,查詢中繼資料伺服器時,可能會顯示運算執行個體先前主機的 physicalHost 中繼資料。
如要解決這個問題,請按照下列其中一種做法進行:
- 請使用
instances.get方法或gcloud compute instances describe指令,擷取正確的physicalHost資訊。 - 停止並啟動執行個體。這項程序會更新中繼資料伺服器中的
physicalHost資訊。 - 等待 24 小時,讓受影響執行個體的
physicalHost資訊更新。