このドキュメントでは、AI に最適化された Compute Engine インスタンスまたはクラスタを実行するときに発生する可能性のある既知の問題について説明します。その他のトラブルシューティング リソースについては、次のガイドをご覧ください。
- コンピューティング インスタンスに関する問題については、Compute Engine の既知の問題をご覧ください。
- コンピューティング インスタンスまたはクラスタの作成時に
ZONE_RESOURCE_POOL_EXHAUSTEDエラーまたは容量エラーが発生した場合は、リソースの可用性に関するエラーのトラブルシューティングをご覧ください。 - 予約の使用を試みたときにエラーが発生した場合は、予約の使用に関するトラブルシューティングをご覧ください。
問題
次のセクションでは、AI Hypercomputer の既知の問題と回避策について説明します。
NVIDIA B200 GPU のファームウェアの問題による A4 VM のワークロードの中断
NVIDIA は、A4 仮想マシン(VM)インスタンスで使用される B200 GPU のファームウェアに 2 つの問題を特定しました。これらの問題により、nvidia-smi コマンドが応答しないなど、ワークロードが中断される可能性があります。A4 VM でワークロードの中断が発生した場合は、次の条件の 1 つ以上が当てはまることを確認します。
- VM の稼働時間(
lastStartTimestamp)が 65 日を超えている。 - ログに
0x02aを含むXid 149エラー メッセージが表示されている。
これらの条件のいずれかに該当する場合は、A4 VM に接続されている GPU をリセットする必要があります。ファームウェアの問題によるワークロードの中断を防ぐため、GPU を 60 日に 1 回以上リセットすることをおすすめします。詳細については、GPU をリセットするをご覧ください。
メタデータ サーバーに古い physicalHost メタデータが表示される
ホストエラーが発生した後、または faulty host API を報告してコンピューティング インスタンスを新しいホストに移動した後、メタデータ サーバーをクエリすると、コンピューティング インスタンスの以前のホストの physicalHost メタデータが表示されることがあります。
この問題を回避するには、次のいずれかを行います。
instances.getメソッドまたはgcloud compute instances describeコマンドを使用して、正しいphysicalHost情報を取得します。- インスタンスを停止してから起動します。このプロセスにより、メタデータ サーバーの
physicalHost情報が更新されます。 - 影響を受けるインスタンスの
physicalHost情報が更新されるまで 24 時間待ちます。