Ce document décrit les problèmes connus que vous pouvez rencontrer lorsque vous exécutez des instances ou des clusters Compute Engine optimisés pour l'IA. Pour obtenir d'autres ressources de dépannage, consultez les guides suivants :
- Pour les problèmes liés aux instances de calcul, consultez Problèmes connus liés à Compute Engine.
- Pour les erreurs
ZONE_RESOURCE_POOL_EXHAUSTEDou de capacité lorsque vous créez des instances de calcul ou des clusters, consultez Résoudre les erreurs de disponibilité des ressources. - Pour les erreurs qui se produisent lorsque vous tentez de consommer des réservations, consultez Résoudre les problèmes de consommation des réservations.
Problèmes
La section suivante liste les problèmes connus et les solutions de contournement pour AI Hypercomputer.
Interruptions de charges de travail sur les VM A4 en raison de problèmes de micrologiciel pour les GPU NVIDIA B200
NVIDIA a identifié deux problèmes de micrologiciel pour les GPU B200, qui sont utilisés par les instances de machines virtuelles (VM) A4. Ces problèmes peuvent entraîner des interruptions de la charge de travail, par exemple lorsque la commande nvidia-smi ne répond pas. Si vous remarquez des interruptions de charge de travail sur les VM A4, vérifiez si une ou plusieurs des conditions suivantes sont remplies :
- Le temps d'activité de la VM (
lastStartTimestamp) dépasse 65 jours. - Les journaux affichent un message d'erreur
Xid 149qui mentionne0x02a.
Si l'une de ces conditions est remplie, vous devez réinitialiser les GPU associés à vos VM A4. Pour éviter de futures interruptions de votre charge de travail en raison de problèmes de micrologiciel, nous vous recommandons de réinitialiser vos GPU au moins une fois tous les 60 jours. Pour en savoir plus, consultez Réinitialiser des GPU.
Le serveur de métadonnées peut afficher d'anciennes métadonnées physicalHost
Après avoir rencontré une erreur d'hôte ou utilisé l'API de signalement d'hôte défectueux pour déplacer une instance de calcul vers un nouvel hôte, lorsque vous interrogez le serveur de métadonnées, il peut afficher les métadonnées physicalHost de l'hôte précédent de l'instance de calcul.
Pour contourner ce problème, effectuez l'une des opérations suivantes :
- Utilisez la méthode
instances.getou la commandegcloud compute instances describepour récupérer les informationsphysicalHostcorrectes. - Arrêtez, puis démarrez votre instance. Ce processus met à jour les informations
physicalHostsur le serveur de métadonnées. - Attendez 24 heures que les informations
physicalHostde l'instance concernée soient mises à jour.