In diesem Dokument werden bekannte Probleme beschrieben, die beim Ausführen von KI-optimierten Compute Engine-Instanzen oder -Clustern auftreten können. Weitere Ressourcen zur Fehlerbehebung finden Sie in den folgenden Anleitungen:
- Informationen zu Problemen mit Compute-Instanzen finden Sie unter Bekannte Probleme bei Compute Engine.
- Informationen zu
ZONE_RESOURCE_POOL_EXHAUSTED- oder Kapazitätsfehlern beim Erstellen von Compute-Instanzen oder Clustern finden Sie unter Fehlerbehebung bei Fehlern bei der Ressourcenverfügbarkeit. - Informationen zu Fehlern beim Versuch, Reservierungen zu nutzen, finden Sie unter Fehlerbehebung bei der Nutzung von Reservierungen.
Probleme
Im folgenden Abschnitt finden Sie bekannte Probleme und Problemumgehungen für den AI Hypercomputer.
Arbeitslastunterbrechungen auf A4-VMs aufgrund von Firmwareproblemen bei NVIDIA B200-GPUs
NVIDIA hat zwei Firmware-Probleme bei B200-GPUs festgestellt, die von virtuellen A4-Maschinen (VM) verwendet werden. Diese Probleme können zu Unterbrechungen der Arbeitslast führen, z. B. dazu, dass der Befehl nvidia-smi nicht reagiert. Wenn Sie Arbeitslastunterbrechungen auf A4-VMs feststellen, prüfen Sie, ob eine oder mehrere der folgenden Bedingungen erfüllt sind:
- Die Betriebszeit der VM (
lastStartTimestamp) beträgt mehr als 65 Tage. - In den Logs wird die Fehlermeldung
Xid 149mit dem Hinweis auf0x02aangezeigt.
Wenn eine dieser Bedingungen zutrifft, müssen Sie die GPUs zurücksetzen, die an Ihre A4-VMs angehängt sind. Um zukünftige Unterbrechungen Ihrer Arbeitslast aufgrund von Firmwareproblemen zu vermeiden, empfehlen wir, Ihre GPUs mindestens alle 60 Tage zurückzusetzen. Weitere Informationen finden Sie unter GPUs zurücksetzen.
Der Metadatenserver zeigt möglicherweise alte physicalHost-Metadaten an.
Nach einem Hostfehler oder nach Verwendung der API zum Melden fehlerhafter Hosts, um eine Compute-Instanz auf einen neuen Host zu verschieben, werden beim Abfragen des Metadatenservers möglicherweise die physicalHost-Metadaten des vorherigen Hosts der Compute-Instanz angezeigt.
Führen Sie einen der folgenden Schritte aus, um dieses Problem zu umgehen:
- Verwenden Sie die Methode
instances.getoder den Befehlgcloud compute instances describe, um die richtigenphysicalHost-Informationen abzurufen. - Beenden und starten Sie die Instanz. Bei diesem Vorgang werden die
physicalHost-Informationen auf dem Metadatenserver aktualisiert. - Warten Sie 24 Stunden, bis die
physicalHost-Informationen der betroffenen Instanz aktualisiert wurden.