Fehlerbehebung beim Cluster-Zustandsscanner

In diesem Dokument werden häufige Probleme mit dem Cluster-Zustandsscanner und deren Behebung beschrieben.

Scan überspringt Knoten oder stoppt, weil aktive Arbeitslasten erkannt wurden

Problem: Der Scan überspringt einige GPU-Knoten oder stoppt während der Preflight-Prüfungen für einen TPU-Knotenpool und meldet, dass aktive Arbeitslasten erkannt wurden.

Ursache: Auf einem oder mehreren Zielknoten werden Arbeitslasten ausgeführt.

Lösung: Beenden Sie die Arbeitslasten auf den Zielknoten per Drain oder stoppen Sie sie und führen Sie den Scan dann noch einmal aus. Weitere Informationen finden Sie unter Prüfen, ob die Zielknoten inaktiv sind.

Scan wird aufgrund gemischter Maschinentypen beendet

Problem: Der Scan wird während der Preflight-Prüfungen beendet und es wird gemeldet, dass die Zielknoten unterschiedliche Maschinentypen verwenden.

Ursache: Die Knotenpools, die Sie im Flag --nodepools angegeben haben, oder die Partitionen, die Sie im Flag --partitions angegeben haben, verwenden nicht alle denselben Maschinentyp. In einem einzelnen Scan können beispielsweise keine GPU- und TPU-Knotenpools oder A3 Mega- und A4-Knoten gemischt werden.

Lösung: Führen Sie für jeden Maschinentyp einen separaten Scan aus.

Scan wird aufgrund eines Fehlers bei der Speicherberechtigung beendet

Problem: Der Scan wird während der Preflight-Prüfungen beendet und es wird ein Cloud Storage-Fehler gemeldet.

Ursache: Der Bucket ist nicht vorhanden oder das Hauptkonto, das den Bericht schreibt, ist nicht berechtigt, in den Bucket zu schreiben.

Lösung: Prüfen Sie, ob der Bucket vorhanden ist und ob das Hauptkonto die Rolle „Storage-Objekt-Administrator“ für den Bucket hat. Weitere Informationen finden Sie unter Cloud Storage-Bucket für Berichte einrichten.

Befehlszeilentool kann keine Verbindung zum Cluster herstellen

Problem: Das chs-Befehlszeilentool gibt einen Authentifizierungs- oder Verbindungsfehler zurück.

Ursache: Der Eintrag kubeconfig für den Cluster fehlt oder Ihre Anmeldedaten sind im Container nicht verfügbar.

Lösung: Führen Sie den Befehl gcloud container clusters get-credentials aus, wie unter Verbindung zum Cluster oder zur Instanz herstellen beschrieben. Prüfen Sie dann, ob die Datei kubeconfig und die Anmeldedaten für Google Cloud im Container bereitgestellt sind, wie unter Cluster Health Scanner installieren beschrieben.

Der Aufrufer ist nicht berechtigt, auf das Projekt zuzugreifen

Problem: Ein chs-Befehl gibt den folgenden Fehler zurück:

ERROR: The caller doesn't have permission to access the project PROJECT_ID

Ursache: Ihre Anmeldedaten fehlen oder sind abgelaufen oder die aktive Identität hat nicht die erforderlichen IAM-Berechtigungen (Identity and Access Management) für das Projekt.

Lösung: Richten Sie die Standardanmeldedaten für Anwendungen mit Ihrem Nutzerkonto ein:

gcloud auth application-default login

Wenn Sie die Google Cloud CLI auch mit Ihrem Nutzerkonto anstelle eines Dienstkontos authentifizieren müssen, führen Sie den folgenden Befehl aus:

gcloud auth login --no-browser

GPU-Tests melden Treiber- oder Hardwarefehler

Problem: Der Zustandsbericht zeigt für einige Knoten nach den nvidia-smi oder dcgm Testläufen den Status DEGRADED oder INCOMPLETE an.

Ursache: Eine GPU auf dem Knoten wird nicht erkannt, der GPU-Treiber funktioniert nicht oder NVIDIA Data Center GPU Manager (DCGM) hat einen Hardwarefehler erkannt.

Lösung: Prüfen Sie die Diagnoseprotokolle im Arbeitsbereichsverzeichnis Ihres lokalen Ausgabeverzeichnisses oder Cloud Storage-Bucket. Folgen Sie dann den Schritten für Ihre Umgebung unter Fehlerhafte Knoten korrigieren.

Netzwerktests melden geringe Bandbreite oder hohe Latenz

Problem: Der Zustandsbericht zeigt für einige Knoten eine niedrige Bandbreite für die kollektive Kommunikation oder eine hohe Latenz an.

Ursache: Auf GPUs wird dies durch eine fehlerhafte GPU, NVLink-Verbindung oder Netzwerkschnittstelle auf einem oder mehreren Knoten verursacht. Auf TPUs wird dies durch einen fehlerhaften ICI-Link oder TPU-Chip auf einem oder mehreren Knoten verursacht.

Lösung: Verwenden Sie für GPUs die Testergebnisse von nccl-pairwise, um zu ermitteln, welche Knoten an den langsamen Knotenpaaren beteiligt sind. Prüfen Sie bei TPUs die Ergebnisse für tpu-collectives und tpu-network-stress im Integritätsbericht. Folgen Sie dann den Schritten für Ihre Umgebung unter Fehlerhafte Knoten korrigieren.

Ressourcen verbleiben im Cluster, nachdem ein Scan beendet wurde

Problem: Diagnosejobs oder -ressourcen verbleiben nach Beendigung des chs-Prozesses in Ihrem GKE-Cluster (Google Kubernetes Engine).

Ursache: In GKE muss der chs-Prozess während des Scans ausgeführt werden, um Ressourcen nach Abschluss des Scans zu bereinigen.

Lösung: Brechen Sie die angehaltene Ausführung oder alle Ausführungen im Cluster ab, um verbleibende Jobs zu entfernen und die Knoten freizugeben:

chs cancel RUN_ID

Wenn Sie alle Ausführungen im Cluster abbrechen möchten, führen Sie chs cancel --all aus.

Scan schlägt auf einer eigenständigen TPU-Instanz fehl, wenn TPUs ausgelastet sind

Problem: Wenn Sie einen Scan auf einer eigenständigen TPU-Instanz ausführen, gibt das chs-Befehlszeilentool den Fehler TPUs are busy zurück.

Ursache: Ein anderer Prozess auf der TPU-Instanz verwendet die TPU-Geräte.

Lösung: Warten Sie, bis der andere Prozess abgeschlossen ist, oder beenden Sie den Prozess und führen Sie den Scan dann noch einmal aus.

Scan schlägt mit einem memlock-Limitfehler auf einer eigenständigen TPU-Instanz fehl

Problem: Wenn Sie einen Scan auf einer eigenständigen TPU-Instanz ausführen, meldet das chs-Befehlszeilentool, dass das Memlock-Limit zu niedrig ist oder dass TPU-Tests root oder ein unbegrenztes Memlock-Limit erfordern.

Ursache: Die aktuelle Nutzersitzung hat ein eingeschränktes Limit für den im Arbeitsspeicher gesperrten Adressraum (memlock).

Lösung: Führen Sie den Cluster-Integritätsscanner als root-Nutzer aus oder erhöhen Sie das Memlock-Limit, bevor Sie den Scan ausführen:

ulimit -l unlimited

Container schlägt auf einer eigenständigen TPU-Instanz ohne Zugriff auf den Host fehl

Problem: Wenn Sie einen Scan auf einer eigenständigen TPU-Instanz mit dem Container-Image ausführen, schlägt das chs-Befehlszeilentool mit dem folgenden Fehler fehl:

CHS runs in a container without access to the host

Ursache: Im eigenständigen Modus auf einer TPU-Instanz muss der Container den Host-PID-Namespace freigeben und das Hostdateisystem bereitstellen, um die TPU-Geräte unter /dev/vfio zu prüfen und zu verwenden.

Lösung: Starten Sie den Container mit den Flags --privileged, --pid=host und -v /:/host. Den vollständigen docker run-Befehl finden Sie unter Container-Image.

Paketinstallation schlägt mit einem Python-Versionsfehler fehl

Problem: Das Ausführen von pip install schlägt mit dem Fehler Package 'chs' requires a different Python fehl.

Ursache: Die python3-Version auf Ihrem Computer ist älter als 3.12. Das ist auf Slurm-Anmeldeknoten und TPU-Instanzen üblich.

Lösung: Verwenden Sie uv, um eine virtuelle Python 3.12-Umgebung zu erstellen und den Cluster Health Scanner ohne root-Berechtigungen zu installieren:

python3 -m venv uv-venv
uv-venv/bin/pip install uv
uv-venv/bin/uv venv --python 3.12 chs-venv
source chs-venv/bin/activate
uv-venv/bin/uv pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git

Scan überspringt eine eigenständige TPU-Instanz, da TPU-Testabhängigkeiten nicht installiert sind

Problem: Wenn Sie einen Scan auf einer eigenständigen TPU-Instanz ausführen, überspringt chs run die Instanz und gibt die folgende Warnung zurück:

The TPU test dependencies are not installed. CHS installs them only on Linux x86_64 with Python 3.12.

Ursache: Das Python-Paket für den Cluster-Integritätsscanner wurde mit einer anderen Python-Version als 3.12 installiert (z. B. Python 3.13). Auf eigenständigen TPU-Instanzen werden die TPU-Benchmark-Abhängigkeiten nur unter Linux x86_64 mit Python 3.12 installiert.

Lösung: Installieren Sie den Cluster Health Scanner in einer virtuellen Python 3.12-Umgebung mit uv neu (siehe Paketinstallation schlägt mit einem Python-Versionsfehler fehl) oder verwenden Sie das Container-Image für den Cluster Health Scanner.