Probleme mit CoMMA beheben

Auf dieser Seite erfahren Sie, wie Sie häufige Probleme beheben, die bei der Verwendung des Collective Communication Analyzer (CoMMA) auftreten können. CoMMA ist eine Bibliothek, die Telemetriedaten für Google Cloud Dienste erfasst. Weitere Informationen finden Sie unter Collective Communication Analyzer (CoMMA).

Probleme beim Laden von CoMMA beheben

CoMMA wird möglicherweise nicht richtig geladen. So prüfen Sie, ob die Binärdateien richtig geladen werden:

  1. Aktivieren Sie das NCCL-Debug-Logging. Setzen Sie die Umgebungsvariable NCCL_DEBUG=INFO, um das Logging zu aktivieren. Sie können auch eine detailliertere Debug-Stufe verwenden. Optionen finden Sie im NCCL_DEBUG Abschnitt in der NVIDIA-Dokumentation.
  2. Geben Sie das Subsystem INIT für das Debugging an. Um INIT anzugeben, setzen Sie NCCL_DEBUG_SUBSYS=INIT. Sie können auch andere Subsysteme hinzufügen. Weitere Subsystemoptionen finden Sie im NCCL_DEBUG_SUBSYS Abschnitt.

  3. Suchen Sie im NCCL-Log nach einer Zeile, die der folgenden ähnelt: NCCL INFO PROFILER/Plugin: Plugin name set by env to PATH_TO_PROFILER_PLUGIN

    Wenn die Umgebungsvariable NCCL_PROFILER_PLUGIN nicht festgelegt ist, versucht NCCL möglicherweise, die Binärdatei libnccl-profiler.so aus dem Pfad zu laden, der in der Umgebungsvariable LD_LIBRARY_PATH angegeben ist.

Zur Behebung dieses Problems haben Sie folgende Möglichkeiten:

  • Prüfen Sie, ob die gemeinsam genutzte Bibliothek des Plug-ins (libnccl-profiler.so) richtig benannt ist.

    Prüfen Sie, ob sie sich in einem Verzeichnis befindet, das in der Umgebungsvariable LD_LIBRARY_PATH angegeben ist. Alternativ können Sie prüfen, ob die Umgebungsvariable NCCL_PROFILER_PLUGIN direkt auf den Speicherort der Binärdatei libnccl-profiler.so verweist.

  • Prüfen Sie, ob Ihre NCCL-Version 2.23 oder höher ist, da die NCCL-Profiler-API diese Version erfordert.

Probleme mit fehlenden Ausgabedateien beheben

Wenn Sie Ihre Umgebung so konfiguriert haben, dass von CoMMA erfasste Daten an eine lokale Datei gesendet werden, die Ausgabedatei aber fehlt, suchen Sie in den NCCL- oder Anwendungslogs nach Nachrichten, die den folgenden ähneln:

Failed to open file
Failed to log <telemetry type> to file

Diese Fehler weisen auf ein zugrunde liegendes Problem mit dem Dateisystem hin, z. B. ein fehlendes Verzeichnis oder zu wenig freier Speicherplatz. Nach dem Auftreten dieser Fehler exportiert CoMMA keine Telemetriedaten mehr in Dateien.

Zur Behebung dieses Problems haben Sie folgende Möglichkeiten:

  • Prüfen Sie, ob die Umgebungsvariablen NCCL_PROFILER_LATENCY_FILE oder NCCL_PROFILER_SUMMARY_FILE richtig festgelegt sind. Geben Sie einen gültigen Pfad und eine gültige Dateinamensvorlage an, z. B. /tmp/latency-%p.txt.
  • Prüfen Sie, ob der Prozess Schreibberechtigungen für das angegebene Ausgabeverzeichnis hat.
  • Wenn Sie die Umgebungsvariable NCCL_TELEMETRY_MODE geändert haben, prüfen Sie, ob Sie sie auf einen Wert gesetzt haben, der die Ausgabe in eine lokale Datei ermöglicht (z. B. 1 oder 4).

Probleme mit unerwarteten Daten oder fehlenden Ereignissen beheben

CoMMA erfasst möglicherweise unerwartete Daten oder verpasst erwartete Ereignisse.

Prüfen Sie zur Behebung dieses Problems, ob die erforderliche Granularität festgelegt ist.