En este documento, se explica cómo generar un informe de errores de GPU completo para las VMs de Compute Engine y los nodos de Google Kubernetes Engine (GKE) que usan GPUs NVIDIA Blackwell y arquitecturas posteriores. Para identificar qué modelo de GPU usa tu tipo de máquina, consulta Modelos de GPU.
Para las arquitecturas de GPU NVIDIA Blackwell y posteriores, la secuencia de comandos estándar
nvidia-bug-report.sh
no captura todos los datos de hardware y de tejido de bajo nivel necesarios
para solucionar problemas, como
errores de Xid de GPU
o la degradación del rendimiento de varios nodos. Un informe de errores de GPU completo incluye
los siguientes datos de diagnóstico:
- Diagnóstico estándar de GPU y del sistema: Estado de la GPU, registros de controladores, información del bus PCI y registros del kernel de
nvidia-bug-report.sh, junto con la topología de interconexión de GPU, NIC y CPU, estadísticas de E/S de almacenamiento y estado del dispositivo y del puerto de RDMA (lo que es útil para los tipos de máquinas con vínculos de NIC de NVIDIA ConnectX). - Datos de NVIDIA Firmware Tools (MFT): En las GPU Blackwell y posteriores,
nvidia-bug-report.shusa NVIDIA MFT para recopilar el estado de la capa física de las conexiones de NVLink, los valores de registro internos de la GPU y los segmentos de diagnóstico sin procesar del firmware. - Diagnóstico de dominio de NVIDIA IMEX: Los tipos de máquinas NVLink de varios nodos, como A4X y A4X Max, dependen del daemon de NVIDIA Internode Memory Exchange (IMEX) para administrar el dominio de NVLink de varios nodos. Para diagnosticar problemas del dominio de IMEX, se requiere el estado del dominio de IMEX en los nodos y los registros del daemon de IMEX.
Antes de comenzar
Para conocer todos los requisitos previos y las instrucciones de configuración, consulta el archivo README del informe de errores de GPU. En la siguiente lista, se resumen los requisitos previos:
- Asegúrate de que el controlador de GPU de NVIDIA esté instalado en tu VM de Compute Engine o en el nodo de GKE.
- En las VMs de Compute Engine, configura Docker para que se autentique en Artifact Registry, de modo que Docker pueda extraer la imagen de contenedor del recopilador.
- Opcional: En las VMs de Compute Engine que ejecutan un SO que no es COS (por ejemplo,
Ubuntu, Debian o un SO de la familia RHEL), instala y configura el NVIDIA
Container Toolkit para Docker. Si el kit de herramientas no está disponible,
run-goog-gpu-bug-report.shintenta activar los directorios del controlador de NVIDIA del host. - Opcional: Para subir el informe de errores a un bucket de Cloud Storage, verifica que la cuenta de servicio de la VM o del nodo de GKE tenga acceso de escritura al bucket.
Genera un informe de errores de GPU completo
Usa el
recopilador de informes de errores de GPU de Google Cloud de código abierto
para recopilar todos los registros de diagnóstico anteriores en un solo comando en
Container-Optimized OS (COS) y otras distribuciones de Linux, incluidos
Ubuntu, Debian y los sistemas operativos invitados de la familia RHEL (como Rocky Linux),
en instancias x86 (linux/amd64) y Arm (linux/arm64).
Cómo se manejan los módulos de kernel de MFT
Para las GPUs Blackwell y posteriores, el recopilador instala automáticamente las herramientas de espacio de usuario de MFT
dentro del contenedor y controla los módulos de kernel de MFT
(mst_pci y mst_pciconf) según el sistema operativo invitado:
- Container-Optimized OS (COS): Descarga y carga los módulos de kernel de MFT precompilados y firmados por COS que coinciden con la versión de kernel de COS en ejecución.
- Otras distribuciones de Linux (incluidos Ubuntu, Debian y los SO de la familia RHEL): Intenta compilar y cargar los módulos de kernel de MFT desde la fuente con DKMS en los encabezados del kernel en ejecución del host.
- Resguardo automático sin controladores: Tanto en COS como en otras distribuciones de Linux, si la carga o la compilación de los módulos de kernel de MFT fallan, el recopilador vuelve automáticamente al modo de MFT sin controladores, que sigue recopilando los diagnósticos de NVLink de la GPU a través del controlador de NVIDIA.
Ejecuta el recopilador
Ejecuta el recopilador para tu entorno:
En una VM de Compute Engine: Descarga y ejecuta
run-goog-gpu-bug-report.sh:bash run-goog-gpu-bug-report.shPara subir también el archivo
.tar.gzgenerado a un bucket de Cloud Storage, pasa--gcs_bucketdespués de--:bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAMEEn un clúster de GKE: Actualiza
GKE_NODE_NAMEyNUMBER_OF_GPUSenbug-report-pod.yamly aplica el manifiesto del Pod (consulta el README para obtener más detalles):kubectl apply -f bug-report-pod.yaml
Marcas del recopilador y ubicación de salida
De forma predeterminada, el recopilador escribe los archivos de diagnóstico individuales y los agrupa en un solo archivo en la siguiente ruta de acceso de la VM host:
/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz
Puedes pasar las siguientes marcas de recopilador (después de -- cuando uses
run-goog-gpu-bug-report.sh):
| Marca del recopilador | Descripción |
|---|---|
--gcs_bucket=BUCKET_NAME |
Sube el archivo de informe de errores .tar.gz empaquetado al bucket de Cloud Storage especificado (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/). |
--mft_kernel_modules=auto |
Predeterminado. Intenta cargar módulos de kernel de MFT (módulos firmados por COS en COS o compilación de DKMS en otras distribuciones de Linux) y recurre automáticamente a MFT sin controladores si falla la carga del módulo. |
--mft_kernel_modules=never |
Omite la compilación o carga de módulos de kernel de MFT en el host (y los descarga si ya están cargados), lo que ejecuta MFT en modo sin controladores. |
Por ejemplo, para ejecutar MFT en modo sin controladores sin cargar módulos de kernel en el host y subir el informe a un bucket de Cloud Storage, haz lo siguiente:
bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME
Para obtener comandos directos de docker run, compilaciones de imágenes personalizadas y, también, instrucciones para
verificar el resultado de MFT dentro de nvidia-bug-report.log.gz, consulta el archivo
README del recopilador.