워크로드 프레임워크 측정항목 모니터링

이 문서에서는 Google Kubernetes Engine(GKE)에서 실행되는 Cloud TPU 워크로드의 Megascale XLA(MXLA), Orbax, PyGrain(Grain) 측정항목을 수집하고 확인하는 방법과 ML Diagnostics 플랫폼에서 이러한 측정항목을 기반으로 빌드된 분석기를 확인하는 방법을 설명합니다. 이러한 측정항목을 모니터링하면 멀티슬라이스 통신, 체크포인트, 데이터 로드 전반에서 성능 병목 현상을 식별하고 해결할 수 있습니다.

각 측정항목 집합은 워크로드의 고유한 구성요소를 타겟팅하여 파이프라인의 여러 단계에서 문제를 진단하는 데 도움이 됩니다.

  • Megascale XLA(MXLA) 측정항목: 멀티슬라이스 TPU 워크로드에서 교차 슬라이스 데이터 센터 네트워크(DCN) 전송 지연 시간, 기기-호스트(D2H) 및 호스트-기기(H2D) 전송 시간, 컴퓨팅 지연 시간, 엔드 투 엔드 집합 작업을 측정합니다. 이러한 측정항목을 사용하여 느린 작업자와 하드웨어 병목 현상을 식별합니다.
  • Orbax 측정항목: Orbax 체크포인트 라이브러리에서 비동기 체크포인트 저장 및 복원 기간, 데이터 볼륨, 쓰기 처리량을 추적합니다. 이러한 측정항목을 사용하여 체크포인트 지연, 중단 또는 과도한 학습 스레드 차단 시간을 감지합니다.
  • PyGrain(Grain) 측정항목: PyGrain 데이터 로드 라이브러리에서 데이터 세트 반복 지연 시간, 데이터 소스 읽기 시간, 읽은 총 바이트 수, 프리페치 버퍼 준비 상태를 측정합니다. 이러한 측정항목을 사용하여 I/O 또는 데이터 로드 병목 현상으로 인해 워크로드가 입력 바인딩되는지 확인합니다.

직접 읽는 Prometheus 포트, TPU 모니터링 라이브러리, tpu-info CLI 또는 Cloud Monitoring을 통해 이러한 측정항목에 액세스할 수 있습니다.

ML Diagnostics 플랫폼에는 워크로드 성능이 저하될 때 이러한 측정항목을 자동으로 분석하는 워크로드 모니터링 분석기도 포함되어 있습니다. 이러한 분석기는 TPU 사용 주기 감소가 MXLA 네트워크 전송 지연 시간, Orbax 비동기 체크포인트, PyGrain 데이터 로드로 인해 발생하는지 확인합니다.

Megascale 측정항목

Megascale XLA(MXLA)는 데이터 센터 네트워크(DCN)를 통해 여러 TPU 슬라이스에서 집합 연산을 조정하는 통신 런타임 및 컴파일러 확장 프로그램입니다. 칩 간 상호 연결(ICI) 링크는 단일 슬라이스 내에서 TPU 칩 간의 고속 통신을 처리하는 반면, MXLA는 슬라이스 간 데이터 전송, 호스트 측 축소, 호스트 메모리와 TPU 고대역폭 메모리(HBM) 간의 데이터 이동을 관리합니다.

TPU에서 멀티슬라이스 워크로드를 실행할 때 MXLA 측정항목을 수집하여 교차 슬라이스 네트워크 및 호스트 처리 병목 현상을 해결할 수 있습니다. GKE는 기본적으로 이러한 측정항목을 GKE 시스템 측정항목으로 수집하며 Cloud Monitoring에서 볼 수 있습니다. 측정항목은 ML Diagnostics 시스템 측정항목 탭에서도 자동으로 사용할 수 있으며, 여기에서 ML 실행 워크로드 컨텍스트에 대해 자동으로 집계됩니다.

다음 표에는 사용 가능한 Megascale 측정항목이 나와 있습니다.

측정항목 이름 GKE 측정항목 이름 설명
MXLA DCN 전송 지연 시간 container/multislice/network/dcn_transfer_latencies

각 데이터 청크의 왕복 데이터 센터 네트워크(DCN) 전송 지연 시간을 측정합니다. 이상점은 결함이 있는 네트워크 하드웨어와 관련이 있을 수 있습니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • Metric type(측정항목 유형): CUMULATIVE
  • 값 유형: DISTRIBUTION
  • 단위: 마이크로초(us)
MXLA 인바운드 전송 지연 시간 container/multislice/network/dcn_inbound_transfer_latencies

각 데이터 청크의 단방향 인바운드 DCN 전송 지연 시간을 측정합니다. 이상치는 결함이 있는 네트워크 하드웨어와 관련이 있을 수 있습니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • Metric type(측정항목 유형): CUMULATIVE
  • 값 유형: DISTRIBUTION
  • 단위: 마이크로초(us)
MXLA 컴퓨팅 지연 시간 container/multislice/accelerator/compute_latencies

축소 작업을 완료하는 데 필요한 호스트 컴퓨팅 지연 시간을 측정합니다. 이상치는 듀얼 인라인 메모리 모듈(DIMM) 오류와 같은 CPU 또는 메모리 문제를 나타낼 수 있습니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • Metric type(측정항목 유형): CUMULATIVE
  • 값 유형: DISTRIBUTION
  • 단위: 마이크로초(us)
MXLA e2e 집합적 지연 시간 container/multislice/network/collective_end_to_end_latencies

호스트가 작업을 시작하는 시점부터 모든 피어가 출력을 수신하는 시점까지 DCN을 통한 엔드 투 엔드 집합적 지연 시간을 측정합니다. 여기에는 호스트 측 데이터 감소와 TPU에 출력 전송이 포함됩니다. 결과는 버퍼 크기, 작업 유형, 평균, P50, P90, P95, P99.9 지연 시간을 자세히 설명하는 문자열입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • Metric type(측정항목 유형): CUMULATIVE
  • 값 유형: DISTRIBUTION
  • 단위: 마이크로초(us)
MXLA d2h 지연 시간 container/multislice/accelerator/device_to_host_transfer_latencies

각 데이터 청크의 단방향 기기-호스트(D2H) 전송 지연 시간을 측정합니다. 이상치는 결함이 있는 네트워크 하드웨어와 관련이 있을 수 있습니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • Metric type(측정항목 유형): CUMULATIVE
  • 값 유형: DISTRIBUTION
  • 단위: 마이크로초(us)
MXLA h2d 지연 시간 container/multislice/accelerator/host_to_device_transfer_latencies

각 데이터 청크의 단방향 호스트-기기(H2D) 전송 지연 시간을 측정합니다. 이상치는 결함이 있는 네트워크 하드웨어와 관련이 있을 수 있습니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • Metric type(측정항목 유형): CUMULATIVE
  • 값 유형: DISTRIBUTION
  • 단위: 마이크로초(us)

Orbax 측정항목

Orbax는 단일 호스트 및 멀티 호스트 환경에서 모델 가중치, 옵티마이저 상태, 데이터 세트 반복자를 저장하고 복원하는 JAX 워크로드용 분산 체크포인트 라이브러리입니다. 학습 다운타임을 최소화하기 위해 Orbax는 비동기식 체크포인트를 지원합니다. 이는 동기식 단계 중에 TPU 메모리에서 호스트 메모리로 상태를 복사한 후 학습이 계속되는 동안 백그라운드 스레드에서 체크포인트를 스토리지에 기록합니다.

워크로드에서 체크포인트에 Orbax를 사용하는 경우 Orbax 측정항목을 수집하여 체크포인트 지연, 느린 쓰기 처리량 또는 중단을 해결할 수 있습니다. Orbax는 이러한 측정항목을 Prometheus 포트로 내보내며, 이를 직접 읽거나 Google Cloud Managed Service for Prometheus를 사용하여 Cloud Monitoring으로 전송할 수 있습니다. GKE, Cloud Monitoring 또는 ML 진단에서 이러한 측정항목을 사용 설정하려면 Orbax 및 PyGrain 측정항목 액세스를 참조하세요.

다음 표에는 사용 가능한 Orbax 측정항목이 나와 있습니다.

Prometheus 측정항목 이름 설명
jax_checkpoint_write_async_total_duration_secs

전체 비동기 체크포인트 쓰기 파이프라인의 총 시간입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /jax/checkpoint/write/async/total_duration_secs
  • 측정항목 유형: 히스토그램
  • 단위: 초(s)
jax_orbax_write_gbytes

체크포인트 저장 작업 중에 작성된 총 기가바이트 수입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /jax/orbax/write/gbytes
  • 측정항목 유형: 히스토그램
  • 단위: 기가바이트(GBy)
jax_orbax_write_gbytes_per_sec

체크포인트 저장 작업의 동기 및 비동기 단계 모두에서 초당 기가바이트(GBps) 단위의 쓰기 처리량입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /jax/orbax/write/gbytes_per_sec
  • 측정항목 유형: 히스토그램
  • 단위: 초당 기가바이트(GBps)
jax_checkpoint_write_async_blocking_duration_secs

백그라운드 스레드로 전달하기 전에 비동기 체크포인트 저장의 차단 단계에서 소요된 시간입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /jax/checkpoint/write/async/blocking_duration_secs
  • 측정항목 유형: 히스토그램
  • 단위: 초(s)
jax_orbax_read_total_duration_secs

체크포인트 복원 작업의 총 엔드 투 엔드 기간입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /jax/orbax/read/total_duration_secs
  • 측정항목 유형: 히스토그램
  • 단위: 초(s)
jax_orbax_read_blocking_duration_secs

체크포인트 복원 작업의 동기식(차단) 준비 단계 기간입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /jax/orbax/read/blocking_duration_secs
  • 측정항목 유형: 히스토그램
  • 단위: 초(s)
jax_orbax_write_async_start_total

시작된 비동기 체크포인트 쓰기 작업 수입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /jax/orbax/write/async/start
  • 측정항목 유형: 카운터
  • 단위: 개수(1)

PyGrain 측정항목

PyGrain(Grain)은 머신러닝 학습 및 평가 워크로드를 위해 입력 데이터를 읽고, 사전 처리하고, 일괄 처리하는 Python 라이브러리입니다. PyGrain은 호스트 CPU에서 레코드를 미리 가져오고 변환하는 결정론적이고 재현 가능한 데이터 파이프라인을 제공하므로 TPU 가속기가 입력 배치를 기다리는 동안 중단되지 않습니다.

워크로드에서 데이터 로드에 PyGrain을 사용하는 경우 PyGrain 측정항목을 수집하여 입력 파이프라인 병목 현상, 느린 스토리지 읽기 또는 고갈된 프리페치 버퍼 문제를 해결할 수 있습니다. PyGrain은 이러한 측정항목을 Prometheus 포트로 내보내며, 이를 직접 읽거나 Google Cloud Managed Service for Prometheus를 사용하여 Cloud Monitoring으로 전송할 수 있습니다. GKE, Cloud Monitoring 또는 ML Diagnostics에서 이러한 측정항목을 사용 설정하려면 Orbax 및 PyGrain 측정항목 액세스를 참조하세요.

다음 표에는 사용 가능한 PyGrain 측정항목이 나와 있습니다.

Prometheus 측정항목 이름 설명
grain_python_dataset_next_duration_ns

데이터 세트의 next 메서드 호출에 소요된 시간입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /grain/python/dataset/next_duration_ns
  • 측정항목 유형: 히스토그램
  • 단위: 나노초(ns)
grain_python_dataset_prefetch_buffer_ready_count

미리 가져오기 버퍼에 있는 준비된 요소 수입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /grain/python/dataset/prefetch_buffer_ready_count
  • 측정항목 유형: 히스토그램
  • 단위: 개수(1)
grain_python_data_sources_bytes_read_total

데이터 소스에서 읽은 총 바이트 수입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /grain/python/data_sources/bytes_read
  • 측정항목 유형: 카운터
  • 단위: 바이트(By)
grain_python_dataset_source_read_time_ns

데이터 소스에서 읽는 데 소요된 시간입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /grain/python/dataset/source_read_time_ns
  • 측정항목 유형: 히스토그램
  • 단위: 나노초(ns)
grain_python_data_loader_iterator_get_next

DataLoaderIterator 클래스의 next 메서드 호출에 소요된 시간입니다.

측정항목에는 다음과 같은 속성이 있습니다.

  • 측정항목 경로: /grain/python/data_loader/iterator_get_next
  • 측정항목 유형: 히스토그램
  • 단위: 나노초(ns)

기본 요건

Megascale, Orbax 또는 PyGrain 측정항목을 수집하거나 관련 ML 진단 분석기를 사용하기 전에 환경이 다음 섹션의 요구사항을 충족하는지 확인하세요.

대규모 요구사항

Megascale 측정항목을 수집하고 Cloud Monitoring에서 보려면 다음 버전 요구사항을 충족해야 합니다.

  • LibTPU 버전 0.40.0 이상을 설치합니다.
  • Cloud Monitoring에서 이러한 측정항목을 보려면 GKE 버전 1.36.4-gke.1247000 이상을 설치합니다.

Orbax 및 PyGrain 요구사항

워크로드에서 Orbax 및 PyGrain 측정항목을 내보내려면 다음 패키지 및 컨테이너 요구사항을 충족해야 합니다.

  • Python 패키지:
    • 0.12.1 버전 이상의 Orbax(orbax-checkpoint)를 설치합니다.
    • PyGrain(grain) 버전 0.2.18 이상을 설치합니다.
    • 컨테이너 이미지에 prometheus-client Python 패키지를 설치합니다. orbax-checkpoint 패키지는 prometheus-client를 종속 항목으로 자동 설치하지만 grain는 그렇지 않습니다. 워크로드에서 PyGrain만 사용하는 경우 pip install prometheus-client를 실행하여 패키지를 설치합니다.
  • 워크로드 컨테이너 구성:
    • 다음 환경 변수를 설정합니다.
      • ENABLE_ORBAX_PROMETHEUS_TELEMETRY="true"(Orbax 측정항목 사용 설정)
      • ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY="true"(PyGrain 측정항목 사용 설정)
    • 워크로드 컨테이너에서 TCP 포트 9431를 노출합니다.

다음 컨테이너 사양 예시에서는 원격 분석 환경 변수를 설정하고 TCP 포트 9431를 노출합니다.

containers:
- name: WORKLOAD_CONTAINER
  env:
  - name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
    value: "true"
  - name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
    value: "true"
  ports:
  - name: framework-metrics
    containerPort: 9431
    protocol: TCP

WORKLOAD_CONTAINER을 워크로드 컨테이너 이름으로 바꿉니다.

ML 진단 분석기 요구사항

Megascale, Orbax, PyGrain 측정항목에 ML 진단 분석기를 사용하려면 GKE 버전 1.36.4-gke.1247000 이상을 설치합니다.

Megascale 측정항목 액세스

클러스터에서 지원되는 GKE 버전과 LibTPU를 실행하면 GKE가 Megascale 측정항목을 자동으로 수집하므로 Cloud Monitoring에서 이를 볼 수 있습니다. 원하는 Prometheus 수집기를 배포하여 MXLA 런타임의 Prometheus 포트에서 직접 Megascale 측정항목을 읽을 수도 있습니다.

Orbax 및 PyGrain 측정항목 액세스

워크로드 컨테이너에서 Prometheus 원격 분석을 사용 설정하면 Orbax 및 PyGrain이 TCP 포트 9431에서 측정항목을 내보냅니다. 다음 방법 중 하나로 이러한 측정항목에 액세스할 수 있습니다.

  • Prometheus 엔드포인트를 직접 읽기: 원하는 Prometheus 수집기를 배포하여 워크로드 컨테이너의 9431 포트에서 Orbax 및 PyGrain 측정항목을 읽습니다.
  • Cloud Monitoring으로 측정항목 전송: Google Cloud Managed Service for Prometheus를 사용하여 각 노드의 9431 포트를 읽고 측정항목을 Cloud Monitoring으로 전송합니다.

Google Cloud Managed Service for Prometheus로 측정항목 보기

포트 9431에서 Cloud Monitoring으로 Orbax 및 PyGrain 측정항목을 전송하려면 GKE 클러스터에 Google Cloud Managed Service for Prometheus PodMonitoring 커스텀 리소스를 배포합니다. PodMonitoring 리소스는 각 노드의 Google Cloud Managed Service for Prometheus 수집기에 포트 9431를 읽고 측정항목을 Cloud Monitoring으로 전송하도록 지시합니다. 자세한 내용은 PodMonitoring 리소스 구성을 참조하세요.

prometheus.googleapis.com 엔드포인트와 Google Cloud Managed Service for Prometheus 수집기는 GKE 클러스터에서 기본적으로 사용 설정됩니다. Google Cloud Managed Service for Prometheus를 사용하면 추가 요금이 발생합니다.

관리형 수집 사용 설정

Google Cloud Managed Service for Prometheus의 관리형 수집은 GKE 버전 1.27 이상을 실행하는 GKE Standard 클러스터에서 기본적으로 사용 설정됩니다. 자세한 내용은 관리형 수집 사용 설정을 참조하세요.

클러스터에서 관리형 수집이 사용 중지된 경우 사용 설정합니다.

gcloud container clusters update CLUSTER_NAME \
  --enable-managed-prometheus \
  --region=REGION

다음을 바꿉니다.

  • CLUSTER_NAME: GKE 클러스터의 이름입니다.
  • REGION: 클러스터가 있는 리전입니다.

노드 서비스 계정의 기본 권한을 수정한 경우 모니터링 측정항목 작성자(roles/monitoring.metricWriter) 역할이 있는지 확인합니다.

워크로드 포드 템플릿 구성

스크래핑을 위해 워크로드 포드를 준비하려면 JobSet, Job 또는 Deployment 매니페스트에서 포드 템플릿을 업데이트합니다.

  1. PodMonitoring 리소스가 워크로드 포드를 선택할 수 있도록 포드 라벨(예: ml-framework-metrics: "enabled")을 추가합니다.
  2. ENABLE_ORBAX_PROMETHEUS_TELEMETRY 및 ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY 환경 변수를 "true"로 설정합니다.
  3. TCP 포트 9431를 노출하고 포트 이름(예: framework-metrics)을 할당합니다.

다음 포드 템플릿 예시에서는 이러한 필드를 구성합니다.

template:
  metadata:
    labels:
      ml-framework-metrics: "enabled"     # used by the PodMonitoring selector
  spec:
    containers:
    - name: WORKLOAD_CONTAINER
      env:
      - name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
        value: "true"
      - name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
        value: "true"
      ports:
      - name: framework-metrics
        containerPort: 9431
        protocol: TCP

WORKLOAD_CONTAINER을 워크로드 컨테이너 이름으로 바꿉니다.

측정항목 엔드포인트 확인

PodMonitoring 리소스를 배포하기 전에 워크로드 컨테이너가 포트 9431에서 측정항목을 내보내는지 확인합니다. 실행 중인 워크로드 포드에서 포트 9431를 전달하고 /metrics 엔드포인트를 쿼리합니다.

kubectl -n NAMESPACE port-forward pod/WORKLOAD_POD 9431:9431
curl -s localhost:9431/metrics | grep -E '^(jax_orbax|jax_checkpoint|grain_python)'

다음을 바꿉니다.

  • NAMESPACE: 워크로드가 실행되는 Kubernetes 네임스페이스입니다.
  • WORKLOAD_POD: 실행 중인 워크로드 포드의 이름입니다.

Orbax는 값을 처음 기록할 때 각 측정항목을 초기화하므로 Orbax 측정항목은 첫 번째 체크포인트 저장 또는 복원 작업 후에만 표시됩니다.

PodMonitoring 리소스 배포

워크로드 포드를 읽도록 Google Cloud Managed Service for Prometheus를 구성하려면 다음 단계를 완료하세요.

  1. 다음 매니페스트를 orbax-grain-podmonitoring.yaml로 저장합니다.

    apiVersion: monitoring.googleapis.com/v1
    kind: PodMonitoring
    metadata:
      name: orbax-grain-metrics
      namespace: WORKLOAD_NAMESPACE  # must match the workload namespace
    spec:
      selector:
        matchLabels:
          ml-framework-metrics: "enabled"
      endpoints:
      - port: framework-metrics             # the named containerPort (9431)
        path: /metrics
        interval: 30s                        # a longer interval reduces sample volume and cost
        metricRelabeling:                    # optional: keep only Orbax and PyGrain series to control cost
        - action: keep
          sourceLabels: [__name__]
          regex: (jax_orbax_|jax_checkpoint_|grain_python_).+
      targetLabels:                          # optional: copy the JobSet name onto every series
        fromPod:
        - from: jobset.sigs.k8s.io/jobset-name
          to: jobset_name
    

    WORKLOAD_NAMESPACE를 워크로드가 실행되는 Kubernetes 네임스페이스로 바꿉니다.

  2. 매니페스트를 적용하고 PodMonitoring 리소스가 생성되었는지 확인합니다.

    kubectl apply -f orbax-grain-podmonitoring.yaml
    kubectl get podmonitoring -A
    

PodMonitoring 리소스는 자체 네임스페이스의 포드만 읽습니다. 워크로드가 여러 네임스페이스에서 실행되는 경우 kind: ClusterPodMonitoring와 동일한 사양을 사용하고 metadata.namespace 필드를 생략합니다. ClusterPodMonitoring 리소스는 모든 네임스페이스에서 일치하는 포드를 검색합니다.

선택사항: Google Cloud Managed Service for Prometheus가 포드를 스크래핑하는지 확인

Google Cloud Managed Service for Prometheus가 워크로드 포드를 적극적으로 스크래핑하는지 확인하려면 다음 단계를 완료합니다.

  1. gmp-public 네임스페이스에서 OperatorConfig 리소스를 수정하고 features.targetStatus.enabled를 true로 설정합니다.
  2. PodMonitoring 리소스를 검사하고 대상이 Health: up를 보고하는지 확인합니다.

    kubectl -n NAMESPACE describe podmonitoring/orbax-grain-metrics
    

    NAMESPACE를 워크로드가 실행되는 Kubernetes 네임스페이스로 바꿉니다.

  3. 문제 해결을 완료한 후 OperatorConfig 리소스에서 features.targetStatus.enabled를 다시 false로 설정합니다. 활성 상태를 사용 설정하는 것은 활성 문제를 조사하는 경우에만 권장됩니다.

Cloud Monitoring에서 측정항목 쿼리

Cloud Monitoring으로 전송된 측정항목을 쿼리하려면 다음 단계를 완료합니다.

  1. Google Cloud 콘솔에서 Monitoring > 측정항목 탐색기로 이동합니다.
  2. PromQL을 선택한 후 다음 쿼리를 입력하여 대상이 보고 중인지 확인합니다.

    up{namespace="NAMESPACE"}
    

    NAMESPACE를 워크로드의 Kubernetes 네임스페이스로 바꿉니다.

메뉴 기반 측정항목 선택 도구에서 측정항목은 prometheus.googleapis.com/METRIC_NAME/TYPE 형식을 사용하여 저장됩니다. 여기서 TYPE은 counter, histogram 또는 gauge입니다. 각 라이브러리는 /를 _로 바꿔 측정항목 경로에서 Prometheus 측정항목 이름을 구성합니다. 카운터는 _total 서픽스를 추가하고 히스토그램은 _bucket, _sum, _count 시계열로 내보내집니다.

다음 예시 PromQL 쿼리를 사용하여 Orbax 및 PyGrain 측정항목을 분석할 수 있습니다.

# Asynchronous checkpoint saves started per Pod
sum by (pod) (increase(jax_orbax_write_async_start_total[1h]))

# Average time training is blocked by asynchronous checkpointing
sum(rate(jax_checkpoint_write_async_blocking_duration_secs_sum[10m]))
  / sum(rate(jax_checkpoint_write_async_blocking_duration_secs_count[10m]))

# PyGrain P99 dataset iterator next() latency (nanoseconds)
histogram_quantile(0.99, sum by (le) (rate(grain_python_dataset_next_duration_ns_bucket[5m])))

# PyGrain bytes read per second, by data source
sum by (source) (rate(grain_python_data_sources_bytes_read_total[5m]))

# Median prefetch-buffer readiness (low values can indicate an I/O bottleneck)
histogram_quantile(0.5, sum by (le) (rate(grain_python_dataset_prefetch_buffer_ready_count_bucket[5m])))

비용 고려사항

Google Cloud Managed Service for Prometheus 청구는 수집된 샘플 수를 기준으로 합니다. 비용을 줄이려면 더 긴 스크래핑 interval을 구성하고 metricRelabeling을 사용하여 필요한 시계열만 유지합니다. Cloud Monitoring의 측정항목 관리 페이지에서 각 측정항목의 수집 볼륨을 확인할 수 있습니다.

ML 진단에서 분석기 출력 보기

GKE 버전 1.36.4-gke.1247000 이상에서 실행되는 GKE TPU JobSet 및 Job 워크로드에 대해 ML 진단 워크로드 모니터링 및 워크로드 컨텍스트화 시스템 측정항목이 자동으로 사용 설정됩니다. 워크로드 모니터링은 워크로드의 합산 TPU 가동 주기를 추적합니다. 듀티 사이클(performance degradation)이 15% 이상 감소하면 ML 진단은 인프라, 조정자, 프레임워크 레이어에서 분석기를 실행합니다.

워크로드가 여러 슬라이스에서 실행되거나(MXLA 레이어 사용) PyGrain 또는 Orbax 라이브러리를 사용하는 경우 ML Diagnostics는 다음 프레임워크 분석기를 실행하여 성능 저하가 네트워크 전송 지연 시간, 데이터 로드 또는 비동기 체크포인트로 인해 발생했는지 확인합니다.

ML Diagnostics 분석기 보고서는 추가 비용 없이 제공되며 분석기 결과를 생성하는 데 Orbax 및 PyGrain 측정항목에 대해 Google Cloud Managed Service for Prometheus를 구성할 필요가 없습니다. ML Diagnostics Google Cloud 콘솔의 시스템 측정항목 탭에서 지원되는 LibTPU 및 GKE 버전을 사용하면 Megascale 측정항목이 자동으로 표시됩니다.

다음 방법 중 하나로 분석기 출력을 볼 수 있습니다.

  • Google Cloud 콘솔: ML Diagnostics Google Cloud 콘솔(머신러닝 실행 보기 참조)에서 모니터링 개요 탭을 열고 performance degradation 이벤트를 찾은 후 세부정보 보기를 클릭하여 분석기 보고서를 검사합니다.
  • Google Cloud CLI 또는 REST API: monitored-events 명령어를 사용하여 이벤트 및 분석기 보고서를 나열하고 설명합니다. 자세한 내용은 ML 진단 CLI 시작하기를 참조하세요.