Memantau metrik framework workload

Dokumen ini menjelaskan cara mengumpulkan dan melihat metrik Megascale XLA (MXLA), Orbax, dan PyGrain (Grain) untuk workload Cloud TPU yang berjalan di Google Kubernetes Engine (GKE), serta cara melihat penganalisis yang dibangun di atas metrik ini di platform ML Diagnostics. Dengan memantau metrik ini, Anda dapat mengidentifikasi dan memecahkan masalah bottleneck performa di seluruh komunikasi multislice, checkpointing, dan pemuatan data.

Setiap set metrik menargetkan komponen workload yang berbeda untuk membantu Anda mendiagnosis masalah pada berbagai tahap pipeline:

  • Metrik Megascale XLA (MXLA): Mengukur latensi transfer Jaringan Pusat Data (DCN) lintas slice, waktu transfer perangkat ke host (D2H) dan host ke perangkat (H2D), latensi komputasi, dan operasi kolektif end-to-end dalam workload TPU multislice. Gunakan metrik ini untuk mengidentifikasi straggler dan bottleneck hardware.
  • Metrik Orbax: Melacak durasi penyimpanan dan pemulihan checkpoint asinkron, volume data, dan throughput tulis dari library checkpoint Orbax. Gunakan metrik ini untuk mendeteksi penundaan, penghentian, atau waktu pemblokiran thread pelatihan yang berlebihan pada checkpoint.
  • Metrik PyGrain (Grain): Mengukur latensi iterasi set data, waktu baca sumber data, total byte yang dibaca, dan kesiapan buffer pengambilan data di awal dari library pemuatan data PyGrain. Gunakan metrik ini untuk menentukan apakah workload Anda terikat input karena bottleneck I/O atau pemuatan data.

Anda dapat mengakses metrik ini melalui port Prometheus yang Anda baca secara langsung, TPU Monitoring Library, tpu-info CLI, atau Cloud Monitoring.

Platform ML Diagnostics juga mencakup penganalisis pemantauan workload yang otomatis menganalisis metrik ini saat workload mengalami penurunan performa. Alat analisis ini menentukan apakah penurunan siklus kerja TPU disebabkan oleh latensi transfer jaringan MXLA, checkpoint asinkron Orbax, atau pemuatan data PyGrain.

Metrik skala besar

Megascale XLA (MXLA) adalah runtime komunikasi dan ekstensi compiler yang mengoordinasikan operasi kolektif di beberapa slice TPU melalui Jaringan Pusat Data (DCN). Meskipun link Inter-Chip Interconnect (ICI) menangani komunikasi berkecepatan tinggi antara chip TPU dalam satu slice, MXLA mengelola transfer data antar-slice, pengurangan sisi host, dan pergerakan data antara memori host dan memori bandwidth tinggi (HBM) TPU.

Saat menjalankan workload multi-slice di TPU, Anda dapat mengumpulkan metrik MXLA untuk memecahkan masalah jaringan lintas slice dan bottleneck pemrosesan host. GKE mengumpulkan metrik ini secara default sebagai metrik sistem GKE, dan Anda dapat melihatnya di Cloud Monitoring. Metrik juga tersedia secara otomatis di tab metrik sistem ML Diagnostics, tempat metrik tersebut digabungkan secara otomatis untuk konteks workload operasi ML.

Tabel berikut mencantumkan metrik Megascale yang tersedia:

Nama metrik Nama metrik GKE Deskripsi
Latensi transfer DCN MXLA container/multislice/network/dcn_transfer_latencies

Mengukur latensi transfer Jaringan Pusat Data (DCN) bolak-balik untuk setiap potongan data. Pencilan dapat berkorelasi dengan hardware jaringan yang rusak.

Metrik ini memiliki properti berikut:

  • Jenis metrik: CUMULATIVE
  • Jenis nilai: DISTRIBUTION
  • Unit: mikrodetik (us)
Latensi transfer masuk MXLA container/multislice/network/dcn_inbound_transfer_latencies

Mengukur latensi transfer DCN masuk satu arah untuk setiap potongan data. Pencilan dapat berkorelasi dengan hardware jaringan yang rusak.

Metrik ini memiliki properti berikut:

  • Jenis metrik: CUMULATIVE
  • Jenis nilai: DISTRIBUTION
  • Unit: mikrodetik (us)
Latensi komputasi MXLA container/multislice/accelerator/compute_latencies

Mengukur latensi komputasi host yang diperlukan untuk menyelesaikan operasi pengurangan. Pencilan dapat mengindikasikan masalah CPU atau memori, seperti kesalahan dual inline memory module (DIMM).

Metrik ini memiliki properti berikut:

  • Jenis metrik: CUMULATIVE
  • Jenis nilai: DISTRIBUTION
  • Unit: mikrodetik (us)
Latensi kolektif e2e MXLA container/multislice/network/collective_end_to_end_latencies

Mengukur latensi kolektif menyeluruh melalui DCN, mulai dari saat host memulai operasi hingga saat semua peer menerima output. Mencakup pengurangan data sisi host dan pengiriman output ke TPU. Hasilnya adalah string yang menjelaskan ukuran buffer, jenis operasi, serta latensi rata-rata, P50, P90, P95, dan P99,9.

Metrik ini memiliki properti berikut:

  • Jenis metrik: CUMULATIVE
  • Jenis nilai: DISTRIBUTION
  • Unit: mikrodetik (us)
Latensi d2h MXLA container/multislice/accelerator/device_to_host_transfer_latencies

Mengukur latensi transfer satu arah dari perangkat ke host (D2H) untuk setiap potongan data. Pencilan dapat berkorelasi dengan hardware jaringan yang rusak.

Metrik ini memiliki properti berikut:

  • Jenis metrik: CUMULATIVE
  • Jenis nilai: DISTRIBUTION
  • Unit: mikrodetik (us)
Latensi h2d MXLA container/multislice/accelerator/host_to_device_transfer_latencies

Mengukur latensi transfer host-ke-perangkat (H2D) satu arah untuk setiap potongan data. Pencilan dapat berkorelasi dengan hardware jaringan yang rusak.

Metrik ini memiliki properti berikut:

  • Jenis metrik: CUMULATIVE
  • Jenis nilai: DISTRIBUTION
  • Unit: mikrodetik (us)

Metrik Orbax

Orbax adalah library checkpointing terdistribusi untuk workload JAX yang menyimpan dan memulihkan bobot model, status pengoptimal, dan iterator set data di seluruh lingkungan host tunggal dan multi-host. Untuk meminimalkan periode nonaktif pelatihan, Orbax mendukung checkpointing asinkron, yang menyalin status dari memori TPU ke memori host selama fase sinkron, lalu menulis checkpoint ke penyimpanan di thread latar belakang saat pelatihan berlanjut.

Jika workload Anda menggunakan Orbax untuk checkpoint, Anda dapat mengumpulkan metrik Orbax untuk memecahkan masalah penundaan checkpoint, throughput tulis yang lambat, atau gangguan. Orbax mengekspor metrik ini di port Prometheus, yang dapat Anda baca langsung atau kirim ke Cloud Monitoring menggunakan Google Cloud Managed Service for Prometheus. Untuk mengaktifkan metrik ini di GKE, Cloud Monitoring, atau ML Diagnostics, lihat Mengakses metrik Orbax dan PyGrain.

Tabel berikut mencantumkan metrik Orbax yang tersedia:

Nama metrik Prometheus Deskripsi
jax_checkpoint_write_async_total_duration_secs

Total waktu untuk seluruh pipeline penulisan checkpoint asinkron.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /jax/checkpoint/write/async/total_duration_secs
  • Jenis metrik: Histogram
  • Unit: detik (s)
jax_orbax_write_gbytes

Total gigabyte yang ditulis selama operasi penyimpanan checkpoint.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /jax/orbax/write/gbytes
  • Jenis metrik: Histogram
  • Unit: gigabyte (GBy)
jax_orbax_write_gbytes_per_sec

Throughput tulis dalam gigabyte per detik (GBps) di seluruh fase sinkron dan asinkron operasi penyimpanan checkpoint.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /jax/orbax/write/gbytes_per_sec
  • Jenis metrik: Histogram
  • Unit: gigabyte per detik (GBps)
jax_checkpoint_write_async_blocking_duration_secs

Waktu yang dihabiskan dalam fase pemblokiran penyimpanan checkpoint asinkron sebelum diserahkan ke thread latar belakang.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /jax/checkpoint/write/async/blocking_duration_secs
  • Jenis metrik: Histogram
  • Unit: detik (s)
jax_orbax_read_total_duration_secs

Total durasi end-to-end operasi pemulihan checkpoint.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /jax/orbax/read/total_duration_secs
  • Jenis metrik: Histogram
  • Unit: detik (s)
jax_orbax_read_blocking_duration_secs

Durasi fase persiapan sinkron (pemblokiran) dari operasi pemulihan checkpoint.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /jax/orbax/read/blocking_duration_secs
  • Jenis metrik: Histogram
  • Unit: detik (s)
jax_orbax_write_async_start_total

Jumlah operasi tulis checkpoint asinkron yang dimulai.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /jax/orbax/write/async/start
  • Metric type: Counter
  • Unit: jumlah (1)

Metrik PyGrain

PyGrain (Grain) adalah library Python untuk membaca, melakukan pra-pemrosesan, dan mengelompokkan data input untuk workload pelatihan dan evaluasi machine learning. PyGrain menyediakan pipeline data deterministik dan dapat direproduksi yang mengambil data di awal dan mengubah data di CPU host sehingga akselerator TPU tidak terhenti saat menunggu batch input.

Jika workload Anda menggunakan PyGrain untuk pemuatan data, Anda dapat mengumpulkan metrik PyGrain untuk memecahkan masalah bottleneck pipeline input, pembacaan penyimpanan yang lambat, atau buffer pengambilan data di awal yang habis. PyGrain mengekspor metrik ini di port Prometheus, yang dapat Anda baca langsung atau kirim ke Cloud Monitoring menggunakan Google Cloud Managed Service for Prometheus. Untuk mengaktifkan metrik ini di GKE, Cloud Monitoring, atau ML Diagnostics, lihat Mengakses metrik Orbax dan PyGrain.

Tabel berikut mencantumkan metrik PyGrain yang tersedia:

Nama metrik Prometheus Deskripsi
grain_python_dataset_next_duration_ns

Waktu yang dihabiskan dalam panggilan metode next untuk set data.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /grain/python/dataset/next_duration_ns
  • Jenis metrik: Histogram
  • Unit: nanodetik (ns)
grain_python_dataset_prefetch_buffer_ready_count

Jumlah elemen siap dalam buffer pengambilan data di awal.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /grain/python/dataset/prefetch_buffer_ready_count
  • Jenis metrik: Histogram
  • Unit: jumlah (1)
grain_python_data_sources_bytes_read_total

Total byte yang dibaca dari sumber data.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /grain/python/data_sources/bytes_read
  • Metric type: Counter
  • Unit: byte (By)
grain_python_dataset_source_read_time_ns

Waktu yang dihabiskan untuk membaca dari sumber data.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /grain/python/dataset/source_read_time_ns
  • Jenis metrik: Histogram
  • Unit: nanodetik (ns)
grain_python_data_loader_iterator_get_next

Waktu yang dihabiskan dalam panggilan metode next untuk class DataLoaderIterator.

Metrik ini memiliki properti berikut:

  • Jalur metrik: /grain/python/data_loader/iterator_get_next
  • Jenis metrik: Histogram
  • Unit: nanodetik (ns)

Prasyarat

Sebelum mengumpulkan metrik Megascale, Orbax, atau PyGrain atau menggunakan penganalisis ML Diagnostics terkait, pastikan lingkungan Anda memenuhi persyaratan di bagian berikut.

Persyaratan skala besar

Untuk mengumpulkan metrik Megascale dan melihatnya di Cloud Monitoring, penuhi persyaratan versi berikut:

  • Instal LibTPU versi 0.40.0 atau yang lebih baru.
  • Untuk melihat metrik ini di Cloud Monitoring, instal GKE versi 1.36.4-gke.1247000 atau yang lebih baru.

Persyaratan Orbax dan PyGrain

Untuk mengekspor metrik Orbax dan PyGrain dari workload Anda, penuhi persyaratan paket dan container berikut:

  • Paket Python:
    • Instal Orbax (orbax-checkpoint) versi 0.12.1 atau yang lebih baru.
    • Instal PyGrain (grain) versi 0.2.18 atau yang lebih baru.
    • Instal paket Python prometheus-client di image container Anda. Paket orbax-checkpoint menginstal prometheus-client secara otomatis sebagai dependensi, tetapi grain tidak. Jika workload Anda hanya menggunakan PyGrain, instal paket dengan menjalankan pip install prometheus-client.
  • Konfigurasi container workload:
    • Tetapkan variabel lingkungan berikut:
      • ENABLE_ORBAX_PROMETHEUS_TELEMETRY="true" (mengaktifkan metrik Orbax)
      • ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY="true" (mengaktifkan metrik PyGrain)
    • Mengekspos port TCP 9431 pada container workload.

Contoh spesifikasi container berikut menetapkan variabel lingkungan telemetri dan mengekspos port TCP 9431:

containers:
- name: WORKLOAD_CONTAINER
  env:
  - name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
    value: "true"
  - name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
    value: "true"
  ports:
  - name: framework-metrics
    containerPort: 9431
    protocol: TCP

Ganti WORKLOAD_CONTAINER dengan nama container workload Anda.

Persyaratan penganalisis ML Diagnostics

Untuk menggunakan penganalisis ML Diagnostics untuk metrik Megascale, Orbax, dan PyGrain, instal GKE versi 1.36.4-gke.1247000 atau yang lebih baru.

Mengakses metrik Megascale

Saat cluster Anda menjalankan versi GKE dan LibTPU yang didukung, GKE akan otomatis mengumpulkan metrik Megascale sehingga Anda dapat melihatnya di Cloud Monitoring. Anda juga dapat men-deploy kolektor Prometheus pilihan Anda untuk membaca metrik Megascale langsung dari port Prometheus runtime MXLA.

Mengakses metrik Orbax dan PyGrain

Saat Anda mengaktifkan telemetri Prometheus di container workload, Orbax dan PyGrain mengekspor metrik di port TCP 9431. Anda dapat mengakses metrik ini dengan salah satu cara berikut:

  • Membaca endpoint Prometheus secara langsung: Deploy kolektor Prometheus pilihan Anda untuk membaca metrik Orbax dan PyGrain dari port 9431 di container workload.
  • Mengirim metrik ke Cloud Monitoring: Gunakan Google Cloud Managed Service for Prometheus untuk membaca port 9431 di setiap node dan mengirim metrik ke Cloud Monitoring.

Melihat metrik dengan Google Cloud Managed Service for Prometheus

Untuk mengirim metrik Orbax dan PyGrain dari port 9431 ke Cloud Monitoring, deploy resource kustom PodMonitoring Google Cloud Managed Service for Prometheus di cluster GKE Anda. Resource PodMonitoring menginstruksikan kolektor Google Cloud Managed Service for Prometheus di setiap node untuk membaca port 9431 dan mengirim metrik ke Cloud Monitoring. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi resource PodMonitoring.

Endpoint prometheus.googleapis.com dan kolektor Google Cloud Managed Service for Prometheus diaktifkan secara default di cluster GKE. Penggunaan Google Cloud Managed Service for Prometheus akan dikenai biaya tambahan.

Mengaktifkan koleksi terkelola

Koleksi terkelola untuk Google Cloud Managed Service for Prometheus diaktifkan secara default di cluster GKE Standard yang menjalankan GKE versi 1.27 atau yang lebih baru. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan pengumpulan terkelola.

Jika pengumpulan terkelola dinonaktifkan di cluster Anda, aktifkan:

gcloud container clusters update CLUSTER_NAME \
  --enable-managed-prometheus \
  --region=REGION

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster GKE Anda.
  • REGION: region tempat cluster Anda berada.

Jika Anda mengubah izin default di akun layanan node, pastikan akun tersebut memiliki peran Monitoring Metric Writer (roles/monitoring.metricWriter).

Mengonfigurasi template Pod workload

Untuk menyiapkan Pod workload untuk scraping, perbarui template Pod di manifes JobSet, Job, atau Deployment:

  1. Tambahkan label Pod, seperti ml-framework-metrics: "enabled", sehingga resource PodMonitoring dapat memilih Pod workload.
  2. Tetapkan variabel lingkungan ENABLE_ORBAX_PROMETHEUS_TELEMETRY dan ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY ke "true".
  3. Ekspos port TCP 9431 dan tetapkan nama port, seperti framework-metrics.

Contoh template Pod berikut mengonfigurasi kolom ini:

template:
  metadata:
    labels:
      ml-framework-metrics: "enabled"     # used by the PodMonitoring selector
  spec:
    containers:
    - name: WORKLOAD_CONTAINER
      env:
      - name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
        value: "true"
      - name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
        value: "true"
      ports:
      - name: framework-metrics
        containerPort: 9431
        protocol: TCP

Ganti WORKLOAD_CONTAINER dengan nama container workload Anda.

Memverifikasi endpoint metrik

Sebelum men-deploy resource PodMonitoring, pastikan container workload Anda mengekspor metrik di port 9431. Teruskan port 9431 dari Pod workload yang sedang berjalan dan buat kueri endpoint /metrics:

kubectl -n NAMESPACE port-forward pod/WORKLOAD_POD 9431:9431
curl -s localhost:9431/metrics | grep -E '^(jax_orbax|jax_checkpoint|grain_python)'

Ganti kode berikut:

  • NAMESPACE: namespace Kubernetes tempat workload Anda berjalan.
  • WORKLOAD_POD: nama Pod workload yang sedang berjalan.

Orbax menginisialisasi setiap metrik saat pertama kali mencatat nilai, sehingga metrik Orbax hanya muncul setelah operasi penyimpanan atau pemulihan checkpoint pertama.

Men-deploy resource PodMonitoring

Untuk mengonfigurasi Google Cloud Managed Service for Prometheus agar membaca Pod workload Anda, selesaikan langkah-langkah berikut:

  1. Simpan manifes berikut sebagai orbax-grain-podmonitoring.yaml:

    apiVersion: monitoring.googleapis.com/v1
    kind: PodMonitoring
    metadata:
      name: orbax-grain-metrics
      namespace: WORKLOAD_NAMESPACE  # must match the workload namespace
    spec:
      selector:
        matchLabels:
          ml-framework-metrics: "enabled"
      endpoints:
      - port: framework-metrics             # the named containerPort (9431)
        path: /metrics
        interval: 30s                        # a longer interval reduces sample volume and cost
        metricRelabeling:                    # optional: keep only Orbax and PyGrain series to control cost
        - action: keep
          sourceLabels: [__name__]
          regex: (jax_orbax_|jax_checkpoint_|grain_python_).+
      targetLabels:                          # optional: copy the JobSet name onto every series
        fromPod:
        - from: jobset.sigs.k8s.io/jobset-name
          to: jobset_name
    

    Ganti WORKLOAD_NAMESPACE dengan namespace Kubernetes tempat workload Anda berjalan.

  2. Terapkan manifes dan pastikan resource PodMonitoring telah dibuat:

    kubectl apply -f orbax-grain-podmonitoring.yaml
    kubectl get podmonitoring -A
    

Resource PodMonitoring hanya membaca Pod di namespace-nya sendiri. Jika workload Anda berjalan di beberapa namespace, gunakan spesifikasi yang sama dengan kind: ClusterPodMonitoring dan hapus kolom metadata.namespace. Resource ClusterPodMonitoring menemukan Pod yang cocok di semua namespace.

Opsional: Memastikan Google Cloud Managed Service for Prometheus melakukan scraping pada Pod

Untuk memverifikasi bahwa Google Cloud Managed Service for Prometheus secara aktif meng-scrape Pod workload Anda, selesaikan langkah-langkah berikut:

  1. Di namespace gmp-public, edit resource OperatorConfig dan tetapkan features.targetStatus.enabled ke true.
  2. Periksa resource PodMonitoring dan pastikan target melaporkan Health: up:

    kubectl -n NAMESPACE describe podmonitoring/orbax-grain-metrics
    

    Ganti NAMESPACE dengan namespace Kubernetes tempat workload Anda berjalan.

  3. Setelah Anda selesai memecahkan masalah, tetapkan kembali features.targetStatus.enabled ke false di resource OperatorConfig. Sebaiknya aktifkan status target hanya saat Anda menyelidiki masalah aktif.

Membuat kueri metrik di Cloud Monitoring

Untuk mengkueri metrik yang dikirim ke Cloud Monitoring, selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka Monitoring > Metrics Explorer.
  2. Pilih PromQL, lalu masukkan kueri berikut untuk mengonfirmasi bahwa target Anda melaporkan:

    up{namespace="NAMESPACE"}
    

    Ganti NAMESPACE dengan namespace Kubernetes workload Anda.

Dalam pemilih metrik berbasis menu, metrik disimpan menggunakan format prometheus.googleapis.com/METRIC_NAME/TYPE, dengan TYPE adalah counter, histogram, atau gauge. Setiap library membuat nama metrik Prometheus dari jalur metriknya dengan mengganti / dengan _. Penghitung menambahkan akhiran _total, dan histogram diekspor sebagai deret waktu _bucket, _sum, dan _count.

Anda dapat menggunakan contoh kueri PromQL berikut untuk menganalisis metrik Orbax dan PyGrain:

# Asynchronous checkpoint saves started per Pod
sum by (pod) (increase(jax_orbax_write_async_start_total[1h]))

# Average time training is blocked by asynchronous checkpointing
sum(rate(jax_checkpoint_write_async_blocking_duration_secs_sum[10m]))
  / sum(rate(jax_checkpoint_write_async_blocking_duration_secs_count[10m]))

# PyGrain P99 dataset iterator next() latency (nanoseconds)
histogram_quantile(0.99, sum by (le) (rate(grain_python_dataset_next_duration_ns_bucket[5m])))

# PyGrain bytes read per second, by data source
sum by (source) (rate(grain_python_data_sources_bytes_read_total[5m]))

# Median prefetch-buffer readiness (low values can indicate an I/O bottleneck)
histogram_quantile(0.5, sum by (le) (rate(grain_python_dataset_prefetch_buffer_ready_count_bucket[5m])))

Pertimbangan biaya

Penagihan Google Cloud Managed Service for Prometheus didasarkan pada jumlah sampel yang diserap. Untuk mengurangi biaya, konfigurasikan interval scraping yang lebih lama dan gunakan metricRelabeling untuk hanya menyimpan deret waktu yang Anda perlukan. Anda dapat melihat volume penyerapan untuk setiap metrik di halaman Metrics Management di Cloud Monitoring.

Melihat output penganalisis di ML Diagnostics

Pemantauan workload ML Diagnostics dan metrik sistem yang dikontekstualisasikan workload diaktifkan secara otomatis untuk workload GKE TPU JobSet dan Job yang berjalan di GKE versi 1.36.4-gke.1247000 dan yang lebih baru. Pemantauan workload melacak siklus kerja TPU gabungan untuk workload Anda. Jika terjadi penurunan siklus proses sebesar 15% atau lebih (performance degradation), ML Diagnostics akan menjalankan penganalisis di seluruh lapisan infrastruktur, orchestrator, dan framework.

Jika workload Anda berjalan di beberapa slice (menggunakan lapisan MXLA) atau menggunakan library PyGrain atau Orbax, ML Diagnostics akan menjalankan penganalisis framework berikut untuk menentukan apakah penurunan performa disebabkan oleh latensi transfer jaringan, pemuatan data, atau checkpointing asinkron:

Laporan penganalisis ML Diagnostics disediakan tanpa biaya tambahan, dan pembuatan hasil penganalisis tidak memerlukan konfigurasi Google Cloud Managed Service for Prometheus untuk metrik Orbax dan PyGrain. Di tab System metrics pada konsol ML Diagnostics Google Cloud , metrik Megascale akan muncul secara otomatis saat Anda menggunakan versi LibTPU dan GKE yang didukung.

Anda dapat melihat output penganalisis dengan salah satu cara berikut:

  • Google Cloud konsol: Di konsol ML Diagnostics Google Cloud (lihat Melihat operasi machine learning), buka tab Ringkasan pemantauan, temukan peristiwa performance degradation, dan klik Lihat detail untuk memeriksa laporan penganalisis.
  • Google Cloud CLI atau REST API: Gunakan perintah monitored-events untuk mencantumkan dan mendeskripsikan peristiwa serta laporan penganalisisnya. Untuk mengetahui informasi selengkapnya, lihat Memulai CLI ML Diagnostics.