Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Memantau VM TPU

Panduan ini menjelaskan cara menggunakan Cloud Monitoring untuk memantau VM TPU Anda. Cloud Monitoring otomatis mengumpulkan metrik dan log dari TPU dan VM host-nya. Data ini dapat digunakan untuk memantau kondisi TPU dan Compute Engine Anda.

Metrik memungkinkan Anda melacak kuantitas numerik dari waktu ke waktu, misalnya, pemakaian CPU, penggunaan jaringan, atau durasi tidak ada aktivitas TensorCore. Log mencatat peristiwa pada titik waktu tertentu. Entri log ditulis oleh kode Anda sendiri, layananGoogle Cloud , aplikasi pihak ketiga, dan infrastrukturGoogle Cloud . Anda juga dapat membuat metrik dari data yang ada dalam entri log dengan membuat metrik berbasis log. Anda juga dapat menetapkan kebijakan pemberitahuan berdasarkan nilai metrik atau entri log.

Untuk memantau TPU, Anda juga dapat menggunakan Capacity Planner (Pratinjau). Dengan Capacity Planner, Anda dapat melihat data penggunaan dan perkiraan TPU untuk project, folder, atau organisasi Anda. Data ini diperbarui setiap 24 jam, dan Anda dapat menggunakannya untuk menganalisis tren penggunaan dan merencanakan kebutuhan kapasitas di masa mendatang. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Capacity Planner.

Mengakses metrik TPU

Compute Engine menghasilkan dua jenis metrik TPU: metrik runtime TPU dan metrik infrastruktur VM TPU. Anda bisa mendapatkan metrik dengan dua cara:

Library Pemantauan TPU: Dapatkan metrik runtime TPU dari LibTPU SDK menggunakan Library Pemantauan TPU. Hal ini memungkinkan aplikasi Anda mendapatkan telemetri real-time dari dalam lingkungan tamu. Untuk mengetahui informasi selengkapnya, lihat Library Pemantauan TPU.
AI Telemetry Collector: Dapatkan metrik runtime dan metrik infrastruktur VM melalui AI Telemetry Collector. AI Telemetry Collector berjalan di dalam VM TPU dan memungkinkan Anda mengakses metrik melalui Cloud Monitoring atau melalui pipeline pemantauan berbasis Prometheus Anda sendiri. Untuk mengetahui informasi selengkapnya, lihat AI Telemetry Collector.

Metrik TPU

MetrikGoogle Cloud untuk Cloud TPU dibuat secara otomatis oleh VM Compute Engine dan runtime Cloud TPU. Metrik dalam tabel berikut dihasilkan oleh VM Compute Engine. Untuk mengetahui daftar lengkap metrik yang dihasilkan oleh Compute Engine, lihat Metrik Compute Engine.

String "jenis metrik" dalam tabel ini harus diawali dengan compute.googleapis.com/. Awalan tersebut telah dihilangkan dari entri dalam tabel. Saat membuat kueri label, gunakan awalan metric.labels; misalnya, metric.labels.LABEL="VALUE".

Ketersediaan Umum (GA)

Jenis metrik ^{Tahap peluncuran} (Tingkat hierarki resource) Nama tampilan
Jenis, Tipe, Unit Resource yang dimonitor	Deskripsi Label
`instance/tpu/active_chips` ^GA *(project)* Jumlah Chip TPU Aktif
`GAUGE`, `INT64`, `1` gce_instance	Jumlah chip saat ini yang sedang digunakan secara aktif (yaitu) tidak menganggur. `accelerator_type`: Jenis dan generasi akselerator. `reservation_id`: ID pemesanan mesin fisik. `provisioning_model`: Model penyediaan terkait. `protection_tier`: Model perlindungan terkait. `block_id`: ID blok dalam cluster yang menghosting VM. `subblock_id`: ID sub-blok yang menghosting VM. `is_exr`: (BOOL) Menunjukkan apakah chip merupakan bagian dari reservasi yang diperpanjang.
`instance/tpu/scheduled_chips` ^GA *(project)* Jumlah Chip TPU Terjadwal
`GAUGE`, `INT64`, `1` gce_instance	Jumlah chip saat ini yang dialokasikan ke VM yang SEHAT dan TIDAK DINONAKTIFKAN untuk pemeliharaan. `accelerator_type`: Jenis dan generasi akselerator. `reservation_id`: ID pemesanan mesin fisik. `provisioning_model`: Model penyediaan terkait. `protection_tier`: Model perlindungan terkait. `block_id`: ID blok dalam cluster yang menghosting VM. `subblock_id`: ID sub-blok yang menghosting VM. `is_exr`: (BOOL) Menunjukkan apakah chip merupakan bagian dari reservasi yang diperpanjang.
`tpu/slice/capacity/available_chips` ^GA *(project)* Jumlah Chip TPU yang Tersedia
`GAUGE`, `INT64`, `1` compute.googleapis.com/AcceleratorSlice	Jumlah chip TPU Reservasi yang Diperpanjang saat ini yang tersedia secara aktif dan siap digunakan. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 360 detik. `accelerator_type`: Jenis dan generasi akselerator. `reservation_id`: ID pemesanan mesin fisik. `block_id`: ID blok yang terkait dengan slice. `subblock_id`: ID subblok yang terkait dengan slice. `provisioning_model`: Model penyediaan terkait. `protection_tier`: Model perlindungan terkait.
`tpu/slice/capacity/committed_chips` ^GA *(project)* Jumlah Chip TPU yang Dibeli
`GAUGE`, `INT64`, `1` compute.googleapis.com/AcceleratorSlice	Jumlah TPU chip yang dibeli saat ini untuk Pemesanan yang Diperpanjang. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 360 detik. `accelerator_type`: Jenis dan generasi akselerator. `reservation_id`: ID pemesanan mesin fisik. `block_id`: ID blok yang terkait dengan slice. `subblock_id`: ID subblok yang terkait dengan slice. `provisioning_model`: Model penyediaan terkait. `protection_tier`: Model perlindungan terkait.

Beta

Jenis metrik ^{Tahap peluncuran} (Tingkat hierarki resource) Nama tampilan
Jenis, Tipe, Unit Resource yang dimonitor	Deskripsi Label
`instance/tpu/accelerator/duty_cycle` ^BETA *(project)* Siklus Kerja Akselerator
`GAUGE`, `DOUBLE`, `%` gce_instance	Persentase waktu selama periode sampel saat akselerator aktif memproses. Nilai berada dalam rentang [0,100]. `accelerator_id`: ID Perangkat Akselerator.
`instance/tpu/accelerator/memory_bandwidth_utilization` ^BETA *(project)* Pemakaian Bandwidth Memori Akselerator
`GAUGE`, `DOUBLE`, `%` gce_instance	Persentase dari bandwidth memori akselerator yang saat ini sedang digunakan. Dihitung dengan membagi bandwidth memori yang digunakan selama periode sampel dengan bandwidth maksimum yang didukung selama periode sampel yang sama. `accelerator_id`: ID Perangkat Akselerator.
`instance/tpu/accelerator/memory_total` ^BETA *(project)* Total Memori Akselerator
`GAUGE`, `INT64`, `By` gce_instance	Total memori akselerator yang saat ini dialokasikan dalam byte. `accelerator_id`: ID Perangkat Akselerator.
`instance/tpu/accelerator/memory_used` ^BETA *(project)* Memori Akselerator yang Digunakan
`GAUGE`, `INT64`, `By` gce_instance	Total memori akselerator yang saat ini digunakan dalam byte. `accelerator_id`: ID Perangkat Akselerator.
`instance/tpu/accelerator/tensorcore_utilization` ^BETA *(project)* Penggunaan TensorCore Akselerator
`GAUGE`, `DOUBLE`, `%` gce_instance	Persentase Tensorcore yang saat ini dipakai. Dihitung dengan membagi operasi Tensorcore yang dilakukan selama periode sampel dengan jumlah operasi Tensorcore yang didukung selama periode sampel yang sama. `accelerator_id`: ID Perangkat Akselerator.
`instance/tpu/chip_state` ^BETA *(project)* Jumlah Status Chip TPU
`GAUGE`, `INT64`, `1` gce_instance	Jumlah TPU chip dalam berbagai status seperti Responsif, Tidak Responsif, dan Tidak Diketahui. `state`: Status chip. `accelerator_type`: Jenis dan generasi akselerator. `block_id`: ID blok dalam cluster yang menghosting VM. `subblock_id`: ID sub-blok yang menghosting VM. `reservation_id`: ID pemesanan mesin fisik. `is_exr`: (BOOL) Menunjukkan apakah chip merupakan bagian dari reservasi yang diperpanjang.
`instance/tpu/infra_health` ^BETA *(project)* Kesehatan Instance TPU
`GAUGE`, `INT64`, `1` gce_instance	Menunjukkan status respons keseluruhan instance TPU. Label metrik membantu mengidentifikasi status respons spesifik dan alasan masalah pada instance TPU yang mengalami penurunan kualitas atau tidak responsif, yang terutama berfokus pada hardware TPU dan kondisi sistem. Perubahan status respons mungkin memerlukan waktu beberapa menit untuk ditampilkan dalam metrik ini. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 420 detik. `health_status`: Status respons keseluruhan instance TPU. Nilai yang mungkin: HEALTHY (beroperasi seperti yang diharapkan), UNHEALTHY (masalah kritis terdeteksi), DEGRADED (masalah yang memengaruhi performa), UNKNOWN (status tidak dapat ditentukan). `unhealthy_category`: Penjelasan untuk status VM tidak responsif. Label ini hanya diisi jika nilai metriknya adalah Tidak Sehat. `machine_type`: Jenis mesin instance (misalnya, ct6e-standard-4t-tpu). `machine_id`: ID mesin fisik yang menghosting VM. `block_id`: ID blok dalam cluster yang menghosting VM. `cluster_id`: ID cluster yang menghosting VM. `reservation_id`: ID pemesanan mesin fisik. `subblock_id`: ID sub-blok yang menghosting VM.
`instance/tpu/runtime/uptime` ^BETA *(project)* Runtime Uptime
`GAUGE`, `INT64`, `s` gce_instance	Waktu beroperasi ML Runtime sejak inisialisasi library runtime (libtpu.so) oleh tugas ML. Selama periode ini, library runtime memblokir perangkat TPU agar tidak digunakan oleh tugas ML. `ml_framework_name`: Nama framework ML. `ml_framework_version`: Versi framework ML.
`instance/tpu/utilized_chips` ^BETA *(project)* TPU Chip yang Digunakan
`GAUGE`, `DOUBLE`, `1` gce_instance	Kapasitas gabungan yang digunakan saat ini dinyatakan sebagai jumlah efektif chip aktif. Nilai ini setara dengan jumlah pemakaian pecahan (0,0 hingga 1,0) dari semua chip aktif. `accelerator_type`: Jenis dan generasi akselerator. `reservation_id`: ID pemesanan mesin fisik. `provisioning_model`: Model penyediaan terkait. `protection_tier`: Model perlindungan terkait. `block_id`: ID blok dalam cluster yang menghosting VM. `subblock_id`: ID sub-blok yang menghosting VM. `is_exr`: (BOOL) Menunjukkan apakah chip merupakan bagian dari reservasi yang diperpanjang.
`tpu/multislice/accelerator/device_to_host_transfer_latencies` ^BETA *(project)* Latensi Transfer Perangkat ke Host
`CUMULATIVE`, `DISTRIBUTION`, `us` gce_instance	Distribusi kumulatif latensi transfer perangkat ke host untuk setiap potongan data. Latensi dimulai saat permintaan transfer data ke host dikeluarkan dan berakhir saat konfirmasi bahwa transfer data telah selesai diterima. `buffer_size`: Ukuran buffering.
`tpu/multislice/accelerator/host_to_device_transfer_latencies` ^BETA *(project)* Latensi Transfer Host ke Perangkat
`CUMULATIVE`, `DISTRIBUTION`, `us` gce_instance	Distribusi kumulatif latensi transfer host ke perangkat untuk setiap potongan data traffic multislice. Latensi dimulai saat permintaan transfer data ke perangkat dikeluarkan dan berakhir saat konfirmasi bahwa transfer data telah selesai diterima. `buffer_size`: Ukuran buffering.
`tpu/multislice/network/collective_end_to_end_latencies` ^BETA *(project)* Latensi End-to-End Kolektif
`CUMULATIVE`, `DISTRIBUTION`, `us` gce_instance	Distribusi kumulatif latensi kolektif menyeluruh untuk traffic multislice. Latensi dimulai saat permintaan untuk kolektif dikeluarkan dan berakhir saat pengakuan diterima bahwa transfer data telah selesai. `input_size`: Ukuran input operasi kolektif. `collective_type`: Jenis operasi kolektif.
`tpu/multislice/network/dcn_transfer_latencies` ^BETA *(project)* Latensi Transfer DCN
`CUMULATIVE`, `DISTRIBUTION`, `us` gce_instance	Distribusi kumulatif latensi transfer jaringan untuk traffic multislice. Latensi dimulai saat permintaan transfer data melalui DCN dikeluarkan dan berakhir saat konfirmasi bahwa transfer data telah selesai diterima. `buffer_size`: Ukuran buffering. `type`: Jenis.
`tpu/multislice/network/grpc_client_call_latencies` ^BETA *(project)* Latensi Panggilan Klien gRPC
`CUMULATIVE`, `DISTRIBUTION`, `us` gce_instance	Distribusi kumulatif latensi transfer jaringan untuk library gRPC yang diperlukan untuk menyelesaikan RPC dari perspektif pemanggil. `buffer_size`: Ukuran buffering.
`tpu/multislice/network/grpc_server_call_latencies` ^BETA *(project)* Latensi Panggilan Server gRPC
`CUMULATIVE`, `DISTRIBUTION`, `us` gce_instance	Distribusi kumulatif latensi transfer jaringan untuk server gRPC guna menyelesaikan RPC pada perspektif transpor. `buffer_size`: Ukuran buffering.
`tpu/multislice/network/grpc_tcp_delivery_rates` ^BETA *(project)* Tingkat Pengiriman TCP gRPC
`CUMULATIVE`, `DISTRIBUTION`, `Mb/s` gce_instance	Distribusi kumulatif kecepatan transfer data koneksi TCP. Setiap sampel adalah kecepatan transfer data rata-rata terbaru untuk koneksi TCP tertentu selama interval TCP ACK terakhir. Sampel kecepatan transfer data diambil dari Kernel TCP Linux setiap 20 detik, sehingga dapat diperkirakan bahwa setiap koneksi TCP membuat sekitar 3 sampel per interval 60 detik.
`tpu/multislice/network/grpc_tcp_min_round_trip_times` ^BETA *(project)* Waktu Round Trip Minimum TCP gRPC
`CUMULATIVE`, `DISTRIBUTION`, `us` gce_instance	Distribusi kumulatif latensi transfer jaringan minimum per koneksi TCP.
`tpu/multislice/network/grpc_tcp_packets_retransmitted_count` ^BETA *(project)* Jumlah Paket TCP gRPC yang Ditransmisikan Ulang
`CUMULATIVE`, `INT64`, `1` gce_instance	Jumlah total paket yang dikirim ulang.
`tpu/multislice/network/grpc_tcp_packets_sent_count` ^BETA *(project)* Jumlah Paket TCP gRPC yang Dikirim
`CUMULATIVE`, `INT64`, `1` gce_instance	Jumlah total paket yang dikirim TCP.
`instance/tpu/accelerator/core_temperature` ^BETA *(project)* Suhu Inti
`GAUGE`, `DOUBLE`, `Cel` gce_instance	Suhu Inti TPU. `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/core_throttling_indicator` ^BETA *(project)* Indikator Throttling Core
`GAUGE`, `DOUBLE`, `1` gce_instance	Jumlah siklus clock yang dilewati per detik dari total siklus clock per core TPU. `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/hbm_power_draw` ^BETA *(project)* Konsumsi Daya HBM
`GAUGE`, `DOUBLE`, `W` gce_instance	Jumlah daya pada modul HBM dalam watt (W). `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/hbm_temperature` ^BETA *(project)* Suhu HBM
`GAUGE`, `DOUBLE`, `Cel` gce_instance	Suhu High Bandwidth Memory (HBM) TPU. `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3. `hbm_id`: ID modul High Bandwidth Memory (HBM). Biasanya hanya memiliki nilai teratas, misalnya: hbm_0.
`instance/tpu/accelerator/hbm_uncorrectable_count` ^BETA *(project)* Jumlah HBM yang Tidak Dapat Diperbaiki
`CUMULATIVE`, `INT64`, `1` gce_instance	Jumlah error yang tidak dapat diperbaiki di HBM (fatal). `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/mxu_temperature` ^BETA *(project)* Suhu MXU
`GAUGE`, `DOUBLE`, `Cel` gce_instance	Suhu Matrix Multiply Unit (MXU) TPU. `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3. `die_id`: Indeks slot untuk akselerator. Biasanya hanya memiliki nilai teratas, misalnya: die_0.
`instance/tpu/accelerator/network/ici_link_flaps` ^BETA *(project)* Link Flap ICI
`GAUGE`, `INT64`, `1` gce_instance	Frekuensi perubahan status antara status aktif dan nonaktif pada link ICI. `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/network/ici_link_health` ^BETA *(project)* ICI Link Health
`GAUGE`, `INT64`, `1` gce_instance	Indikator numerik (0–10) yang menunjukkan kondisi link ICI. Nilai yang lebih tinggi menunjukkan peningkatan tingkat ketidakstabilan link—dari flapping kecil dan sementara (1–5) hingga penurunan performa yang persisten (6–9). Nilai 10 menunjukkan kegagalan link fatal yang otomatis mengeluarkan workload aktif. `port_id`: ID Port.
`instance/tpu/accelerator/network/ici_packets_received_count` ^BETA *(project)* Jumlah Paket ICI yang Diterima
`CUMULATIVE`, `INT64`, `1` gce_instance	Jumlah total paket yang diterima oleh akselerator TPU melalui link Inter-Chip Interconnect (ICI). `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/network/ici_packets_sent_count` ^BETA *(project)* Jumlah Paket ICI yang Dikirim
`CUMULATIVE`, `INT64`, `1` gce_instance	Jumlah total paket yang dikirim oleh akselerator TPU melalui link Inter-Chip Interconnect (ICI). `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/pcie_fatal_error_count` ^BETA *(project)* Jumlah Error Fatal PCIe
`CUMULATIVE`, `INT64`, `1` gce_instance	Jumlah error PCIe fatal yang terjadi di antarmuka PCIe. `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/pcie_nonfatal_error_count` ^BETA *(project)* Jumlah Error PCIe yang Tidak Fatal
`CUMULATIVE`, `INT64`, `1` gce_instance	Jumlah error PCIe non-fatal yang terjadi di antarmuka PCIe. `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/power_draw` ^BETA *(project)* Penggunaan Daya
`GAUGE`, `DOUBLE`, `W` gce_instance	Konsumsi daya akselerator diukur dalam watt (W). `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/tray_power` ^BETA *(project)* Daya Baki
`GAUGE`, `DOUBLE`, `W` gce_instance	Total daya yang ditarik di baki TPU. `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/accelerator/tray_temperature` ^BETA *(project)* Suhu Tray
`GAUGE`, `DOUBLE`, `Cel` gce_instance	Suhu Baki TPU. `accelerator_id`: ID perangkat akselerator. Nilai yang valid adalah 0, 1, 2, 3.
`instance/tpu/failure_prediction_status` ^BETA *(project)* Status Degradasi TPU
`GAUGE`, `INT64`, `1` gce_instance	Metrik ini menunjukkan probabilitas mesin TPU memasuki status menurun dalam 5 jam ke depan seperti yang diprediksi oleh algoritma eksklusif kami. Label nilai untuk metrik ini adalah NO_DEGRADATION_PREDICTED, DEGRADATION_PREDICTED, POSSIBLE_DEGRADATION_PREDICTED. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 540 detik. `cluster_id`: ID cluster yang di-obfuscate dari cluster yang menghosting VM. `block_id`: ID blok yang di-obfuscate dalam cluster yang menghosting VM. `subblock_id`: ID sub-blok yang di-obfuscate yang menghosting VM. `machine_id`: Nama mesin yang di-obfuscate yang menghosting VM. `reservation_id`: ID pemesanan. `Value`: Status mesin TPU yang memasuki status menurun dalam 5 jam ke depan seperti yang diprediksi oleh algoritma eksklusif kami. Nilai yang mungkin adalah "NO_DEGRADATION_PREDICTED", "DEGRADATION_PREDICTED", "POSSIBLE_DEGRADATION_PREDICTED".
`tpu/capacity/available_chips` ^BETA *(project)* Jumlah Chip TPU yang Tersedia
`GAUGE`, `INT64`, `1` compute.googleapis.com/Location	Jumlah TPU chip saat ini yang tersedia dan siap digunakan. `accelerator_type`: Jenis dan generasi akselerator. `reservation_id`: ID pemesanan mesin fisik. `provisioning_model`: Model penyediaan terkait. `protection_tier`: Model perlindungan terkait. `is_exr`: Menunjukkan apakah TPU chip merupakan bagian dari pemesanan yang diperpanjang.
`tpu/capacity/committed_chips` ^BETA *(project)* Jumlah Chip TPU yang Dibeli
`GAUGE`, `INT64`, `1` compute.googleapis.com/Location	Jumlah TPU chip yang dibeli saat ini. `accelerator_type`: Jenis dan generasi akselerator. `reservation_id`: ID pemesanan mesin fisik. `provisioning_model`: Model penyediaan terkait. `protection_tier`: Model perlindungan terkait. `is_exr`: Menunjukkan apakah TPU chip merupakan bagian dari pemesanan yang diperpanjang.
`tpu/network/nic_packets_dropped_count_rx` ^BETA *(project)* Jumlah Paket NIC yang Dihapus Rx
`CUMULATIVE`, `INT64`, `1` gce_instance	Jumlah total paket masuk yang dihapus oleh NIC host. Hal ini mencakup paket yang sengaja dihapus oleh NIC, seperti paket tanpa rute yang cocok. `nic_id`: ID Nic.
`tpu/network/nic_packets_dropped_count_tx` ^BETA *(project)* Jumlah Paket NIC yang Dihapus Tx
`CUMULATIVE`, `INT64`, `1` gce_instance	Total jumlah paket keluar yang dihapus oleh NIC host. Hal ini mencakup paket yang sengaja dihapus oleh NIC, seperti paket tanpa rute yang cocok, sehingga rasio kecil yang bukan nol adalah normal meskipun tidak ada workload yang berjalan. `nic_id`: ID Nic.
`tpu/network/nic_packets_received_count` ^BETA *(project)* Jumlah Paket NIC yang Diterima
`CUMULATIVE`, `INT64`, `1` gce_instance	Jumlah total paket yang diterima oleh NIC host. Hal ini mencakup semua traffic host, bukan hanya traffic workload, sehingga jumlahnya terus meningkat meskipun tidak ada workload yang berjalan. `nic_id`: ID Nic.
`tpu/network/nic_packets_sent_count` ^BETA *(project)* Jumlah Paket NIC yang Dikirim
`CUMULATIVE`, `INT64`, `1` gce_instance	Jumlah total paket yang dikirim oleh NIC host. Hal ini mencakup semua traffic host, bukan hanya traffic workload, sehingga jumlahnya terus meningkat meskipun tidak ada workload yang berjalan. `nic_id`: ID Nic.

Alfa

Jenis metrik ^{Tahap peluncuran} (Tingkat hierarki resource) Nama tampilan
Jenis, Tipe, Unit Resource yang dimonitor	Deskripsi Label
`quota/tpus_per_tpu_family/exceeded` ^ALPHA *(project)* Error kuota jumlah TPU per kelompok TPU terlampaui
`DELTA`, `INT64`, `1` compute.googleapis.com/Location	Jumlah upaya untuk melebihi batas pada metrik kuota compute.googleapis.com/tpus_per_tpu_family. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 150 detik. `limit_name`: Nama batas. `tpu_family`: Dimensi kustom kelompok TPU.
`quota/tpus_per_tpu_family/limit` ^ALPHA *(project)* Jumlah TPU per kelompok TPU. batas kuota
`GAUGE`, `INT64`, `1` compute.googleapis.com/Location	Batas saat ini pada metrik kuota compute.googleapis.com/tpus_per_tpu_family. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 150 detik. `limit_name`: Nama batas. `tpu_family`: Dimensi kustom kelompok TPU.
`quota/tpus_per_tpu_family/usage` ^ALPHA *(project)* Jumlah TPU per kelompok TPU. penggunaan kuota
`GAUGE`, `INT64`, `1` compute.googleapis.com/Location	Penggunaan saat ini pada metrik kuota compute.googleapis.com/tpus_per_tpu_family. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 150 detik. `limit_name`: Nama batas. `tpu_family`: Dimensi kustom kelompok TPU.

AI Telemetry Collector

AI Telemetry Collector mengumpulkan dan memublikasikan metrik TPU di namespace compute.googleapis.com untuk TPU yang dibuat menggunakan Compute Engine API. Metrik ini adalah metrik sistem bawaan, yang memberikan visibilitas ke kondisi dan performa.

Arsitektur AI Telemetry Collector dirancang sebagai OpenTelemetry (OTEL) Collector yang ringan dan khusus. Sistem ini menggunakan dua penerima utama untuk menangkap data:

TPU Runtime Receiver: Mengambil metrik runtime dan workload (seperti siklus proses dan penggunaan memori) langsung dari runtime TPU saat workload machine learning aktif.
Penerima Host TPU: Menangkap metrik pemakaian hardware, seperti Pemakaian TensorCore dan Pemakaian Bandwidth Memori, langsung dari perangkat, terlepas dari apakah workload sedang berjalan atau tidak.

AI Telemetry Collector kemudian menggunakan pemroses untuk otomatis menerapkan tag resource yang diperlukan (seperti project_id, instance_id, dan zone) dan mengekspor telemetri secara aman langsung ke Cloud Monitoring.

AI Telemetry Collector sudah diinstal sebelumnya di image Ubuntu LTS yang dioptimalkan untuk TPU Google, dan berjalan secara otomatis saat VM melakukan booting. Untuk menggunakan penyiapan ini, tentukan project dan kelompok image akselerator Google resmi saat membuat instance VM TPU atau template instance. Setelah VM dimulai, AI Telemetry Collector akan otomatis mengirimkan metrik ke dasbor Cloud Monitoring.

Jika Anda membangun image sistem operasi kustom, Anda dapat menggunakan AI Telemetry Collector setelah menginstal dan menjalankan image Docker ai-telemetry-collector. Untuk mengetahui informasi selengkapnya, lihat Menggunakan image OS kustom.

Konfigurasi

AI Telemetry Collector otomatis mengirimkan metrik ke dasbor Cloud Monitoring, dan tidak memerlukan langkah konfigurasi tambahan. Namun, Anda dapat mengonfigurasi paket Snap atau image Docker untuk menambahkan tujuan ekspor eksternal, mengubah interval pengumpulan metrik, dan menyertakan opsi proses debug.

Anda dapat mengganti konfigurasi default dengan file konfigurasi baru, atau menambahkan file konfigurasi tambahan ke konfigurasi default yang ada. Saat menambahkan konfigurasi, kunci yang belum ada akan ditambahkan dan kunci yang sudah ada akan ditimpa. Namun, array dan daftar tidak bersifat aditif, sehingga daftar baru harus menyertakan nilai yang ada dan nilai baru.

File YAML berikut mengonfigurasi AI Telemetry Collector untuk mengirim metrik ke Prometheus, toolkit pemantauan dan pemberitahuan sistem open source. Tindakan ini juga mengaktifkan opsi proses debug, yang mencetak metrik dalam konsol.

exporters:
  prometheus:
    endpoint: 0.0.0.0:8889

service:
  pipelines:
    metrics:
      exporters:
      -   prometheus # For more: https://prometheus.io/docs/introduction/overview/
      -   googlecloud # If you do not include this, you'll lose Google Cloud Monitoring
      -   debug # print metrics within the console

OS Default

Jika Anda menggunakan image Ubuntu LTS yang dioptimalkan TPU dari Google, jalankan perintah Snap berikut untuk menambahkan file konfigurasi baru ke konfigurasi yang ada:

sudo snap set \
  ai-telemetry-collector \
  extra-flags="--config /home/username/additional-config.yaml"

Jika Anda ingin menimpa dan mengganti konfigurasi yang ada, gunakan flag config-path, bukan extra-flags:

sudo snap set \
  ai-telemetry-collector \
  config-path="/home/username/new-config.yaml"

Perintah snap set akan memicu mulai ulang otomatis AI Telemetry Collector. Untuk memverifikasi bahwa kolektor telah dimulai ulang dan berhasil menerapkan konfigurasi Anda, gunakan perintah berikut untuk melihat log:

sudo snap logs -f ai-telemetry-collector

OS Kustom

Jika Anda menggunakan OS kustom, jalankan perintah Docker berikut untuk menambahkan file konfigurasi baru ke konfigurasi yang ada:

# First apply the default configs via `--config=/etc/ai-telemetry-collector/config.yaml`
# Then apply your additional config by volume mount.

docker run --privileged --net=host                                                                   \
  -v <path>/additional-config.yaml:/etc/ai-telemetry-collector/additional-config.yaml \
  ai-telemetry-collector:latest                                                       \
  --config=/etc/ai-telemetry-collector/config.yaml                                    \
  --config=/etc/ai-telemetry-collector/additional-config.yaml

Jika Anda ingin menimpa dan mengganti konfigurasi yang ada, gunakan perintah Docker berikut:

# Mount a volume (your config file) to `/etc/ai-telemetry-collector/config.yaml`
# The binary automatically picks up this file.

docker run --privileged --net=host                                               \
  -v <path>/my-config.yaml:/etc/ai-telemetry-collector/config.yaml   \
  ai-telemetry-collector:latest

Log audit

LayananGoogle Cloud membuat log audit yang mencatat aktivitas administratif dan akses dalam resource Google Cloud Anda. Untuk mengetahui informasi selengkapnya, lihat Logging audit Compute Engine.