Pelajari cara memantau kondisi, waktu beroperasi, dan upgrade deployment Google Distributed Cloud terhubung, termasuk workload yang didukung. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi pemantauan dan metrik yang tersedia, lihat Log dan metrik.
Memantau kondisi dan waktu beroperasi workload
Anda bertanggung jawab untuk memantau kondisi dan waktu beroperasi workload (container dan virtual machine) yang berjalan di deployment Distributed Cloud terhubung.
Workload container
Untuk memantau kondisi dan waktu beroperasi workload dalam container yang Anda deploy, sebaiknya gunakan solusi metrik Prometheus. Anda dapat mengonfigurasi Prometheus untuk meng-scrape metrik dari Pod dan Service Anda. Layanan sistem yang dikelola Google dipantau dan dikelola secara otomatis oleh Google. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi Prometheus, lihat Mengumpulkan metrik dengan Prometheus.
Gunakan metrik utama berikut untuk memantau workload container. Jika menggunakan Prometheus, Anda bertanggung jawab untuk men-deploy dan mengelola Kube State Metrics guna mengekspos metrik spesifik ini untuk workload Anda:
kube_pod_status_phase: Memantau Pod dalam faseFailedatauUnknown.kube_pod_container_status_waiting_reason: Mengidentifikasi Pod yang terjebak dalamCrashLoopBackOffatauImagePullBackOff.container_cpu_usage_seconds_totaldancontainer_memory_working_set_bytes(dari cAdvisor): Memantau konsumsi resource untuk mencegah masalah kehabisan memori (OOM).
Workload virtual machine
Di Distributed Cloud connected, virtual machine (VM) berjalan di dalam Pod Kubernetes standar, yang biasanya diawali dengan virt-launcher-. Pantau kondisi dan status VM terutama dengan memeriksa status resource kustom VirtualMachine atau dengan memantau metrik aplikasi dari dalam VM.
Gunakan metrik Pod virt-launcher yang mendasarinya sebagai indikator sekunder untuk
detail berikut:
- Penggunaan resource: Pantau konsumsi CPU dan memori Pod peluncur untuk memastikan VM memiliki resource yang memadai.
- Fase pod: Lacak fase Pod peluncur untuk mengidentifikasi VM yang gagal dimulai atau mengalami error.
Untuk menyesuaikan resource yang ditetapkan ke VM, ubah spesifikasi resource kustom VM. Jangan mengubah YAML Pod virt-launcher yang mendasarinya secara langsung, karena YAML ini dikelola oleh platform. Setiap perubahan langsung akan
ditimpa atau menyebabkan error rekonsiliasi.
Untuk memecahkan masalah VM yang terjebak dalam status tertunda, lihat Memecahkan masalah virtual machine yang terjebak dalam status Pending.
Memantau upgrade Distributed Cloud terhubung
Pantau progres dan status upgrade software Distributed Cloud yang terhubung menggunakan metrik Cloud Monitoring dan perintah gcloud.
Upgrade dijadwalkan dan dijalankan oleh Google. Pemantauan hanya ditujukan untuk visibilitas
dan perencanaan migrasi workload.
Untuk mengetahui petunjuk mendetail tentang cara memeriksa apakah upgrade sedang berlangsung, memantau statusnya, dan memecahkan masalah upgrade yang gagal, lihat Memecahkan masalah upgrade software.
Memantau kondisi penyimpanan lokal
Distributed Cloud terhubung terus memantau kondisi perangkat penyimpanannya
dan memberi tahu Google saat drive fisik perlu diganti. Google akan bekerja sama dengan Anda untuk
menjadwalkan kunjungan dan mengganti drive yang rusak. Anda dapat memantau kondisi penyimpanan menggunakan pemberitahuan kondisi Kubernetes, seperti DiskPressure.
Memantau kesehatan penyimpanan sistem
Anda dapat memantau kondisi penyimpanan sistem yang terhubung ke Distributed Cloud menggunakan salah satu metode berikut:
Prometheus dengan Kube State Metrics (PromQL). Deploy dan kelola Kube State Metrics di cluster Anda untuk mengekspos metrik kondisi Kubernetes.
Metrik Cloud Monitoring. Buat kebijakan pemberitahuan berdasarkan metrik tingkat host yang diekspor ke Cloud Monitoring.
Memantau kondisi penyimpanan sistem dengan Prometheus
Untuk memantau kondisi penyimpanan sistem dengan Prometheus dengan Kube State Metrics (PromQL), siapkan pemberitahuan berikut:
Segera beri tahu saat kondisi node memasuki status
DiskPressure:kube_node_status_condition{condition="DiskPressure",status="true"} == 1Berikan pemberitahuan secara proaktif sebelum batas pengosongan dilanggar dengan memeriksa kapan pemakaian disk melebihi batas operasional:
(1 - (node_filesystem_avail_bytes{mountpoint="/mnt/shared_lpvs"} / node_filesystem_size_bytes{mountpoint="/mnt/shared_lpvs"})) > THRESHOLDGanti
THRESHOLDdengan nilai minimum operasional target dalam rentang0.00~1.00. Google merekomendasikan untuk menetapkan nilai ini ke0.85.
Memantau kondisi penyimpanan sistem dengan Cloud Monitoring
Untuk memantau kondisi penyimpanan sistem dengan metrik Cloud Monitoring, buat kebijakan pemberitahuan dengan parameter berikut:
- Metrik:
edgecontainer.googleapis.com/machine/disk/utilization - Cakupan: Metrik ini secara khusus melaporkan pemakaian disk dari sistem file partisi sistem lokal node (
/dev/mapper/shared_lpvs_encrypted). - Threshold: Konfigurasikan nilai minimum pemberitahuan saat pemakaian disk lebih dari 85%. Tindakan ini akan mendeteksi saturasi disk sistem sebelum
peristiwa
DiskPressurenode keras terjadi.
Memantau kondisi penyimpanan workload
Anda dapat memantau kondisi penyimpanan workload menggunakan metrik volume Kubelet atau langsung menggunakan telemetri tingkat aplikasi, bergantung pada mode volume yang digunakan oleh workload.
Mode volume
Filesystem. Anda dapat memantau volume sistem file menggunakan Prometheus dengan meng-scrape metrik volume Kubelet berikut:kubelet_volume_stats_capacity_byteskubelet_volume_stats_available_byteskubelet_volume_stats_used_byteskubelet_volume_stats_inodes_usedkubelet_volume_stats_inodes_free
Mode volume
Block. Volume blok mentah tidak terlihat oleh Kubelet. Untuk memantau kondisinya, Anda harus menggunakan metrik tingkat aplikasi atau Symcloud Storage.
Pemantauan multi-cluster
Jika Anda mengelola banyak cluster Distributed Cloud terhubung, sebaiknya gunakan Cloud Monitoring untuk menggabungkan dan memfilter metrik.
Menggunakan label resource: Metrik yang diekspor ke Cloud Monitoring menyertakan label yang mengidentifikasi sumber. Label yang tersedia bergantung pada jenis resource:
Untuk metrik cluster dan container, seperti
k8s_container, label kunci mencakup nilai berikut:project_id: Project Google Cloud yang menghosting cluster.location: Region Google Cloud tempat cluster terdaftar.cluster_name: Nama cluster.
Untuk metrik hardware, seperti
edgecontainer.googleapis.com/machine, label kunci mencakup nilai berikut:resource_container: Project Google Cloud yang terkait dengan hardware.location: Region Google Cloud tempat zona terhubung Distributed Cloud terdaftar.machine_id: ID mesin.
Metrik hardware tidak menyertakan label
cluster_namesecara langsung.
Membuat dasbor kustom: Buat dasbor yang menampilkan indikator kondisi utama di seluruh fleet Anda. Indikator kondisi utama mencakup konektivitas, status VM, dan penggunaan resource. Untuk menampilkan data dari beberapa cluster dalam satu diagram, gunakan karakter pengganti atau operasi group-by.
Menyiapkan pemberitahuan multi-cluster: Konfigurasikan kebijakan pemberitahuan yang berlaku untuk beberapa cluster. Misalnya, Anda dapat membuat pemberitahuan yang terpicu jika mesin apa pun di cluster mana pun kehilangan konektivitas.
Strategi pemberitahuan
Pemantauan dan pemeliharaan Distributed Cloud yang terhubung adalah tanggung jawab bersama. Bagian ini menjelaskan hal-hal yang diberitahukan oleh Google dan cara Anda mengonfigurasi kebijakan pemberitahuan Anda sendiri.
Hal yang diberitahukan Google Alerts
Google terus memantau infrastruktur yang mendasarinya. Sistem ini akan mengambil tindakan dan memberi tahu Anda jika diperlukan untuk situasi berikut:
- Kegagalan hardware: Kegagalan catu daya, kegagalan kipas, panas berlebih, atau kegagalan disk, seperti disk yang mencapai batas cadangan atau akhir masa pakainya. Google terus memantau kondisi perangkat penyimpanan internalnya dan memicu penggantian otomatis saat perangkat penyimpanan gagal.
- Masalah konektivitas: Hilangnya koneksi sepenuhnya antara zona Distributed Cloud yang terhubung dan Google Cloud.
- Kesehatan bidang kontrol: Kegagalan di bidang kontrol Kubernetes atau layanan sistem yang dikelola Google.
- Kegagalan upgrade: Proses upgrade otomatis yang macet atau gagal.
Mengonfigurasikan pemberitahuan
Konfigurasikan kebijakan pemberitahuan Anda sendiri di Cloud Monitoring atau di Prometheus untuk masalah yang memengaruhi workload atau lingkungan lokal Anda.
Untuk mengonfigurasi pemberitahuan di Cloud Monitoring, gunakan konsol Google Cloud atau Cloud Monitoring API. Untuk mengetahui petunjuk selengkapnya, lihat Membuat kebijakan pemberitahuan. Anda dapat membuat kebijakan pemberitahuan berdasarkan metrik yang didokumentasikan dalam Log dan metrik.
Jika Anda menggunakan Prometheus untuk mengumpulkan metrik, tentukan aturan pemberitahuan Prometheus standar dalam konfigurasi Prometheus Anda.
Anda dapat menyiapkan notifikasi untuk masalah berikut:
| Masalah | Deskripsi | Sistem pemantauan | Detail |
|---|---|---|---|
| Periode nonaktif workload | Pod atau VM gagal dimulai atau mengalami crash-looping | Prometheus | Untuk workload container, buat pemberitahuan di kube_pod_status_phase untuk mendeteksi Pod dalam fase Failed atau Unknown. Anda juga dapat memberikan pemberitahuan tentang kube_pod_container_status_waiting_reason jika nilainya sama dengan CrashLoopBackOff atau ImagePullBackOff. |
| Cloud Monitoring | Untuk workload VM yang berjalan di Pod, siapkan pemberitahuan menggunakan metrik container Kubernetes standar di Cloud Monitoring untuk melacak status Pod virt-launcher. |
||
| Kehabisan resource workload | Penggunaan disk mendekati kapasitas, atau penggunaan memori atau CPU yang tinggi pada workload | Prometheus | Untuk workload container, tetapkan pemberitahuan nilai minimum pada container_cpu_usage_seconds_total dan container_memory_working_set_bytes (dari cAdvisor) untuk mengidentifikasi Pod yang mendekati batas resource-nya. |
| Cloud Monitoring | Untuk penyimpanan mesin, pantau metrik penggunaan disk mesin edgecontainer.googleapis.com/machine/disk/utilization untuk mendeteksi kapan penyimpanan node mendekati kapasitas. |
||
| Masalah jaringan lokal | Penurunan antarmuka jaringan di mesin | Cloud Monitoring | Pantau apakah metrik aktif jaringan mesin edgecontainer.googleapis.com/machine/network/up adalah false.
|
| Koneksi internet terputus | Cloud Monitoring | Pantau apakah metrik konektivitas jaringan edgecontainer.googleapis.com/machine/network/connectivity adalah false.
|
|
| Memulai ulang mesin | Reboot atau penonaktifan mesin yang tidak terduga | Cloud Monitoring | Mengonfigurasi pemberitahuan dengan metrik edgecontainer.googleapis.com/machine/uptime dan edg/1.13.0/docs/ogleapis.com/machine/restart_count. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah mulai ulang mesin. |
| Penyimpanan sistem habis | Ruang penyimpanan sistem habis | Cloud Monitoring | Konfigurasikan pemberitahuan dengan edgecontainer.googleapis.com/machine/disk/utilization/1.13.0/docs/informasi selengkapnya, lihat Memantau kondisi penyimpanan sistem. |
Hardware Distributed Cloud terhubung dikelola oleh Google. Anda tidak memiliki akses SSH ke mesin atau kontrol atas sistem operasi host. Jika pemberitahuan berdasarkan metrik tingkat mesin diaktifkan, seperti konektivitas jaringan atau memulai ulang, item tindakan Anda terbatas pada memeriksa daya fisik, kabel, serta konfigurasi jaringan dan firewall lokal, atau mengeskalasi masalah ke Dukungan Google.