Memecahkan masalah pengelola controller Kubernetes

Halaman ini menunjukkan cara menyelesaikan masalah terkait pengelola pengontrol Kubernetes (kube-controller-manager) untuk Google Distributed Cloud.

Pemilihan pemimpin gagal

Error ini mungkin terlihat di cluster regional atau bidang kontrol yang direplikasi saat kube-controller-manager (KCM) dimulai ulang secara tidak terduga. Mulai ulang ini mungkin melibatkan penghentian sendiri atau dimulai ulang oleh kubelet. Log KCM mungkin menyertakan pesan leaderelection lost.

Skenario ini dapat terjadi saat pemimpin memeriksa apakah pemimpin masih aktif memimpin sebagai bagian dari health check KCM.

Jika pemimpin tidak lagi memimpin atau pemeriksaan sewa gagal, health check akan melaporkan bahwa pemimpin tidak responsif, dan pemimpin akan dimulai ulang.

Status pemilihan pemimpin dapat diambil dengan mendapatkan resource Lease dari grup coordination.k8s.io:

  1. Untuk melihat semua sewa, jalankan perintah kubectl berikut:

    kubectl -n kube-system get lease

  2. Untuk memeriksa status sewa tertentu, seperti lease/kube-controller-manager, gunakan perintah kubectl describe berikut:

    kubectl -n kube-system describe lease/kube-controller-manager

    Di bagian Events, periksa peristiwa LeaderElection. Tinjau siapa yang mengambil kepemimpinan dan kapan hal itu terjadi. Output contoh berikut menunjukkan bahwa saat node pertama dimatikan secara manual, node kedua langsung mengambil alih kepemimpinan:

    Events:
  Type    Reason          Age    From                     Message
  ----    ------          ----   ----                     -------
  Normal  LeaderElection  26m    kube-controller-manager  control-plane_056a86ec-84c5-48b8-b58d-86f3fde2ecdd became leader
  Normal  LeaderElection  5m20s  kube-controller-manager  control-plane2_b0475d49-7010-4f03-8a9d-34f82ed60cd4 became leader

    Anda juga dapat mengamati proses kehilangan dan mendapatkan kepemimpinan menggunakan metrik kubernetes.io/anthos/leader_election_master_status yang dikelompokkan menurut name.

Proses pemilihan pemimpin hanya terjadi jika pemimpin saat ini gagal. Anda dapat mengonfirmasi kegagalan dengan melihat metrik kubernetes.io/anthos/container/uptime dan kubernetes.io/anthos/container/restart_count yang difilter menurut container_name dari kube-controller-manager.

Jika Anda mengalami masalah terkait proses pemilihan pemimpin yang berulang kali berjalan atau gagal, tinjau pertimbangan perbaikan berikut:

  • Jika KCM dimulai ulang setiap beberapa menit atau kurang, periksa log KCM untuk mengetahui permintaan yang gagal ke server API. Permintaan yang gagal menunjukkan masalah konektivitas antara komponen atau bagian dari layanan kelebihan beban.
  • Jika pengelola pengontrol gagal berkomunikasi dengan server API terlalu lama, perpanjangan akan gagal dan instance KCM akan kehilangan kepemimpinannya, meskipun koneksi dipulihkan nanti.
  • Jika bidang kontrol direplikasi, pemimpin baru harus mengambil alih dengan lancar tanpa waktu nonaktif. Anda tidak perlu melakukan tindakan apa pun. Bidang kontrol cluster multi-cloud atau regional selalu direplikasi. Jangan mencoba menonaktifkan pemilihan pemimpin untuk bidang kontrol yang direplikasi. Anda tidak dapat mengaktifkan kembali pemilihan pemimpin tanpa waktu nonaktif.

Langkah berikutnya

Jika Anda memerlukan bantuan tambahan, hubungi