Memastikan resource untuk upgrade node

Halaman ini menjelaskan cara memastikan bahwa Anda dapat menggunakan strategi upgrade node untuk melakukan perubahan pada node cluster. Sebaiknya verifikasi apakah project Anda memiliki resource yang cukup untuk mengupdate node pool Google Kubernetes Engine (GKE) Standard, bergantung pada strategi yang Anda pilih.

Resource yang diperlukan untuk upgrade node

Upgrade node mungkin mengharuskan GKE untuk membuat node tambahan untuk sementara, bergantung pada strategi dan konfigurasi node yang Anda pilih. Oleh karena itu, GKE mungkin memerlukan resource tambahan untuk upgrade node pool.

Semua node yang dibuat GKE, termasuk node yang digunakan untuk upgrade, bergantung pada kuota resource project Anda, ketersediaan resource, dan kapasitas pemesanan, untuk node pool dengan afinitas pemesanan tertentu.

Kami sangat menyarankan untuk memverifikasi bahwa Anda memiliki resource yang memadai jika memiliki persyaratan jenis mesin dan batasan kapasitas khusus. Anda mungkin perlu mengonfigurasi strategi yang memerlukan lebih sedikit resource untuk memastikan bahwa Anda dapat mengupgrade node, atau melakukan tindakan lain seperti membuat pemesanan. Untuk mempelajari lebih lanjut, lihat Mengupgrade di lingkungan dengan resource terbatas.

Resource yang diperlukan untuk berbagai strategi upgrade

Bagian berikut menjelaskan resource tambahan yang diperlukan untuk menggunakan strategi upgrade yang tersedia. Jika Anda mengalami masalah upgrade, periksa operasi upgrade dan ikuti petunjuk untuk menyelesaikan error upgrade.

Resource untuk upgrade lonjakan

Upgrade lonjakan adalah strategi upgrade node default. Karena upgrade lonjakan membuat VM tambahan—jika maxSurge ditetapkan ke lebih dari nol—sebelum mengosongkan dan menghapus node lama, upgrade dapat gagal jika project Anda tidak memiliki cukup resource.

Jika resource yang tersedia kurang dari jumlah node yang ditentukan di maxSurge, jumlah upgrade paralel akan kurang dari maxSurge ditambah maxUnavailable. Jika Anda tidak memiliki kapasitas tambahan, lihat cara mengupgrade di lingkungan dengan resource terbatas.

Tabel berikut menjelaskan contoh untuk menunjukkan berbagai perilaku upgrade:

Setelan Upgrade Jumlah node tambahan yang diizinkan berdasarkan resource yang tersedia Hasil
maxSurge: 5 maxUnavailable: 0 5 Mengupgrade 5 node secara paralel.
maxSurge: 5 maxUnavailable: 0 2 Hanya mengupgrade 2 node secara paralel.
maxSurge: 5 maxUnavailable: 0 0 Upgrade gagal, karena node tambahan tidak dapat dimunculkan dan memulai ulang node yang sudah ada dilarang oleh setelan upgrade. GKE akan terus mencoba melakukan upgrade otomatis hingga operasi berhasil.
maxSurge: 5 maxUnavailable: 1 5 Mengupgrade 6 node secara paralel, sekaligus memastikan node pool hanya kehilangan satu node karena upgrade.
maxSurge: 5 maxUnavailable: 1 2 Hanya mengupgrade 3 node secara paralel, sekaligus memastikan node pool tidak kekurangan lebih dari satu node karena upgrade.
maxSurge: 5 maxUnavailable: 1 0 Hanya mengupgrade 1 node pada satu waktu dengan membuat ulang setiap node dengan metode upgrade berkelanjutan.

Resource untuk upgrade blue-green

Upgrade blue-green menggandakan jumlah node dalam node pool untuk sementara, yang berarti node pool Anda memerlukan resource dua kali lebih banyak untuk sementara. Jika Anda tidak memiliki cukup resource yang tersedia dan telah mengonfigurasi node pool untuk menggunakan strategi ini, konfigurasikan upgrade lonjakan jika Anda perlu membatalkan pemblokiran upgrade. Saat mengonfigurasi strategi ini, pastikan Anda mengonfigurasi parameter upgrade lonjakan yang akan berfungsi dengan resource yang tersedia untuk node di node pool. Untuk mempelajari lebih lanjut, lihat bagian sebelumnya, Resource untuk upgrade lonjakan.

Memeriksa operasi upgrade untuk kegagalan terkait resource

Anda dapat menemukan informasi selengkapnya tentang operasi upgrade serta informasi tentang kegagalan upgrade dengan memeriksa objek operasi upgrade Anda. Untuk menampilkan daftar objek operasi upgrade, jalankan perintah berikut:

gcloud container operations list \
    --filter="STATUS=DONE AND TYPE=UPGRADE_NODES AND targetLink:https://container.googleapis.com/v1/projects/PROJECT_ID/zones/COMPUTE_ZONE/clusters/CLUSTER_NAME"

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud Anda.
  • COMPUTE_ZONE: zona Compute Engine untuk cluster Anda.
  • CLUSTER_NAME: nama cluster Anda.

Jika upgrade terbaru Anda gagal karena kuota resource tidak mencukupi, outputnya akan seperti berikut ini:

gcloud container operations describe operation-1234567891234-1abc2d3e
detail: "Insufficient quota to satisfy the request: waiting on IG: instance https://www.googleapis.com/compute/v1/projects/my-project-123/zones/us-central1-a/instances/gke-my-cluster-default-pool-123ab45c-de67\
  \ is still CREATING. Last attempt errors: [QUOTA_EXCEEDED] Instance 'gke-my-cluster-default-pool-123ab45c-de67'\
  \ creation failed: Quota 'IN_USE_ADDRESSES' exceeded.  Limit: 50.0 in region us-central1.\
...

Jika alasannya adalah karena pemesanan yang tidak memadai, output-nya akan seperti berikut:

gcloud container operations describe operation-1234567891234-1abc2d3e
detail: "Reservation does not have enough resources for the request: waiting on IG:\
  \ instance https://www.googleapis.com/compute/v1/projects/my-project-123/zones/us-central1-a/instances/gke-my-cluster-default-pool-123ab45c-de67\
  \ is still CREATING. Last attempt error: [CONDITION_NOT_MET] Instance 'gke-my-cluster-default-pool-123ab45c-de67'\
  \ creation failed: Specified reservation 'foo' does not have available resources\
  \ for the request."

Jika alasannya adalah kapasitas yang tidak memadai, Anda akan melihat pesan error ketersediaan resource.

Mengatasi error upgrade

Jika upgrade Anda gagal karena resource tidak mencukupi, coba langkah-langkah berikut:

  1. Pertimbangkan strategi upgrade yang tidak terlalu menggunakan banyak resource. Jika Anda menggunakan upgrade blue-green, pertimbangkan upgrade lonjakan.
  2. Periksa apakah ada resource Compute Engine di project Anda yang memakai resource dan tidak lagi diperlukan. Jika Anda menemukannya, hapus dan coba upgrade lagi.
  3. Jika dua langkah pertama tidak dapat berhenti memblokir upgrade, minta penambahan kuota atau perbesar ukuran pemesanan tertentu.
  4. Jika Anda beroperasi di lingkungan dengan resource terbatas, misalnya, persyaratan jenis mesin khusus dan batasan kapasitas, lihat bagian berikutnya untuk mengetahui langkah-langkah menghentikan pemblokiran upgrade.

Mengupgrade di lingkungan dengan resource terbatas

Jika Google Cloud memiliki kapasitas terbatas untuk resource tertentu yang digunakan node pool Anda, sebaiknya Anda menggunakan pemesanan untuk GPU dan TPU. Untuk node pool yang hanya berisi CPU, sebaiknya Anda mengupgrade CPU menggunakan kapasitas tetap.

Kedua strategi ini dapat membantu memastikan bahwa Anda memiliki resource yang memadai untuk melakukan upgrade versi atau update node pool. Jika tidak memiliki resource yang memadai, Anda mungkin tidak dapat mengupdate node hingga Anda dapat mengakses lebih banyak kapasitas.

Jika tidak memiliki kapasitas tambahan, Anda tidak dapat menggunakan upgrade blue-green.

Saat Anda menggunakan upgrade lonjakan di lingkungan dengan resource terbatas, perhatikan hal-hal berikut:

Gunakan panduan berikut, bergantung pada apakah Anda memiliki pemesanan untuk node pool yang perlu diupgrade.

Upgrade dengan kapasitas tetap

Untuk CPU, guna mengupgrade di lingkungan dengan resource terbatas, gunakan kapasitas tetap. Untuk melakukannya, gunakan upgrade lonjakan dan tetapkan setelan maxUnavailable ke nilai yang lebih besar dari nol. Untuk mengetahui detailnya, lihat maxUnavailable: GKE membuat node yang ada tidak tersedia untuk membuatnya kembali.

Dengan menggunakan kapasitas tetap, Anda dapat melakukan upgrade versi dan sebagian besar update node pool saat tidak bisa mendapatkan kapasitas tambahan, serta membantu mencegah hilangnya kapasitas yang ada selama operasi.

Mengupgrade dengan kapasitas terbatas menggunakan pemesanan

Untuk GPU dan TPU, agar dapat melakukan upgrade di lingkungan dengan kapasitas terbatas, gunakan pemesanan dan sesuaikan setelan upgrade lonjakan untuk kecepatan dan keandalan.

Jika memiliki kapasitas tambahan dalam pemesanan, Anda dapat menggunakan maxSurge untuk membuat node lonjakan. Tetapkan maxSurge bergantung pada jumlah node yang ingin Anda ganggu sekaligus, dan jumlah kapasitas tambahan yang Anda miliki. Misalnya, tetapkan maxSurge=1;maxUnavailable=0 jika Anda hanya ingin mengganggu satu node dalam satu waktu, atau jika Anda hanya memiliki kapasitas untuk membuat satu node tambahan.

Jika tidak memiliki kapasitas tambahan, Anda dapat menggunakan maxUnavailable dengan konfigurasi seperti maxSurge=0;maxUnavailable=1, karena kapasitasnya dicadangkan. Konfigurasi ini mengganggu satu node pada satu waktu, dengan membuat ulang node untuk mengupdatenya. Sebaiknya gunakan pendekatan ini untuk melakukan pemeliharaan host untuk node yang menjalankan workload pelatihan dan inferensi.

Langkah berikutnya