Melewati versi saat mengupgrade node pool

Upgrade lewati versi memungkinkan Anda melewati versi minor saat mengupgrade node pool worker setelah mengupgrade bidang kontrol cluster pengguna, yang mengurangi jumlah siklus pengosongan dan reboot node. Misalnya, jika worker node pool berada di versi 1.29, Anda dapat mengupgrade bidang kontrol cluster pengguna ke 1.30, lalu ke 1.31, dan kemudian mengupgrade worker node pool langsung dari 1.29 ke 1.31. Kemampuan ini didukung di cluster lanjutan dan non-lanjutan, kecuali di cluster lanjutan versi 1.31 dan software Google Distributed Cloud khusus untuk VMware versi sebelum 1.28.

Sebelum memulai, pastikan Anda memahami Ringkasan upgrade, Aturan versi upgrade, Praktik terbaik upgrade, dan Mengupgrade cluster.

Batasan

Berikut adalah batasan upgrade lewati versi:

  • Upgrade lewati versi didukung untuk node pool Ubuntu dan Container-Optimized OS, tetapi tidak untuk node pool Windows.

  • Versi 1.31: fitur ini tidak tersedia di cluster lanjutan.

  • Versi 1.32 dan yang lebih baru: fitur ini tersedia di cluster lanjutan.

  • Node pool load balancer (node pool dengan enableLoadBalancer: true) tidak mendukung upgrade lewati versi atau ketidaksesuaian versi. Versi node pool load balancer harus cocok dengan versi cluster.

  • Karena batasan Kubernetes, bidang kontrol cluster pengguna harus diupgrade satu versi minor dalam satu waktu. Namun, perlu diperhatikan bahwa mengupgrade hanya bidang kontrol memerlukan waktu yang jauh lebih singkat dan lebih sedikit risiko dibandingkan mengupgrade node pool tempat workload Anda berjalan.

Manfaat upgrade lewati versi

Bagian ini menjelaskan beberapa manfaat menggunakan upgrade lewati versi.

Lebih mudah untuk mempertahankan cluster Anda dalam versi yang didukung

Versi minor Google Distributed Cloud baru dirilis setiap empat bulan, dan setiap versi minor memiliki periode dukungan satu tahun. Agar cluster Anda tetap berada dalam periode yang didukung, Anda harus melakukan upgrade versi minor kira-kira setiap empat bulan, seperti yang ditunjukkan berikut ini:

Des

Jan

Feb

Mar

Apr

Mei

Jun

Jul

Agu

Sep

Okt

Nov

Des

Jan

Feb

Mar

Apr

Mei

Jun

Jul

Agu

Sep

Okt

Nov

Des

Jan

Feb

Mar

1,14 Upgrade
1,15 Upgrade
1.16 Upgrade
1,28 Upgrade
1,29 Upgrade

Persyaratan ini menimbulkan tantangan saat Anda memerlukan periode validasi yang lama untuk memverifikasi versi minor baru dan masa pemeliharaan yang singkat untuk mengupgrade cluster ke versi minor baru. Untuk mengatasi tantangan ini, Anda dapat menggunakan upgrade lewati versi, yang memungkinkan cluster Anda tetap berada dalam periode yang didukung dengan mengupgrade cluster setiap delapan bulan, bukan setiap empat bulan. Tabel berikut menunjukkan bahwa melewati upgrade untuk versi 1.15 berarti Anda hanya melakukan upgrade setelah delapan bulan, bukan empat bulan.

Des

Jan

Feb

Mar

Apr

Mei

Jun

Jul

Agu

Sep

Okt

Nov

Des

Jan

Feb

Mar

Apr

Mei

Jun

Jul

Agu

Sep

Okt

Nov

Des

Jan

Feb

Mar

1,14 Upgrade
1,15
1.16 Upgrade
1,28
1,29

Melewati satu versi minor saat mengupgrade node pool akan mengurangi jumlah upgrade yang diperlukan untuk tetap menggunakan versi yang didukung. Selain itu, Anda tidak perlu menguji versi minor yang dilewati karena versi tersebut hanya digunakan oleh bidang kontrol untuk sementara.

Masa pemeliharaan yang lebih singkat

Dengan upgrade lewati versi, Anda tidak perlu memperbesar masa pemeliharaan. Melewati versi minor saat mengupgrade node pool memerlukan waktu yang sama dengan mengupgrade node pool ke versi minor berikutnya karena setiap node dalam node pool dikosongkan dan dibuat ulang satu kali. Oleh karena itu, upgrade lewati versi menghemat waktu secara keseluruhan dan mengurangi gangguan workload.

Ringkasan

Singkatnya, upgrade lewati versi memberikan manfaat berikut:

  • Mendapatkan cluster ke versi yang didukung: Google Distributed Cloud mendukung tiga versi minor terbaru. Jika cluster Anda menggunakan versi yang tidak didukung, bergantung pada versi cluster, melewati versi minor saat mengupgrade node pool dapat membuat cluster Anda menggunakan versi yang didukung dengan lebih sedikit upgrade.

  • Menghemat waktu: Melewati versi minor saat mengupgrade node pool memerlukan waktu yang sama dengan mengupgrade node pool ke versi minor berikutnya. Oleh karena itu, upgrade lewati versi memerlukan waktu sekitar setengah dari waktu upgrade node pool dua kali. Demikian pula, dengan upgrade lewati versi, Anda hanya memiliki satu periode validasi, dibandingkan dengan dua periode validasi pada upgrade reguler.

  • Mengurangi gangguan: Jangka waktu yang lebih lama di antara upgrade dan lebih sedikit waktu yang dihabiskan untuk mengupgrade dan memvalidasi berarti workload Anda berjalan lebih lama dengan lebih sedikit gangguan.

Mengontrol versi bidang kontrol dan node pool selama upgrade

Dalam file konfigurasi cluster pengguna, kolom nodePools[i].gkeOnPremVersion memungkinkan node pool tertentu menggunakan versi yang berbeda dari kolom gkeOnPremVersion level teratas. Dengan mengubah nilai kolom nodePools[i].gkeOnPremVersion, Anda mengontrol kapan node pool diupgrade saat Anda menjalankan gkectl upgrade cluster. Jika Anda tidak menyertakan nodePools[i].gkeOnPremVersion dalam file konfigurasi, atau jika Anda menetapkan kolom ke string kosong, node pool akan diupgrade ke versi target yang sama dengan yang Anda tentukan di gkeOnPremVersion.

Urutan upgrade lewati versi

Urutan upgrade cluster admin dan pengguna bergantung pada versi cluster yang Anda upgrade, yang disebut sebagai versi target:

1.32 dan yang lebih baru

Gunakan urutan ini jika versi target adalah 1.32 atau yang lebih tinggi. Misalnya, bidang kontrol cluster pengguna dan semua node pool Anda berada di versi minor 1.N. Secara umum, mengupgrade cluster Anda dari 1.N ke 1.N+2 menggunakan upgrade lewati versi berfungsi sebagai berikut:

  1. Upgrade cluster admin dari versi 1.N ke versi perantara, 1.N+1.
  2. Upgrade cluster admin dari versi perantara, 1.N+1 ke versi target 1.N+2.
  3. Upgrade hanya bidang kontrol cluster pengguna dari versi sumber, 1.N, ke versi perantara, 1.N+1. Biarkan node pool pada versi sumber. Versi perantara diperlukan karena bidang kontrol harus diupgrade satu versi minor dalam satu waktu.
  4. Upgrade bidang kontrol dan node pool ke versi target, 1.N+2.

1,31

Gunakan urutan khusus ini jika cluster pengguna berada di versi 1.29, yang berarti versi targetnya adalah 1.31. Jika cluster pengguna berada di versi 1.29, cluster admin yang mengelola cluster pengguna tersebut dapat berada di versi 1.16, 1.28, atau 1.29.

  1. Jika cluster admin Anda menggunakan versi 1.16, upgrade ke versi 1.28.
  2. Jika cluster admin Anda menggunakan versi 1.28, upgrade ke versi 1.29.
  3. Upgrade hanya bidang kontrol cluster pengguna dari versi sumber, 1.29, ke versi perantara, 1.30. Membiarkan node pool pada versi sumber. Versi 1.30 perantara diperlukan karena bidang kontrol harus diupgrade satu versi minor dalam satu waktu.
  4. Upgrade cluster admin dari versi 1.29 ke versi perantara, 1.30.
  5. Upgrade cluster admin ke versi target, 1.31.
  6. Upgrade bidang kontrol cluster pengguna dan node pool ke versi target, 1.31.

1.30 dan yang lebih lama

Gunakan urutan ini jika versi target adalah 1.30 atau yang lebih rendah.

Misalkan bidang kontrol cluster pengguna dan semua node pool Anda berada di versi minor 1.N. Secara umum, mengupgrade cluster Anda dari 1.N ke 1.N+2 menggunakan upgrade lewati versi berfungsi sebagai berikut:

  1. Upgrade hanya bidang kontrol dari versi sumber, 1.N, ke versi perantara 1.N+1. Membiarkan node pool pada versi sumber. Versi perantara diperlukan karena bidang kontrol harus diupgrade satu versi minor dalam satu waktu.
  2. Upgrade bidang kontrol dan node pool ke versi target 1.N+2.

Melakukan upgrade lewati versi

Bagian ini memberikan langkah-langkah untuk melakukan upgrade lewati versi.

Sebelum memulai

  1. Pastikan versi cluster saat ini (versi sumber) adalah versi 1.16 atau yang lebih tinggi. Pastikan untuk memeriksa versi bidang kontrol (gkeOnPremVersion) dan semua node pool (nodePools[i].gkeOnPremVersion).

  2. Di versi 1.29 dan yang lebih baru, pemeriksaan preflight sisi server diaktifkan secara default. Pastikan untuk meninjau aturan firewall Anda untuk melakukan perubahan yang diperlukan.

  3. Untuk mengupgrade ke versi 1.28 dan yang lebih baru, Anda harus mengaktifkan kubernetesmetadata.googleapis.com dan memberikan peran Identity and Access Management (IAM) kubernetesmetadata.publisher ke akun layanan logging-monitoring. Untuk mengetahui detailnya, lihat Persyaratan Google API dan IAM.

Melakukan upgrade

1.32 dan yang lebih baru

Gunakan urutan ini jika versi target adalah 1.32 atau yang lebih baru.

Sebelum memulai, pastikan cluster admin Anda setidaknya berada di versi minor yang sama (1.N) dengan cluster pengguna Anda. Jika cluster pengguna Anda menggunakan versi 1.30 dan cluster admin Anda menggunakan versi 1.28 atau 1.29, upgrade cluster admin Anda satu versi minor sekaligus hingga mencapai 1.30. Jika Anda telah mengupgrade cluster admin ke 1.N+1 atau 1.N+2—misalnya, saat mengupgrade cluster pengguna lain—lewati langkah-langkah upgrade cluster admin yang telah selesai.

  1. Tentukan versi sumber (1.N), versi perantara (1.N+1), dan versi target (1.N+2) dalam variabel placeholder berikut. Tentukan nomor versi lengkap dalam bentuk X.Y.Z-gke.N, seperti 1.34.1100-gke.125:

    Deskripsi Versi
    Mendapatkan versi cluster pengguna saat ini. Ini adalah versi sumber (1.N). SOURCE_VERSION
    Pilih versi menengah (1.N+1). INTERMEDIATE_VERSION
    Pilih patch yang direkomendasikan dari versi minor target (1.N+2). TARGET_VERSION
  2. Upgrade workstation admin dan cluster admin dari versi sumber (1.N) ke versi perantara (1.N+1):

    1. Upgrade workstation admin Anda ke versi perantara, INTERMEDIATE_VERSION, dan tunggu hingga upgrade berhasil.

    2. Impor image OS dari paket perantara ke vSphere:

      gkectl prepare \
          --bundle-path /var/lib/gke/bundles/gke-onprem-vsphere-INTERMEDIATE_VERSION.tgz \
          --kubeconfig ADMIN_CLUSTER_KUBECONFIG
      

      Ganti ADMIN_CLUSTER_KUBECONFIG dengan jalur ke file kubeconfig cluster admin Anda.

    3. Tetapkan kolom bundlePath di file konfigurasi cluster admin ke paket perantara:

      bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-INTERMEDIATE_VERSION.tgz"
      
    4. Upgrade cluster admin ke versi perantara:

      gkectl upgrade admin \
          --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
          --config ADMIN_CLUSTER_CONFIG_FILE
      

      Ganti ADMIN_CLUSTER_CONFIG_FILE dengan jalur ke file konfigurasi cluster admin Anda.

  3. Upgrade workstation admin dan cluster admin dari versi perantara (1.N+1) ke versi target (1.N+2):

    1. Upgrade workstation admin Anda ke versi target, TARGET_VERSION, dan tunggu hingga upgrade berhasil.

    2. Impor image OS dari paket target ke vSphere:

      gkectl prepare \
          --bundle-path /var/lib/gke/bundles/gke-onprem-vsphere-TARGET_VERSION.tgz \
          --kubeconfig ADMIN_CLUSTER_KUBECONFIG
      
    3. Tetapkan kolom bundlePath di file konfigurasi cluster admin ke paket target:

      bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-TARGET_VERSION.tgz"
      
    4. Upgrade cluster admin ke versi target:

      gkectl upgrade admin \
          --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
          --config ADMIN_CLUSTER_CONFIG_FILE
      
  4. Upgrade hanya bidang kontrol cluster pengguna dari versi sumber (1.N) ke versi perantara (1.N+1):

    1. Buat perubahan berikut dalam file konfigurasi cluster pengguna:

      • Tetapkan kolom gkeOnPremVersion ke versi perantara, INTERMEDIATE_VERSION.

      • Tetapkan semua versi node pool worker di nodePools[i].gkeOnPremVersion ke versi sumber, SOURCE_VERSION. Jika cluster Anda memiliki node pool load balancer (enableLoadBalancer: true), tetapkan kolom gkeOnPremVersion-nya ke string kosong ("") agar diupgrade dengan bidang kontrol.

      Setelah Anda mengupdate file konfigurasi, file tersebut akan terlihat seperti contoh berikut:

      gkeOnPremVersion: INTERMEDIATE_VERSION
      # Omitted fields
      nodePools:
      - name: pool-1
        gkeOnPremVersion: SOURCE_VERSION
        # Omitted fields
      - name: pool-2
        gkeOnPremVersion: SOURCE_VERSION
        # Omitted fields
      
    2. Upgrade bidang kontrol cluster pengguna:

      gkectl upgrade cluster \
          --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
          --config USER_CLUSTER_CONFIG_FILE
      

      Ganti USER_CLUSTER_CONFIG_FILE dengan jalur ke file konfigurasi cluster pengguna Anda.

  5. Upgrade bidang kontrol cluster pengguna dan worker node pool ke versi target (1.N+2):

    1. Buat perubahan berikut dalam file konfigurasi cluster pengguna:

      • Tetapkan kolom gkeOnPremVersion ke versi target, TARGET_VERSION.

      • Tetapkan nodePools[i].gkeOnPremVersion untuk setiap node pool ke string kosong ("").

      Setelah Anda mengupdate file konfigurasi, file tersebut akan terlihat seperti contoh berikut:

      gkeOnPremVersion: TARGET_VERSION
      # Omitted fields
      nodePools:
      - name: pool-1
        gkeOnPremVersion: ""
        # Omitted fields
      - name: pool-2
        gkeOnPremVersion: ""
        # Omitted fields
      
    2. Upgrade bidang kontrol dan node pool cluster pengguna:

      gkectl upgrade cluster \
          --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
          --config USER_CLUSTER_CONFIG_FILE
      

1,31

Gunakan urutan khusus ini jika cluster pengguna menggunakan versi 1.29, yang berarti versi targetnya adalah 1.31. Urutan ini diperlukan karena aturan versi berubah di versi 1.31.

Jika cluster pengguna berada di versi 1.29, cluster admin yang mengelola cluster pengguna tersebut dapat berada di versi 1.16, 1.28, atau 1.29.

  1. Jika cluster admin Anda menggunakan versi 1.16, ikuti langkah-langkah untuk mengupgrade workstation admin dan mengupgrade cluster admin ke versi 1.28.

  2. Jika cluster admin Anda menggunakan versi 1.28, ikuti langkah-langkah untuk mengupgrade workstation admin dan mengupgrade cluster admin ke versi 1.29.

  3. Untuk menghemat ruang di workstation admin, hapus paket yang didownload:

    rm /var/lib/gke/bundles/gke-onprem-vsphere-*.tgz
    

Jika cluster admin dan semua cluster pengguna berada di versi 1.29, Anda dapat memulai upgrade versi lewati.

  1. Tentukan versi sumber (1.29), versi perantara (1.30), dan versi target (1.31) dalam variabel placeholder berikut. Semua versi harus berupa nomor versi lengkap dalam bentuk x.y.z-gke.N seperti 1.29.700-gke.110.

    Versi
    Dapatkan versi 1.29 cluster pengguna saat ini. Ini adalah versi sumber. SOURCE_VERSION
    Pilih versi 1.30 menengah. INTERMEDIATE_VERSION
    Pilih versi target 1.31. Pilih patch yang direkomendasikan dari versi minor 1.31. TARGET_VERSION
  2. Upgrade workstation admin Anda ke versi 1.30 perantara, INTERMEDIATE_VERSION. Tunggu pesan yang menunjukkan bahwa upgrade berhasil.

  3. Instal paket yang sesuai:

    gkectl prepare \
        --bundle-path /var/lib/gke/bundles/gke-onprem-vsphere-INTERMEDIATE_VERSION.tgz \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    
  4. Upgrade workstation admin Anda lagi, tetapi kali ini ke versi 1.31 target, TARGET_VERSION. Tunggu pesan yang menunjukkan bahwa upgrade berhasil.

  5. Instal paket yang sesuai:

    gkectl prepare \
        --bundle-path /var/lib/gke/bundles/gke-onprem-vsphere-TARGET_VERSION.tgz \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    
  6. Upgrade hanya bidang kontrol cluster pengguna ke versi perantara sebagai berikut:

    1. Buat perubahan berikut dalam file konfigurasi cluster pengguna:

      • Tetapkan kolom gkeOnPremVersion ke versi perantara, INTERMEDIATE_VERSION.

      • Tetapkan semua versi node pool di nodePools[i].gkeOnPremVersion ke versi sumber, SOURCE_VERSION.

      Setelah mengupdate file konfigurasi, file tersebut akan terlihat seperti berikut:

      gkeOnPremVersion: INTERMEDIATE_VERSION
      ...
      nodePools:
      - name: pool-1
        gkeOnPremVersion: SOURCE_VERSION
        ...
      - name: pool-2
        gkeOnPremVersion: SOURCE_VERSION
        ...
      
    2. Upgrade bidang kontrol:

      gkectl upgrade cluster \
          --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
          --config USER_CLUSTER_CONFIG_FILE
      

      Ganti USER_CLUSTER_CONFIG dengan jalur file konfigurasi cluster pengguna Anda.

  7. Tetapkan kolom bundlePath dalam file konfigurasi cluster admin ke versi paket 1.30 perantara:

    bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-INTERMEDIATE_VERSION.tgz"
    
  8. Upgrade cluster admin ke versi 1.30 perantara:

    gkectl upgrade admin \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --config ADMIN_CLUSTER_CONFIG_FILE
    
  9. Tetapkan kolom bundlePath di file konfigurasi cluster admin ke versi 1.31 target paket:

    bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-TARGET_VERSION.tgz"
    
  10. Upgrade cluster admin ke versi 1.31 target:

    gkectl upgrade admin \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --config ADMIN_CLUSTER_CONFIG_FILE
    
  11. Upgrade bidang kontrol dan node pool ke versi target sebagai berikut:

    1. Buat perubahan berikut dalam file konfigurasi cluster pengguna:

      • Tetapkan kolom gkeOnPremVersion ke versi target, TARGET_VERSION.

      • Tetapkan semua nodePools[i].gkeOnPremVersion ke string kosong.

      Setelah mengupdate file konfigurasi, file tersebut akan terlihat seperti berikut:

      gkeOnPremVersion: TARGET_VERSION
      ...
      nodePools:
      - name: pool-1
        gkeOnPremVersion: ""
        ...
      - name: pool-2
        gkeOnPremVersion: ""
        ...
      
    2. Upgrade bidang kontrol dan node pool:

      gkectl upgrade cluster \
          --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
          --config USER_CLUSTER_CONFIG_FILE
      

1.30 dan yang lebih lama

Gunakan urutan ini jika versi target adalah 1.30 atau yang lebih rendah.

  1. Tentukan versi sumber (1.N), versi perantara (1.N+1), dan versi target (1.N+2) dalam variabel placeholder berikut. Semua versi harus berupa nomor versi lengkap dalam bentuk x.y.z-gke.N seperti 1.16.11-gke.25.

    Versi
    Mendapatkan versi cluster saat ini. Ini adalah versi sumber (1.N). SOURCE_VERSION
    Pilih versi perantara (1.N+1). INTERMEDIATE_VERSION
    Pilih versi target (1.N+2). Pilih patch yang direkomendasikan dari versi minor target. TARGET_VERSION
  2. Upgrade workstation admin Anda ke versi perantara, INTERMEDIATE_VERSION. Tunggu pesan yang menunjukkan bahwa upgrade berhasil.

  3. Instal paket yang sesuai:

    gkectl prepare \
        --bundle-path /var/lib/gke/bundles/gke-onprem-vsphere-INTERMEDIATE_VERSION.tgz \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    

    Ganti ADMIN_CLUSTER_KUBECONFIG dengan jalur file kubeconfig cluster admin Anda.

  4. Upgrade workstation admin Anda lagi, tetapi kali ini ke versi target, TARGET_VERSION. Tunggu pesan yang menunjukkan bahwa upgrade berhasil.

  5. Instal paket yang sesuai:

    gkectl prepare \
        --bundle-path /var/lib/gke/bundles/gke-onprem-vsphere-TARGET_VERSION.tgz \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    
  6. Upgrade hanya bidang kontrol ke versi perantara sebagai berikut:

    1. Buat perubahan berikut dalam file konfigurasi cluster pengguna:

      • Tetapkan kolom gkeOnPremVersion ke versi perantara, INTERMEDIATE_VERSION.

      • Tetapkan semua versi node pool di nodePools[i].gkeOnPremVersion ke versi sumber, SOURCE_VERSION.

      Setelah mengupdate file konfigurasi, file tersebut akan terlihat seperti berikut:

      gkeOnPremVersion: INTERMEDIATE_VERSION
      ...
      nodePools:
      - name: pool-1
        gkeOnPremVersion: SOURCE_VERSION
        ...
      - name: pool-2
        gkeOnPremVersion: SOURCE_VERSION
        ...
      
    2. Upgrade bidang kontrol:

      gkectl upgrade cluster \
          --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
          --config USER_CLUSTER_CONFIG_FILE
      

      Ganti USER_CLUSTER_CONFIG dengan jalur file konfigurasi cluster pengguna Anda.

  7. Upgrade bidang kontrol dan node pool ke versi target sebagai berikut:

    1. Buat perubahan berikut dalam file konfigurasi cluster pengguna:

      • Tetapkan kolom gkeOnPremVersion ke versi target, TARGET_VERSION.

      • Tetapkan semua nodePools[i].gkeOnPremVersion ke string kosong.

      Setelah mengupdate file konfigurasi, file tersebut akan terlihat seperti berikut:

      gkeOnPremVersion: TARGET_VERSION
      ...
      nodePools:
      - name: pool-1
        gkeOnPremVersion: ""
        ...
      - name: pool-2
        gkeOnPremVersion: ""
        ...
      
    2. Upgrade bidang kontrol dan node pool:

      gkectl upgrade cluster \
          --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
          --config USER_CLUSTER_CONFIG_FILE
      

Jika Anda tidak memiliki cluster pengguna lain untuk diupgrade, hapus paket dari workstation admin untuk menghemat ruang:

rm /var/lib/gke/bundles/gke-onprem-vsphere-*.tgz

Langkah berikutnya