Menginstal Agent Substrate di GKE

Agent Substrate di GKE menjalankan workload agentic secara efisien di cluster GKE: aplikasi Anda menangguhkan agen yang tidak aktif, dan sistem akan memulihkannya saat agen tersebut perlu bertindak lagi. Agent Substrate di GKE adalah software open source yang dapat Anda instal ke cluster GKE Standard. Untuk membandingkan Agent Substrate di GKE dengan Agent Sandbox di GKE dan memilih arsitektur untuk workload agen AI Anda, lihat Merencanakan arsitektur untuk workload agen AI di GKE.

Dokumen ini membantu Anda menyiapkan project Google Cloud dan cluster GKE untuk Agent Substrate di GKE, menjelaskan cara menjalankan penginstal, dan menjelaskan resource yang dibuat oleh penginstalan.

Harga

Agent Substrate di GKE ditawarkan tanpa biaya tambahan. Harga GKE berlaku untuk resource yang Anda buat.

Batasan

Agent Substrate di GKE memiliki batasan penginstalan berikut:

  • Cloud Shell: Anda tidak dapat menginstal Agent Substrate di GKE di Cloud Shell karena Cloud Shell menyediakan penyimpanan persistent disk sebesar 5 GB, yang tidak cukup untuk penginstalan. Anda harus menjalankan penginstal di komputer lokal Anda.
  • Mode cluster: Anda hanya dapat menginstal Agent Substrate di GKE dalam cluster GKE Standard. Cluster Autopilot tidak didukung.
  • Versi cluster: bidang kontrol dan node pool di cluster Anda harus menjalankan GKE versi 1.37 atau yang lebih baru. Versi sebelum 1.37 tidak didukung.
  • Saluran rilis: Anda tidak dapat menginstal Agent Substrate di GKE dalam cluster yang terdaftar di saluran rilis Extended. Penginstal mengaktifkan API beta Kubernetes di cluster Anda, dan saluran Extended tidak mendukung API beta yang diaktifkan secara eksplisit.
  • Jenis mesin: Anda tidak dapat menggunakan seri mesin yang berjalan pada arsitektur CPU campuran (seperti jenis mesin E2).

Sebelum memulai

Sebelum memulai, pastikan Anda telah melakukan tugas berikut:

  • Aktifkan Google Kubernetes Engine API.
    • Aktifkan Google Kubernetes Engine API
  • Untuk menggunakan Google Cloud CLI untuk tugas ini, instal lalu lakukan inisialisasi gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan perintah gcloud components update. Versi gcloud CLI yang lebih lama mungkin tidak mendukung menjalankan perintah dalam dokumen ini.
  • Instal komponen berikut di gcloud CLI:
    • kubectl
    • gke-gcloud-auth-plugin
  • Pastikan alat berikut diinstal di komputer lokal Anda:
    • Git untuk meng-clone repositori Agent Substrate.
    • Go untuk menjalankan program penginstal, yang didistribusikan sebagai kode sumber.
    • make untuk memulai penginstal.
    • Docker dan plugin Buildx-nya untuk membangun image container Agent Substrate di GKE.
    • sha256sum, zstd, unzip, dan jq untuk menyiapkan runtime microVM, jika Anda berencana menggunakannya. Penginstal tidak menawarkan runtime microVM jika salah satu alat ini tidak ada.

  • Agar penginstal dapat mengirim image yang di-build, konfigurasikan Docker untuk melakukan autentikasi ke Artifact Registry di region cluster Anda:

    gcloud auth configure-docker REGION-docker.pkg.dev

    Ganti REGION dengan region cluster Anda, seperti us-west1. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi autentikasi ke Artifact Registry untuk Docker.

  • Karena penginstal bertindak atas nama Anda untuk mengaktifkan API dan menyediakan resource, siapkan Kredensial Default Aplikasi (ADC) dengan menjalankan perintah berikut:

    gcloud auth application-default login

    Untuk mengetahui informasi selengkapnya tentang autentikasi dengan ADC, lihat Menyiapkan Kredensial Default Aplikasi.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menginstal Agent Substrate di GKE, minta administrator untuk memberi Anda peran IAM berikut pada project Anda:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Persyaratan cluster

Jika Anda mengizinkan penginstal membuat cluster untuk Anda, penginstal akan otomatis mengonfigurasi cluster yang memenuhi semua persyaratan untuk Agent Substrate di GKE.

Jika Anda memilih untuk menginstal Agent Substrate di GKE dalam cluster yang ada, cluster tersebut harus memenuhi persyaratan berikut:

  • Berjalan di GKE Standard (Agent Substrate di GKE hanya didukung di cluster Standard).
  • Menjalankan GKE versi 1.37 atau yang lebih baru di bidang kontrol dan node pool. Jika bidang kontrol menjalankan versi yang lebih lama, upgrade bidang kontrol terlebih dahulu. Kemudian, upgrade node pool mana pun yang menjalankan versi sebelumnya agar node dapat memasang sertifikat Pod ke dalam Pod.
  • Tidak terdaftar di saluran rilis Diperpanjang. Untuk mengetahui informasi selengkapnya, lihat Batasan.
  • Menggunakan GKE Dataplane V2.
  • Menggunakan jenis mesin c3-standard-4 atau yang lebih besar untuk node.

  • Jika Anda berencana menjalankan lebih dari sekitar 800 sandbox serentak per node, cluster akan menggunakan node yang memiliki batas lebih tinggi di kernel Linux untuk pemantauan sistem file (inotify) dan untuk tabel tetangga Address Resolution Protocol (ARP). Tanpa batas yang lebih tinggi ini, sandbox dapat gagal dimulai dan jaringan dapat terhenti. Node memerlukan setelan kernel berikut:

    • net.ipv4.neigh.default.gc_thresh1: 4096
    • net.ipv4.neigh.default.gc_thresh2: 16384
    • net.ipv4.neigh.default.gc_thresh3: 32768
    • fs.inotify.max_user_instances: 65536
    • fs.inotify.max_user_watches: 1048576

    Penginstal menerapkan setelan ini secara otomatis hanya ke cluster yang dibuatnya. Untuk menerapkan setelan ini ke node pool di cluster yang ada, gunakan konfigurasi sistem node. Untuk mengetahui informasi selengkapnya, lihat Opsi konfigurasi Sysctl.

Menginstal Agent Substrate di GKE

Untuk menginstal Agent Substrate di GKE, jalankan salah satu perintah berikut di terminal lokal Anda:

  • Untuk menginstal workload Anda sendiri, jalankan perintah berikut:

    curl -sSL https://raw.githubusercontent.com/ai-on-gke/substrate-gke/main/install.sh | bash

  • Untuk menginstal, lalu mencoba demo Counter, jalankan perintah berikut:

    curl -sSL https://raw.githubusercontent.com/ai-on-gke/substrate-gke/main/install.sh | bash -s -- --demo

Penginstal interaktif akan meminta image container dan setelan project, cluster, penyimpanan, dan ingress Anda. Penginstal menyarankan setelan default yang direkomendasikan jika memungkinkan, yang dapat Anda terima atau sesuaikan:

  • Image container (wajib): saat penginstal meminta Anda memilih image, pilih Build from source. Penginstal akan membangun image dari repositori Agent Substrate upstream dan mengirimkannya ke repositori Artifact Registry di project Anda. Secara default, penginstal akan mem-build Agent Substrate versi terbaru. Untuk membangun versi yang berbeda, masukkan cabang, tag, atau SHA commit lengkap dari repositori upstream.
  • Project ID (wajib): tentukan project Google Cloud tempat resource akan disediakan. Jika Anda mengonfigurasi project default untuk gcloud CLI, penginstal akan menggunakan project ID tersebut.
  • Cluster (wajib): pilih apakah akan mengizinkan penginstal membuat cluster GKE baru dengan setelan default yang direkomendasikan atau menginstal Agent Substrate di GKE dalam cluster yang ada. Jika Anda memilih untuk menginstal di cluster yang ada, pastikan cluster tersebut memenuhi persyaratan di bagian Persyaratan cluster.
  • Snapshot bucket (opsional): tentukan nama bucket Cloud Storage kustom, atau biarkan kosong agar penginstal membuat bucket default bernama ate-snapshots-<project>-<cluster>-<zone>. Karena nama default menyertakan nama cluster, cluster dalam project dan zona yang sama tidak akan berbagi bucket. Nama kustom dapat memiliki maksimal 56 karakter, karena penginstal juga membuat bucket aset dengan menambahkan akhiran -assets ke nama, dan nama bucket dapat memiliki maksimal 63 karakter. Jika nama default lebih panjang dari 56 karakter, penginstal akan mempersingkatnya dan menambahkan hash.
  • Klien ingress (wajib): masukkan ID SPIFFE workload yang mengirim permintaan ke Actor Anda, seperti layanan frontend atau layanan backend aplikasi Anda. ID SPIFFE mengidentifikasi workload berdasarkan namespace dan akun layanan Kubernetes yang dijalankan oleh Pod-nya. Misalnya, Pod yang berjalan di namespace shop sebagai akun layanan frontend memiliki ID SPIFFE spiffe://cluster.local/ns/shop/sa/frontend. Karena ID hanya bergantung pada namespace dan akun layanan, Anda dapat memasukkan ID untuk klien yang belum di-deploy. Pisahkan beberapa ID dengan koma. Permintaan menjangkau Actor Anda melalui router ingress, yang hanya mengizinkan klien yang memberikan sertifikat Pod dengan ID SPIFFE yang ada dalam daftar ini. Setiap klien dalam daftar dapat menjangkau Actor mana pun. Jika Anda menyertakan flag --demo, penginstal hanya akan mengizinkan Pod demo Counter, bukan meminta ID. Untuk menambahkan klien setelah penginstalan, lihat Menjangkau aktor melalui router ingress di README substrate-gke.

Yang dilakukan penginstal

Penginstal menjalankan program berikut atas nama Anda:

  • setup-gcp: membuat atau memverifikasi resource Google Cloud yang diperlukan, mengaktifkan API, membuat cluster GKE (jika Anda memilih untuk tidak menggunakan cluster yang ada) dan bucket Cloud Storage, serta mengonfigurasi kebijakan IAM.
  • ate-setup: men-deploy image container dan pengontrol Agent Substrate di GKE ke cluster GKE Anda.

Pertama, penginstal akan membuat perubahan berikut pada project Google Cloud Anda:

  1. Mengaktifkan API Google Cloud yang diperlukan Agent Substrate di GKE.
  2. Membuat cluster GKE Standard (jika tidak menggunakan cluster yang ada) yang menjalankan versi 1.37 atau yang lebih baru dan memiliki setelan berikut:
    • Workload Identity Federation for GKE: memungkinkan Agent Substrate di GKE mengakses Cloud Storage tanpa menyimpan kunci di node.
    • GKE Dataplane V2: menangani jaringan yang diperlukan untuk merutekan permintaan masuk ke agen Anda.
    • OpenTelemetry Terkelola: mengumpulkan metrik dan trace dari cluster Anda.
  3. Membuat bucket Cloud Storage yang digunakan Agent Substrate di GKE: satu untuk snapshot Anda, dan satu untuk file yang diperlukan runtime microVM. Nama bucket kedua adalah nama bucket snapshot yang diikuti dengan akhiran -assets.
  4. Membuat repositori Artifact Registry bernama ate-images untuk image container yang di-build oleh penginstal.
  5. Membuat akun layanan bernama ate-snapshot-transfer yang digunakan Agent Substrate di GKE untuk mentransfer snapshot.
  6. Memberikan izin IAM yang diperlukan kepada node GKE, Agent Substrate di komponen GKE, dan akun layanan ate-snapshot-transfer untuk mengakses bucket dan image container.
  7. Membuat dasbor Cloud Monitoring yang memetakan latensi pemilihan rute, ukuran snapshot, dan traffic gRPC Agent Substrate di GKE.

Selanjutnya, penginstal akan membuat perubahan berikut pada cluster Anda:

  1. Menambahkan resource kustom Kubernetes Agent Substrate di GKE ke cluster Anda, seperti WorkerPool (yang menentukan jumlah sandbox nonaktif yang tetap siap) dan SandboxConfig (yang menentukan runtime sandbox). Resource Agent Substrate di GKE lainnya, seperti ActorTemplate (yang menentukan image container dan resource yang digunakan agen Anda) dan Actor, bukan resource Kubernetes. Anda mengelolanya melalui Agent Substrate on GKE API menggunakan plugin kubectl ate, plugin kubectl untuk mengelola Actor dan Worker. Untuk menginstal plugin, lihat Menginstal plugin kubectl ate.
  2. Menyiapkan certificate authority yang menerbitkan sertifikat yang mengidentifikasi Agent Substrate di komponen GKE dan Actor Anda. Komponen menampilkan sertifikat ini untuk saling mengautentikasi menggunakan mTLS.
  3. Men-deploy komponen Agent Substrate on GKE ke cluster Anda, bersama dengan database PostgreSQL yang melacak status Actor dan Worker Anda. Database menyimpan datanya di persistent disk 500 GiB. Penginstal akan menunggu database dan semua Pod bidang kontrol siap. Untuk cluster produksi, Anda dapat mengisolasi database PostgreSQL dan komponen infrastruktur sistem ke node pool khusus sebelum menjalankan penginstal. Untuk mengetahui petunjuknya, lihat Mengisolasi infrastruktur sistem dan node pool worker.

Agent Substrate di GKE men-deploy komponennya sebagai workload biasa dalam namespace ate-system dan podcertificate-controller-system. Jika Anda menginstal di cluster yang ada, penginstal juga akan mengupdate cluster untuk mengaktifkan fitur berikut jika nonaktif: Workload Identity Federation for GKE, Managed OpenTelemetry, dan versi beta API Kubernetes podcertificaterequests dan clustertrustbundles. Mengaktifkan API beta akan mengupdate bidang kontrol GKE, yang memerlukan waktu sekitar 10 menit.

Komponen yang di-deploy mencakup runtime berbasis gVisor yang digunakan Agent Substrate di GKE secara default untuk mengisolasi setiap agen Anda dari node tempat agen tersebut berjalan. Jika Anda memilih runtime microVM selama langkah opsional, penginstal juga akan mengupload file yang diperlukan runtime microVM ke Cloud Storage dan menerapkan resource SandboxConfig di seluruh cluster bernama microvm yang mengarah ke file tersebut.

Worker yang menggunakan runtime microVM memerlukan node yang dapat menjalankan virtual machine. Saat penginstal membuat cluster, node pool yang dibuatnya akan mengaktifkan virtualisasi bertingkat. Jika Anda memilih penyiapan Advanced dan mengubah jenis mesin, pilih rangkaian mesin yang mendukung virtualisasi bertingkat, seperti C3, C4, N2, atau N4.

Jika Anda menginstal Agent Substrate di GKE dalam cluster yang ada, penginstal tidak akan menambahkan node pool ke cluster. Untuk menggunakan runtime microVM, cluster memerlukan node pool yang mengaktifkan virtualisasi bertingkat atau yang menggunakan jenis mesin bare-metal x86. Anda hanya dapat mengaktifkan virtualisasi bertingkat saat membuat node pool. Jika cluster tidak memiliki node pool tersebut, penginstal akan memperingatkan Anda saat memilih runtime microVM. Jika Anda melanjutkan, Worker microVM akan tetap dalam status Pending. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi node pool ini, termasuk taint, lihat Runtime sandbox di README substrate-gke.

Jika penginstalan gagal pada tahap apa pun (misalnya, karena error jaringan sementara atau masa berlaku token habis), jalankan kembali perintah tersebut. Penginstal mempertahankan resource yang ada dan melanjutkan dari bagian terakhir yang ditinggalkan.

Untuk mengupgrade penginstalan Agent Substrate yang ada di GKE, jalankan penginstal dan pilih Upgrade an installed cluster. Opsi ini tidak mengubah cluster Anda. Sebagai gantinya, penginstal akan mendownload kode sumber versi yang diinstal dan versi yang Anda upgrade, serta menyiapkan direktori ~/ate-upgrade yang digunakan runbook upgrade. Untuk melakukan upgrade, jalankan perintah yang dicetak penginstal, lalu ikuti runbook upgrade di repositori Agent Substrate upstream dari langkah pertama. Runbook mendukung upgrade ke rilis patch yang lebih baru dari versi minor yang sama dan, untuk versi 1.0 dan yang lebih baru, ke versi minor berikutnya. Untuk versi yang lebih lama dari 1.0, beralih ke versi minor yang lebih baru memerlukan penginstalan ulang. Untuk mengetahui detailnya, lihat Mengupgrade cluster yang diinstal di README substrate-gke.

Langkah opsional

Setelah men-deploy komponen inti, penginstal menawarkan langkah-langkah opsional berikut:

  • Driver CSI Filestore: menginstal driver CSI Filestore yang dikonfigurasi untuk Agent Substrate di GKE. Pilih opsi ini jika agen Anda memerlukan penyimpanan persisten yang tetap tersedia saat agen melanjutkan di node yang berbeda. Setiap agen mendapatkan penyimpanannya sendiri, yang tidak dibagikan kepada agen lain. Dukungan produksi untuk volume agen Filestore tersedia dalam GA terbatas, jadi Anda harus meminta akses. Untuk mengetahui detailnya, lihat Menggunakan volume agen Filestore dengan Agent Substrate di GKE. Jika cluster Anda telah mengaktifkan add-on Filestore GKE terkelola, penginstal akan menonaktifkannya sebelum men-deploy driver. Penginstal men-deploy driver di namespace gcp-filestore-csi-driver dan membuat akun layanan bernama substrate-filestore-csi, yang memiliki izin IAM yang diperlukan driver.
  • Penskalaan otomatis node pool: mengaktifkan penskalaan otomatis cluster GKE di node pool Anda. Anda menentukan jumlah minimum dan maksimum node untuk pool. Pilih opsi ini jika Anda ingin GKE otomatis menambahkan node selama lonjakan permintaan dan menghapus node saat agen ditangguhkan. Lewati opsi ini jika Anda lebih memilih jumlah node tetap dengan biaya komputasi yang dapat diprediksi. Untuk mengonfigurasi penggantian hardware otomatis dengan ComputeClass kustom, buffer kapasitas standby, dan perlindungan perkecil skala untuk Actor aktif, lihat Mendesain infrastruktur untuk Agent Substrate di GKE.
  • Runtime sandbox: memungkinkan Anda memilih runtime yang mengisolasi agen Anda. Penginstal menginstal runtime gVisor sebagai bagian dari komponen inti, sehingga runtime gVisor tidak memerlukan konfigurasi tambahan. Jika Anda menginginkan isolasi yang menggunakan virtualisasi hardware, pilih runtime microVM. Sebelum Anda memilih opsi ini untuk cluster yang ada, pastikan cluster tersebut memiliki node pool yang mengaktifkan virtualisasi bertingkat atau menggunakan jenis mesin bare-metal x86. Untuk mengetahui detailnya, lihat Yang dilakukan penginstal.
  • Demo penghitung: men-deploy contoh workload yang menunjukkan penangguhan dan pemulihan agen. Langkah ini hanya muncul jika Anda menyertakan flag --demo saat memulai penginstal. Pilih opsi ini jika Anda ingin menguji cluster setelah penginstalan. Untuk mengetahui detailnya, lihat Mencoba demo Penghitung.

Memverifikasi penginstalan

Untuk memastikan bahwa penginstalan berhasil dan komponen inti berjalan, jalankan perintah berikut dan pastikan semua Pod memiliki status Running:

kubectl get pods -n ate-system
kubectl get pods -n podcertificate-controller-system

Menginstal plugin kubectl ate

Untuk mengelola Actor dan resource ActorTemplate, instal plugin kubectl ate dari kode sumber versi Agent Substrate yang Anda instal:

git clone --depth 1 --branch VERSION https://github.com/agent-substrate/substrate.git
cd substrate
go install ./cmd/kubectl-ate

Ganti VERSION dengan versi Agent Substrate yang Anda instal, seperti v1.0.0, versi default penginstal.

Perintah go install menempatkan plugin di direktori bin ruang kerja Go Anda. Alat kubectl hanya akan menemukan plugin jika direktori tersebut ada dalam variabel lingkungan PATH Anda. Jika variabel lingkungan PATH Anda tidak menyertakan direktori tersebut, tambahkan direktori tersebut sebelum Anda menjalankan perintah kubectl ate apa pun:

export PATH="$PATH:$(go env GOPATH)/bin"

Mencoba demo Penghitung

Jika Anda menyertakan flag --demo saat menjalankan penginstal dan memilih untuk men-deploy demo Counter, penginstal akan men-deploy WorkerPool dan ActorTemplate untuk server web yang menghitung permintaan dalam memori dan dalam file. Agent Substrate di GKE mempertahankan kedua jumlah tersebut saat Anda menangguhkan dan memulihkan Actor yang menjalankan server.

Setelah penginstalan, penginstal akan mencetak langkah-langkah demo berikutnya: perintah yang menginstal plugin kubectl ate, dan perintah yang membuat Actor dari ActorTemplate. Sebelum menjalankan perintah kubectl ate, pastikan plugin berada dalam variabel lingkungan PATH, seperti yang dijelaskan dalam Menginstal plugin kubectl ate.

Penginstal tidak mencetak perintah yang mengirim permintaan ke Actor. Router ingress hanya mengizinkan klien yang menunjukkan sertifikat Pod yang ID SPIFFE-nya ada dalam daftar yang diizinkan, sehingga router tersebut menolak permintaan yang Anda kirim langsung dari mesin lokal. Untuk mengetahui informasi selengkapnya tentang demo, lihat README demo Counter untuk Agent Substrate versi 1.0.0, yang di-deploy oleh penginstal secara default. Dalam cluster yang disiapkan penginstal, langkah-langkah README yang mengirim permintaan melalui penerusan port tidak akan berfungsi, karena alasan yang sama.

Meng-uninstal Agent Substrate di GKE

Setelah penginstalan selesai dan keluar, penginstal akan mencetak perintah pembersihan yang disesuaikan untuk lingkungan Anda.

Untuk menghapus resource yang dibuat selama penginstalan, pilih salah satu opsi berikut:

  • Menghapus Agent Substrate on GKE dari cluster yang ada: jika Anda menginstal di cluster yang ada dan ingin mempertahankan cluster dan workload lainnya, hapus hanya komponen Agent Substrate on GKE dengan menjalankan perintah ate-setup delete ate-system yang dicetak oleh penginstal. Penginstal akan otomatis mengisi perintah ini dengan nilai project, cluster, dan lokasi yang dikonfigurasi selama penginstalan.

  • Menghapus semua resource (termasuk cluster): untuk menghapus cluster GKE, bucket snapshot dan aset, akun layanan ate-snapshot-transfer, binding IAM, dasbor, dan repositori Artifact Registry ate-images, jalankan perintah cleanup-gcp yang dicetak penginstal. Penginstal mengisi otomatis perintah ini dengan nilai project, cluster, lokasi, dan bucket yang dikonfigurasi selama penginstalan. Karena perintah ini menjalankan skrip tools/cleanup-gcp menggunakan jalur relatif, jalankan perintah dari direktori tempat penginstal meng-clone repositori substrate-gke. Secara default, penginstal meng-clone repositori ke direktori ~/.substrate-gke.

    Jika cluster lain dalam project menjalankan Agent Substrate di GKE, tambahkan flag --cluster-scoped ke perintah. Flag ini mempertahankan dasbor, akun layanan ate-snapshot-transfer, dan binding IAM level project, yang digunakan bersama oleh cluster tersebut. Flag --cluster-scoped tidak menyimpan repositori ate-images. Jika cluster lain di region yang sama menggunakan repositori ate-images, tambahkan juga flag --keep-repository ke akhir perintah. Untuk mengetahui detailnya, lihat bagian "Tearing down" di README substrate-gke.

Perintah cleanup-gcp tidak menghapus resource berikut:

  • Persistent disk database PostgreSQL: GKE menyimpan persistent disk saat menghapus cluster, sehingga Anda terus membayar disk 500 GiB. Untuk menghapus disk, jalankan perintah ate-setup delete ate-system yang dicetak oleh penginstal. Kemudian, tunggu hingga perintah kubectl get pv tidak lagi mencantumkan volume untuk klaim ate-system/data-postgres-0 sebelum Anda menjalankan cleanup-gcp. Jika Anda sudah menghapus cluster, temukan disk dengan menjalankan perintah berikut, lalu hapus disk dengan menjalankan perintah gcloud compute disks delete:

    gcloud compute disks list --filter="description~data-postgres-0"

  • Akun layanan substrate-filestore-csi: semua cluster dalam project yang menjalankan driver CSI Filestore menggunakan akun layanan ini bersama-sama. Jika Anda menginstal driver dan tidak ada cluster lain dalam project yang menjalankan driver, hapus akun layanan dengan menjalankan perintah berikut:

    gcloud iam service-accounts delete substrate-filestore-csi@PROJECT_ID.

    Ganti PROJECT_ID dengan project ID Anda.

Langkah berikutnya