Setelah membuat cluster, Anda dapat menghentikannya, lalu memulai ulang saat Anda membutuhkannya. Menghentikan cluster yang tidak ada aktivitas akan menghindari timbulnya biaya dan menghindari kebutuhan untuk menghapus cluster yang tidak ada aktivitas, lalu membuat cluster dengan konfigurasi yang sama nanti.
Catatan:
- Fitur memulai dan menghentikan cluster tersedia di cluster yang dibuat dengan
image yang dirilis pada atau setelah versi image berikut:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
- Menghentikan node cluster satu per satu tidak direkomendasikan karena status VM yang dihentikan mungkin tidak sinkron dengan status cluster, yang dapat menyebabkan error.
- Cluster yang menggunakan VM fleksibel tidak dapat menggunakan fitur mulai dan berhenti.
Menghentikan cluster
Menghentikan cluster akan menghentikan semua VM Compute Engine cluster. Anda tidak perlu membayar VM saat VM dihentikan. Namun, Anda tetap membayar resource cluster terkait, seperti persistent disk.
Catatan:
- Operasi yang berjalan: Jika cluster memiliki operasi yang berjalan, seperti operasi update atau diagnosis, permintaan penghentian akan gagal.
- Tugas yang berjalan: Jika cluster memiliki tugas yang berjalan, permintaan penghentian akan berhasil: VM akan berhenti, dan tugas yang berjalan akan gagal.
- Respons Stop: Saat permintaan stop menampilkan operasi stop,
cluster akan berada dalam status
STOPPING, dan tidak ada tugas lebih lanjut yang diizinkan untuk dikirimkan (permintaanSubmitJobakan gagal). - Penskalaan otomatis: Jika Anda menghentikan cluster yang mengaktifkan penskalaan otomatis, autoscaler Managed Service untuk Apache Spark akan berhenti menskalakan cluster. Autoscaler akan melanjutkan penskalaan cluster setelah cluster dimulai ulang. Jika Anda mengaktifkan penskalaan otomatis pada cluster yang dihentikan, kebijakan penskalaan otomatis akan berlaku setelah cluster dimulai ulang.
Memantau operasi penghentian
Anda dapat menjalankan
gcloud dataproc operations describe operation-id
untuk memantau operasi penghentian cluster yang berjalan lama. Anda dapat menggunakan perintah
gcloud dataproc clusters describe cluster-name
untuk memantau transisi status cluster dari
RUNNING ke STOPPING ke STOPPED.
Batasan
Anda tidak dapat menghentikan:
- cluster dengan worker sekunder
- cluster dengan ssd lokal
Saat cluster dihentikan, Anda tidak dapat:
- mengupdate cluster
- mengirimkan tugas ke cluster
- mengakses notebook yang berjalan di cluster menggunakan gateway komponen Managed Service untuk Apache Spark
Memulai cluster
Saat Anda memulai ulang cluster yang dihentikan, tindakan inisialisasi apa pun tidak akan dijalankan ulang. Tindakan inisialisasi hanya berjalan pada node cluster saat cluster dibuat atau saat node ditambahkan ketika cluster ditingkatkan skalanya.
Setelah operasi mulai selesai, Anda dapat segera mengirimkan tugas ke cluster. Namun, eksekusi tugas dapat tertunda—sekitar 30 detik—untuk memungkinkan HDFS dan YARN beroperasi.
Cara menghentikan dan memulai cluster
Anda dapat menghentikan dan memulai cluster menggunakan konsol Google Cloud , gcloud CLI, atau Managed Service untuk Apache Spark API.
KonsolGoogle Cloud
- Klik nama cluster dari halaman Clusters di konsol Google Cloud .
- Di halaman detail cluster yang terbuka, klik STOP untuk menghentikan cluster. Jika sudah siap untuk melanjutkan operasi cluster, klik START untuk memulai ulang cluster.
gcloud CLI
Menghentikan cluster
gcloud dataproc clusters stop CLUSTER_NAME \ --region=REGION
Memulai cluster
gcloud dataproc clusters start CLUSTER_NAME \ --region=REGION
REST API
Menghentikan cluster
Kirim permintaan clusters.stop.
Memulai cluster
Kirim permintaan clusters.start.