Membuat cluster menggunakan gcloud CLI

Halaman ini menunjukkan cara menggunakan alat command line gcloud Google Cloud CLI untuk membuat cluster Managed Service untuk Apache Spark, menjalankan tugas Apache Spark di cluster, lalu mengubah jumlah worker di cluster.

Anda dapat mengetahui cara melakukan tugas yang sama atau serupa dengan Panduan Memulai Menggunakan API Explorer, konsol Google Cloud di Membuat cluster menggunakan Google Cloud konsol, dan menggunakan library klien di Membuat cluster menggunakan library klien.

Sebelum memulai

  1. Instal Google Cloud CLI.

  2. Konfigurasi gcloud CLI agar menggunakan identitas gabungan Anda.

    Untuk mengetahui informasi selengkapnya, lihat Login ke gcloud CLI dengan identitas gabungan Anda.

  3. Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut: 

    gcloud init

  4. Buat atau pilih Google Cloud project.

    Peran yang diperlukan untuk memilih atau membuat project

    • Pilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project mana pun yang telah diberi peran.
    • Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

    • Buat Google Cloud project:

      gcloud projects create PROJECT_ID

      Ganti PROJECT_ID dengan nama untuk Google Cloud project yang Anda buat.

    • Pilih project Google Cloud yang Anda buat:

      gcloud config set project PROJECT_ID

      Ganti PROJECT_ID dengan nama project Google Cloud Anda.

  5. Pastikan Anda memiliki izin yang diperlukan untuk menyelesaikan panduan ini.

  6. Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.

  7. Aktifkan Dataproc API:

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran. 

    gcloud services enable dataproc.googleapis.com

Peran yang diperlukan

Peran IAM tertentu diperlukan untuk menjalankan contoh di halaman ini. Bergantung pada kebijakan organisasi, peran ini mungkin sudah diberikan. Untuk memeriksa pemberian peran, lihat Apakah Anda perlu memberikan peran?.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project,folder, dan organisasi.

Peran pengguna

Untuk mendapatkan izin yang Anda perlukan untuk membuat cluster Managed Service untuk Apache Spark, minta administrator untuk memberi Anda peran IAM berikut:

Peran akun layanan

Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk membuat cluster Managed Service untuk Apache Spark, minta administrator Anda untuk memberikan peran IAM berikut ke akun layanan default Compute Engine di project:

Membuat cluster

Untuk membuat cluster bernama example-cluster, jalankan perintah gcloud Managed Service for Apache Spark clusters create berikut.

gcloud dataproc clusters create example-cluster --region=REGION

Ganti kode berikut:

REGION: Tentukan region tempat cluster akan berada.

Mengirim tugas

Untuk mengirimkan contoh tugas Spark yang menghitung nilai kasar untuk pi, jalankan perintah gcloud Managed Service untuk Apache Spark jobs submit spark berikut:

gcloud dataproc jobs submit spark --cluster example-cluster \
    --region=REGION \
    --class org.apache.spark.examples.SparkPi \
    --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

Catatan:

Ganti kode berikut:

REGION: Tentukan region cluster.

  • Tugas berjalan di example-cluster.
  • class berisi metode utama untuk SparkPi, yang menghitung perkiraan nilai aplikasi pi.

  • File jar berisi kode tugas. Catatan: file:///usr/lib/spark/examples/jars/spark-examples.jar adalah contoh jar yang telah diinstal sebelumnya di cluster. Untuk tugas kustom, tentukan file jar Anda di Cloud Storage (lihat Mengirimkan tugas).

  • 1000 adalah parameter tugas. Parameter ini menentukan jumlah tugas (iterasi) yang dilakukan tugas untuk menghitung nilai pi.

Tugas sedang berjalan dan output terakhir ditampilkan di jendela terminal:

Waiting for job output...
...
Pi is roughly 3.14118528
...
Job finished successfully.

Mengupdate cluster

Untuk mengubah jumlah worker di cluster menjadi lima, jalankan perintah berikut:

gcloud dataproc clusters update example-cluster \
    --region=REGION \
    --num-workers 5

Output perintah menampilkan detail cluster:

workerConfig:
...
  instanceNames:
  -   example-cluster-w-0
  -   example-cluster-w-1
  -   example-cluster-w-2
  -   example-cluster-w-3
  -   example-cluster-w-4
  numInstances: 5
statusHistory:
...
-   detail: Add 3 workers.

Untuk mengurangi jumlah worker node ke nilai asli 2, jalankan perintah berikut:

gcloud dataproc clusters update example-cluster \
    --region=REGION \
    --num-workers 2

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan di halaman ini, ikuti langkah-langkah berikut.

  1. Untuk menghapus example-cluster, jalankan perintah clusters delete: 
    gcloud dataproc clusters delete example-cluster \
    --region=REGION

Langkah berikutnya