Membuat cluster menggunakan konsol Google Cloud

Halaman ini menunjukkan cara menggunakan konsol Google Cloud untuk membuat cluster Managed Service untuk Apache Spark, menjalankan tugas Apache Spark dasar di cluster, lalu mengubah jumlah worker di cluster.

Sebelum memulai

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that you have the permissions required to complete this guide.

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

Peran yang diperlukan

Peran Identity and Access Management (IAM) tertentu diperlukan untuk menjalankan contoh di halaman ini. Bergantung pada kebijakan organisasi, peran ini mungkin sudah diberikan. Untuk memeriksa pemberian peran, lihat Apakah Anda perlu memberikan peran?.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran pengguna

Untuk mendapatkan izin yang Anda perlukan untuk membuat cluster Managed Service untuk Apache Spark, minta administrator untuk memberi Anda peran IAM berikut:

Peran akun layanan

Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk membuat cluster Managed Service untuk Apache Spark, minta administrator untuk memberikan peran IAM berikut ke akun layanan default Compute Engine di project:

Membuat cluster

  1. Di menu navigasi konsol Google Cloud , di bagian Infrastructure, buka halaman Clusters Managed Service untuk Apache Spark.

    Buka Cluster

  2. Klik Create cluster, lalu pilih Cluster on Compute Engine.

  3. Di kolom Cluster name, masukkan example-cluster.

  4. Dalam daftar Region dan Zone, pilih region dan zona.

    Pilih region (misalnya, us-east1 atau europe-west1) untuk mengisolasi resource, seperti instance virtual machine (VM) dan Cloud Storage serta lokasi penyimpanan metadata yang digunakan oleh Managed Service for Apache Spark, di region tersebut. Untuk mengetahui informasi selengkapnya, lihat Region dan zona yang tersedia dan Region cluster

  5. Untuk semua opsi lainnya, gunakan setelan default.

  6. Untuk membuat cluster, klik Create.

    Cluster baru Anda akan muncul dalam daftar di halaman Clusters. Statusnya adalah Provisioning hingga cluster siap digunakan, lalu statusnya berubah menjadi Running. Penyediaan cluster mungkin memerlukan waktu beberapa menit.

Mengirimkan tugas Spark

Kirim tugas Spark yang memperkirakan nilai Pi:

  1. Di menu navigasi Managed Service untuk Apache Spark, klik Jobs (and Batches) (atau Jobs).

  2. Di halaman Jobs, klik Submit job, lalu lakukan hal berikut di halaman Submit a job:

    1. Di bagian Select compute type for job, pilih Spark on Compute Engine.
    2. Di bagian Cluster job details:
      1. Di kolom Job ID, gunakan setelan default, atau berikan ID yang unik untuk project Google Cloud Anda.
      2. Di menu Cluster, pilih example-cluster.

    3. Di bagian File dan artefak:

      1. Untuk Job type, pilih Spark (Scala / Java).
      2. Di bagian Driver configuration, pilih Main class, dan di kolom Main class, masukkan org.apache.spark.examples.SparkPi.

      3. Di kolom Jar files, masukkan file:///usr/lib/spark/examples/jars/spark-examples.jar. (Jar contoh ini sudah diinstal sebelumnya di cluster. Untuk tugas kustom, tentukan jalur Cloud Storage; lihat Mengirim tugas.)

      4. Di kolom Arguments, masukkan 1000 untuk menetapkan jumlah tugas.

      Metode ini menghasilkan titik x dan y pada bidang koordinat yang memodelkan lingkaran dalam satu bangun persegi. Argumen input (1000) menentukan jumlah pasangan x-y yang akan dihasilkan; makin banyak pasangan yang dihasilkan, makin tinggi akurasi perkiraan. Perkiraan ini menggunakan worker node Managed Service untuk Apache Spark guna memparalelkan komputasi. Untuk mengetahui informasi selengkapnya, baca artikel Estimating Pi using the Monte Carlo Method dan JavaSparkPi.java on GitHub.

    4. Klik Kirim.

      Tugas Anda ditampilkan di halaman Job details. Status tugas adalah Running atau Starting, lalu berubah menjadi Succeeded setelah dikirimkan.

      Agar tidak perlu men-scroll output, klik Line wrap: off. Outputnya mirip dengan yang berikut ini:

      Pi is roughly 3.1416759514167594

      Untuk melihat detail tugas, klik tab Configuration.

Mengupdate cluster

Perbarui cluster Anda dengan mengubah jumlah worker instance:

  1. Di menu navigasi Managed Service untuk Apache Spark, klik Clusters.
  2. Dalam daftar cluster, klik example-cluster.

  3. Di halaman Cluster details, klik tab Configuration.

    Setelan cluster Anda akan ditampilkan.

  4. Klik Edit.

  5. Di kolom Worker nodes, masukkan 5.

  6. Klik Simpan.

Cluster Anda berhasil diperbarui. Untuk mengurangi jumlah worker node ke nilai aslinya, ikuti prosedur yang sama.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

  1. Untuk menghapus cluster, di halaman Cluster details untuk example-cluster, klik Delete.
  2. Untuk mengonfirmasi bahwa Anda ingin menghapus cluster, klik Delete.

Langkah berikutnya