Disk booting Managed Service for Apache Spark

Anda memilih Persistent Disk standar, SSD, seimbang, atau Google Cloud Hyperdisk Balanced sebagai boot disk untuk node cluster Managed Service untuk Apache Spark.

Opsi jenis boot disk:

  • Anda dapat memilih Persistent Disk standar, SSD, atau Persistent Disk seimbang, boot disk untuk node cluster master, primary worker, dan secondary worker.

  • Anda dapat memilih hyperdisk balanced sebagai boot disk untuk node master dan primary worker. Perhatikan bahwa Managed Service untuk Apache Spark otomatis menetapkan jenis boot disk worker sekunder ke hyperdisk balanced saat jenis boot disk worker utama ditetapkan ke hyperdisk balanced.

Jenis persistent boot disk default untuk node master dan worker utama cluster Managed Service untuk Apache Spark adalah standard (pd-standard). Jika jenis mesin VM hanya mendukung hyperdisk balanced sebagai boot disk, boot disk defaultnya adalah hyperdisk balanced (hyperdisk-balanced). Jenis persistent boot disk default untuk node worker sekunder cluster adalah jenis persistent boot disk node worker utama.

Memilih jenis persistent boot disk untuk node cluster

Anda dapat memilih jenis persistent boot disk saat membuat cluster menggunakan konsolGoogle Cloud , Google Cloud CLI, atau Dataproc API.

KonsolGoogle Cloud

Untuk memilih jenis boot disk node cluster:

  1. Buka halaman Create a cluster di Managed Service untuk Apache Spark.
  2. Klik Additional configuration untuk meluaskan bagian tersebut.
  3. Klik Primary workers dan Secondary workers untuk mengonfirmasi atau mengubah setelan default.
  4. Secara default, setelan node driver (master) sama dengan setelan worker utama. Di bagian Additional configuration, Anda dapat mengklik Driver node untuk menghapus centang pada kotak Default driver node to the same as primary worker, lalu menentukan setelan node driver.

gcloud CLI

Anda dapat membuat cluster dan memilih jenis boot disk node cluster menggunakan perintah gcloud dataproc clusters create dengan flag --master-boot-disk-type, --worker-boot-disk-type, dan --secondary-worker-boot-disk-type.

Contoh: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

Anda dapat menetapkan nilai pd-standard, pd-ssd, pd-balanced, atau hyperdisk-balanced di kolom InstanceGroupConfig.DiskConfig.bootDiskType di masterConfig, workerConfig, dan secondaryWorkerConfig sebagai bagian dari permintaan API cluster.create.

Setelan Hyperdisk

Saat membuat cluster dengan volume hyperdisk balanced sebagai boot disk untuk node cluster Managed Service untuk Apache Spark, Anda dapat menetapkan IOPS dan throughput yang disediakan.

Konsol

Untuk mengonfigurasi IOPS dan throughput yang disediakan:

  1. Buka halaman Create a cluster di Managed Service untuk Apache Spark.
  2. Klik Additional configuration untuk meluaskan bagian tersebut.
  3. Klik Driver node atau Primary workers.
  4. Di panel yang terbuka, konfigurasikan setelan IOPS dan throughput yang disediakan, lalu klik Save.

gcloud CLI

Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan boot disk hyperdisk-balanced menggunakan flag --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, dan --worker-boot-disk-provisioned-throughput dari perintah gcloud dataproc clusters create.

Contoh: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan boot disk hyperdisk menggunakan kolom InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops dan InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput untuk konfigurasi master dan worker.