Managed Service for Apache Spark 启动磁盘

您可以选择标准、SSD、平衡永久性磁盘或 Google Cloud Hyperdisk Balanced 作为 Managed Service for Apache Spark 集群节点的启动磁盘。

启动磁盘类型选项：

  • 您可以为主、主要工作器和辅助工作器集群节点选择标准、SSD 或平衡永久性磁盘启动磁盘。

  • 您可以选择 Hyperdisk Balanced 作为主节点和主要工作器节点的启动磁盘。请注意，如果将主要工作器节点的启动磁盘类型设置为 Hyperdisk Balanced，Managed Service for Apache Spark 会自动将辅助工作器节点的启动磁盘类型设置为 Hyperdisk Balanced。

Managed Service for Apache Spark 集群主节点和主要工作器节点的默认永久性启动磁盘类型为标准 (pd-standard)。如果虚拟机机器类型仅支持将 Hyperdisk Balanced 用作启动磁盘，则默认启动磁盘为 Hyperdisk Balanced (hyperdisk-balanced)。集群辅助工作器节点的默认永久性启动磁盘类型是主要工作器节点的永久性启动磁盘类型。

为集群节点选择永久性启动磁盘类型

在使用Google Cloud 控制台、Google Cloud CLI 或 Dataproc API 创建集群时，您可以选择永久性启动磁盘类型。

Google Cloud 控制台

如需选择集群节点启动磁盘类型，请执行以下操作：

  1. 打开 Managed Service for Apache Spark 的创建集群页面。
  2. 点击其他配置以展开该部分。
  3. 点击主要工作器和辅助工作器，以确认或更改默认设置。
  4. 默认情况下，驱动程序（主）节点设置与主要工作器设置相同。 在其他配置下，您可以点击驱动节点，取消选中将默认驱动节点设为与主要工作器相同复选框，然后指定驱动节点设置。

gcloud CLI

您可以使用 gcloud dataproc clusters create 命令与 --master-boot-disk-type、--worker-boot-disk-type 和 --secondary-worker-boot-disk-type 标志结合使用，创建集群并选择集群节点启动磁盘类型。

示例： 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

您可以在作为 cluster.create API 请求的一部分的 masterConfig、workerConfig 和 secondaryWorkerConfig 的 InstanceGroupConfig.DiskConfig.bootDiskType 字段中设置 pd-standard、pd-ssd、pd-balanced 或 hyperdisk-balanced 值。

Hyperdisk 设置

当您创建以 Hyperdisk Balanced 卷作为 Managed Service for Apache Spark 集群节点启动磁盘的集群时，可以设置预配的 IOPS 和吞吐量。

控制台

如需配置预配的 IOPS 和吞吐量，请执行以下操作：

  1. 打开 Managed Service for Apache Spark 的创建集群页面。
  2. 点击其他配置以展开该部分。
  3. 点击 驱动节点或主工作器。
  4. 在随即打开的面板中，配置预置 IOPS 和吞吐量设置，然后点击保存。

gcloud CLI

您可以将 gcloud dataproc clusters create 命令与 --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput 和 --worker-boot-disk-provisioned-throughput 标志结合使用，为使用 hyperdisk-balanced 启动磁盘的集群节点设置预配 IOPS 和预配吞吐量。

示例： 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

您可以使用主节点和工作器配置的 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 和 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 字段为使用 Hyperdisk 启动磁盘的集群节点设置预配 IOPS 和预配吞吐量。