Managed Service for Apache Spark 启动磁盘

您可以选择标准、SSD、平衡 永久性磁盘、 或 Google Cloud Hyperdisk Balanced 作为 Managed Service for Apache Spark 集群节点的启动磁盘。

启动磁盘类型选项：

  • 您可以为主节点、主要工作器和辅助工作器集群 节点选择标准、SSD或平衡永久性磁盘启动磁盘 。

  • 您可以选择 Hyperdisk Balanced 作为主节点 和主要工作器 节点的启动磁盘。请注意，当主要工作器启动磁盘类型设置为 Hyperdisk Balanced 时，Managed Service for Apache Spark 会自动将辅助工作器启动磁盘类型设置为 Hyperdisk Balanced。

Managed Service for Apache Spark 集群 主节点和主要工作器节点的默认永久性启动磁盘类型为 标准 (pd-standard)。如果虚拟机 机器类型 仅支持将 Hyperdisk Balanced 用作启动磁盘，则默认启动磁盘为 Hyperdisk Balanced (hyperdisk-balanced)。 集群辅助工作器节点的默认永久性启动磁盘类型是 主要工作器节点的永久性启动磁盘类型。

为集群节点选择永久性启动磁盘类型

在使用 Google Cloud 控制台、Google Cloud CLI 或 Dataproc API 创建集群时，您可以选择永久性启动磁盘类型。

Google Cloud 控制台

如需选择集群节点启动磁盘类型，请执行以下操作：

  1. 打开 Managed Service for Apache Spark 创建集群 页面。
  2. 点击其他配置 以展开该部分。
  3. 点击主要工作器 和辅助工作器 以确认或更改默认设置。
  4. 默认情况下，驱动程序（主节点）设置与主要工作器设置相同。 在其他配置 下，您可以点击驱动程序节点 以清除将默认驱动程序节点设为与主要工作器相同 复选框，然后指定驱动程序节点设置。

gcloud CLI

您可以使用 gcloud dataproc clusters create 命令以及 --master-boot-disk-type、 --worker-boot-disk-type 和 --secondary-worker-boot-disk-type 标志来创建集群并选择集群节点启动磁盘类型。

示例： 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

您可以在作为 cluster.create API 请求的一部分的 masterConfig、workerConfig 和 secondaryWorkerConfig 的 InstanceGroupConfig.DiskConfig.bootDiskType 字段中设置 pd-standard、pd-ssd、 pd-balanced 或 hyperdisk-balanced 值。

Hyperdisk 设置

当您创建以 Hyperdisk Balanced 卷 作为 Managed Service for Apache Spark 集群节点启动磁盘的集群时，可以设置 预配的 IOPS 和吞吐量。

控制台

如需配置预配的 IOPS 和吞吐量，请执行以下操作：

  1. 打开 Managed Service for Apache Spark 创建集群 页面。
  2. 点击其他配置 以展开该部分。
  3. 点击驱动程序节点 或主要工作器 。
  4. 在随即打开的面板中，配置预配的 IOPS 和吞吐量设置，然后点击保存 。

gcloud CLI

您可以将 gcloud dataproc clusters create 命令与 --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput 和 --worker-boot-disk-provisioned-throughput 标志结合使用，为使用 hyperdisk-balanced 启动磁盘的集群节点设置预配 IOPS 和预配吞吐量。

示例： 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

您可以使用主节点和工作器配置的 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 和 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 字段为使用 Hyperdisk 启动磁盘的集群节点设置预配 IOPS 和预配吞吐量。