Managed Service for Apache Spark のブートディスク

Managed Service for Apache Spark クラスタノード用のブートディスクとして、標準、SSD、バランスの永続ディスク、または Google Cloud Hyperdisk Balanced を選択します。

ブートディスクの種類のオプション:

  • マスター、プライマリ ワーカー、セカンダリ ワーカーのクラスタノード用に、標準、SSD、バランス永続ディスクのブートディスクを選択できます。

  • マスターノードとプライマリ ワーカーノードのブートディスクとして Hyperdisk Balanced を選択できます。Managed Service for Apache Spark では、プライマリ ワーカーのブートディスク タイプが Hyperdisk Balanced に設定されている場合、セカンダリ ワーカーのブートディスク タイプが自動的に Hyperdisk Balanced に設定されます。

Managed Service for Apache Spark クラスタのクラスタ マスターとプライマリ ワーカーノードのデフォルトの永続ブートディスク タイプは、標準（pd-standard）です。VM のマシンタイプがブートディスクとして Hyperdisk Balanced のみをサポートしている場合、デフォルトのブートディスクは Hyperdisk Balanced（hyperdisk-balanced）です。クラスタのセカンダリ ワーカーノードのデフォルトの永続ブートディスク タイプは、プライマリ ワーカーノードの永続ブートディスク タイプとなります。

クラスタノード用の永続ブートディスクのタイプを選択する

Google Cloud コンソール、Google Cloud CLI、または Dataproc API を使用してクラスタを作成する場合、永続ブートディスクのタイプを選択できます。

Google Cloud コンソール

クラスタノードのブートディスク タイプを選択するには:

  1. Managed Service for Apache Spark の [クラスタの作成] ページを開きます。
  2. [追加構成] をクリックして、そのセクションを開きます。
  3. [プライマリ ワーカー] と [セカンダリ ワーカー] をクリックして、デフォルト設定を確認または変更します。
  4. デフォルトでは、ドライバ（マスター）ノードの設定はプライマリ ワーカーの設定と同じです。[追加の構成] で、[ドライバノード] をクリックして [デフォルトのドライバノードをプライマリ ワーカーと同じにする] チェックボックスをオフにして、ドライバノードの設定を指定できます。

gcloud CLI

--master-boot-disk-type、--worker-boot-disk-type、--secondary-worker-boot-disk-type フラグを指定した gcloud dataproc clusters create コマンドを使用してクラスタを作成し、クラスタノードのブートディスク タイプを選択できます。

例: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...

REST API

masterConfig、workerConfig、secondaryWorkerConfig の InstanceGroupConfig.DiskConfig.bootDiskType フィールドに pd-standard、pd-ssd、pd-balanced、hyperdisk-balanced の値を cluster.create API リクエストの一部として設定できます。

Hyperdisk の設定

Hyperdisk Balanced ボリュームを Managed Service for Apache Spark クラスタノードのブートディスクとして使用してクラスタを作成する場合は、プロビジョニングされた IOPS とスループットを設定できます。

コンソール

プロビジョニングされた IOPS とスループットを構成するには:

  1. Managed Service for Apache Spark の [クラスタの作成] ページを開きます。
  2. [追加構成] をクリックして、そのセクションを開きます。
  3. [ドライバノード] または [プライマリ ワーカー] をクリックします。
  4. 開いたパネルで、プロビジョニングされた IOPS とスループットの設定を構成し、[保存] をクリックします。

gcloud CLI

gcloud dataproc clusters create コマンドの --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput、--worker-boot-disk-provisioned-throughput フラグを使用して、Hyperdisk Balanced ブートディスクを持つクラスタノードにプロビジョニングされた IOPS とプロビジョンド スループットを設定できます。

例: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Hyperdisk ブートディスクを使用するクラスタノードにプロビジョニングされた IOPS とプロビジョンド スループットは、マスターとワーカーの構成の InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops フィールドと InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput フィールドを使用して設定できます。