Managed Service for Apache Spark ローカル SSD

ブートディスクを補うために、クラスタのマスターノード、プライマリ ワーカーノード、セカンダリ ワーカーノードにローカル ソリッド ステート ドライブ(ローカル SSD)を接続できます。ローカル SSD がクラスタに提供されると、HDFS とスクラッチ データ(シャッフル出力など)の両方で、ブート永続ディスクの代わりにローカル SSD が使用されます。

  • ローカル SSD を使用すると、永続ディスクよりも読み取りと書き込みの処理時間を短縮できます(ローカル SSD のパフォーマンスをご覧ください)。
  • 各ローカル SSD のサイズは 375 GB に固定されていますが、複数のローカル SSD を接続して SSD ストレージを増やすことができます(ローカル SSD についてを参照)。
  • それぞれのローカル SSD は、Managed Service for Apache Spark クラスタノード内の /mnt/<id> にマウントされます。
  • ローカル SSD は、デフォルトのファイル システムとして ext4 を使用します。

ローカル SSD を使用する

Google Cloud コンソール

クラスタを作成し、ローカル SSD をノードにアタッチします。

  1. Managed Service for Apache Spark の [クラスタの作成] ページを開きます。
  2. [追加構成] をクリックして、そのセクションを開きます。
  3. [プライマリ ワーカー] と [セカンダリ ワーカー] を編集して、ローカル SSD の設定を構成します。
  4. デフォルトでは、ドライバ(マスター)ノードの設定はプライマリ ワーカーの設定と同じです。[追加の構成] で、[ドライバノード] をクリックして [デフォルトのドライバノードをプライマリ ワーカーと同じにする] チェックボックスをオフにして、ドライバノードの設定を指定できます。

gcloud CLI コマンド

--num-master-local-ssds、--num-workers-local-ssds、--num-secondary-worker-local-ssds フラグを指定して gcloud dataproc clusters create コマンドを使用し、ローカル SSD をクラスタのマスターノード、プライマリ ワーカーノード、セカンダリ ワーカーノードに接続します。

ローカル SSD は、SCSI(Small Computer System Interface)または NVME(Non-Volatile Memory Express)インターフェースを使用して Managed Service for Apache Spark VM に接続できます(ローカル SSD のパフォーマンスをご覧ください)。Managed Service for Apache Spark クラスタ VM におけるローカル SSD のデフォルト インターフェースは SCSI です。マスターノード、プライマリおよびセカンダリ ワーカーノードのローカル SSD インターフェースを指定するには、gcloud dataproc clusters create コマンドを使用して、--master-local-ssd-interface、--worker-local-ssd-interface、--secondary-worker-local-ssd-interface フラグを指定します。

例:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

cluster.create API リクエストの masterConfig、workerConfig、secondaryWorkerConfig の InstanceGroupConfig で numLocalSsds フィールドを設定し、ローカル SSD をクラスタのマスターノード、プライマリ ワーカーノード、セカンダリ ワーカーノードに接続します。

ローカル SSD は、SCSI(Small Computer System Interface)または NVME(Non-Volatile Memory Express)インターフェースを使用して Managed Service for Apache Spark VM に接続できます(ローカル SSD のパフォーマンスをご覧ください)。Managed Service for Apache Spark クラスタ VM におけるローカル SSD のデフォルト インターフェースは SCSI です。cluster.create API リクエストの masterConfig、workerConfig、secondaryWorkerConfig の InstanceGroupConfig で localSsdInterface フィールドを設定して「SCSI」または「NVME」インターフェースを指定し、ローカル SSD をクラスタのマスターノード、プライマリ ワーカー、およびセカンダリ ワーカーノードにアタッチします。