SSD lokal Managed Service for Apache Spark

Untuk melengkapi boot disk, Anda dapat memasang Solid State Drive lokal (SSD lokal) ke node master, worker utama, dan worker sekunder di cluster Anda. Jika SSD lokal disediakan ke cluster, data HDFS dan sementara, seperti output shuffle, akan menggunakan SSD lokal, bukan persistent disk booting.

  • SSD lokal dapat memberikan waktu baca dan tulis yang lebih cepat daripada persistent disk (lihat Performa SSD Lokal).
  • Ukuran 375 GB dari setiap SSD lokal bersifat tetap, tetapi Anda dapat memasang beberapa SSD lokal untuk meningkatkan penyimpanan SSD (lihat Tentang SSD Lokal).
  • Setiap SSD lokal dipasang ke /mnt/<id> di node cluster Managed Service untuk Apache Spark.
  • SSD Lokal menggunakan ext4 sebagai sistem file default.

Menggunakan SSD lokal

KonsolGoogle Cloud

Buat cluster dan pasang SSD lokal ke node:

  1. Buka halaman Create cluster di Managed Service untuk Apache Spark.
  2. Klik Additional configuration untuk meluaskan bagian tersebut.
  3. Edit Primary workers dan Secondary workers untuk mengonfigurasi setelan SSD lokal.
  4. Secara default, setelan node driver (master) sama dengan setelan worker utama. Di bagian Additional configuration, Anda dapat mengklik Driver node untuk menghapus centang pada kotak Default driver node to the same as primary worker, lalu menentukan setelan node driver.

Perintah gcloud CLI

Gunakan perintah gcloud dataproc clusters create dengan flag --num-master-local-ssds, --num-workers-local-ssds, dan --num-secondary-worker-local-ssds untuk memasang SSD lokal ke node master, worker utama, dan worker sekunder cluster.

SSD Lokal dapat dipasang ke VM Managed Service untuk Apache Spark menggunakan antarmuka SCSI (Small Computer System Interface) atau NVME (Non-Volatile Memory Express) (lihat performa SSD lokal). Antarmuka SSD lokal VM cluster Managed Service untuk Apache Spark default adalah antarmuka SCSI. Gunakan perintah gcloud dataproc clusters create dengan flag --master-local-ssd-interface, --worker-local-ssd-interface, dan --secondary-worker-local-ssd-interface untuk menentukan antarmuka SSD lokal untuk node master, worker utama, dan worker sekunder.

Contoh:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

Tetapkan kolom numLocalSsds di InstanceGroupConfig masterConfig, workerConfig, dan secondaryWorkerConfig dalam permintaan API cluster.create untuk memasang SSD lokal ke node master, worker utama, dan worker sekunder cluster.

SSD Lokal dapat dipasang ke VM Managed Service untuk Apache Spark menggunakan antarmuka SCSI (Small Computer System Interface) atau NVME (Non-Volatile Memory Express) (lihat performa SSD lokal). Antarmuka SSD lokal VM cluster Managed Service untuk Apache Spark default adalah antarmuka SCSI. Tetapkan kolom localSsdInterface di InstanceGroupConfig masterConfig, workerConfig, dan secondaryWorkerConfig dalam permintaan API cluster.create untuk menentukan antarmuka "SCSI" atau "NVME" guna memasang SSD lokal ke node master, worker utama, dan worker sekunder cluster.