Peningkatan performa Managed Service untuk Apache Spark

Dokumen ini menunjukkan cara mengaktifkan peningkatan performa Spark di Managed Service untuk Apache Spark guna membantu tugas Managed Service untuk Apache Spark Anda memproses lebih banyak data dalam waktu yang lebih singkat dengan biaya yang lebih rendah.

Peningkatan performa Managed Service untuk Apache Spark meliputi:

  • Peningkatan Spark Optimizer:
    • Aturan pengoptimal yang ditulis untuk rencana Spark yang lebih baik
    • Peningkatan performa konektor BigQuery Managed Service untuk Apache Spark saat digunakan dalam tugas Spark
  • Peningkatan Spark Execution:
    • Peningkatan mesin eksekusi Spark

Peningkatan performa Managed Service untuk Apache Spark lainnya: Lihat cache cluster Managed Service untuk Apache Spark, yang membantu mengurangi jumlah waktu yang dihabiskan untuk mengakses data di Cloud Storage.

Anda dapat mengaktifkan peningkatan performa Spark di cluster atau di tugas Spark:

  • Peningkatan performa Spark yang diaktifkan di cluster berlaku, secara default, untuk semua tugas Spark yang dijalankan di cluster, baik yang dikirim ke Managed Service untuk Apache Spark atau dikirim langsung ke cluster.

  • Peningkatan performa Spark juga dapat diaktifkan atau dinonaktifkan pada tugas yang dikirimkan ke Managed Service untuk Apache Spark. Setelan peningkatan performa Spark yang diterapkan ke tugas akan menggantikan setelan yang bertentangan yang ditetapkan di tingkat cluster hanya untuk tugas yang ditentukan.

Harga

Peningkatan performa Spark tidak dikenai biaya tambahan. Harga Managed Service untuk Apache Spark standar berlaku.

Pertimbangan

Peningkatan performa Spark menyesuaikan properti Spark, termasuk properti berikut:

  • spark.sql.shuffle.partitions: Peningkatan performa Spark menetapkan properti ini ke 1000 untuk cluster dengan versi image 2.2. Setelan ini dapat memperlambat tugas kecil.
  • spark.dataproc.sql.catalog.file.index.stats.enabled: Setelan ini dapat menyebabkan kondisi OOM (Kehabisan Memori) driver jika jumlah partisi Hive tinggi. Menonaktifkan properti ini dapat memperbaiki kondisi OOM.

Mengaktifkan peningkatan saat pembuatan cluster

Anda dapat menggunakan konsol Google Cloud , Google Cloud CLI, dan Dataproc API untuk mengaktifkan peningkatan performa Managed Service for Apache Spark saat membuat cluster Managed Service for Apache Spark dengan versi image 2.0.69+, 2.1.17+, 2.2.0+, dan rilis image yang lebih baru.

Konsol

  1. Di konsol Google Cloud , buka halaman Create cluster.
  2. Klik Additional configuration untuk meluaskan bagian tersebut.
  3. Edit Penyesuaian & Lainnya.
  4. Di bagian Cluster properties, tambahkan properti berikut:
    • Untuk mengaktifkan peningkatan pengoptimalan Spark:
      1. Klik + Tambahkan properti.
      2. Pilih spark di daftar Prefix.
      3. Masukkan spark.dataproc.enhanced.optimizer.enabled di kolom Key dan true di kolom Value.
    • Untuk mengaktifkan peningkatan eksekusi Spark:
      1. Klik + Tambahkan properti.
      2. Pilih spark di daftar Prefix.
      3. Masukkan spark.dataproc.enhanced.execution.enabled di kolom Key dan true di kolom Value.
  5. Lengkapi kolom cluster lainnya, lalu klik Create cluster.

gcloud

  1. Jalankan perintah gcloud dataproc clusters create berikut secara lokal di jendela terminal atau di Cloud Shell.

    gcloud dataproc clusters create CLUSTER_NAME \
        --project=PROJECT_ID \
        --region=REGION \
        --image-version=IMAGE \
        --properties=PROPERTIES
    

    Catatan:

    • CLUSTER_NAME: Nama cluster, yang harus unik dalam sebuah project. Nama harus diawali dengan huruf kecil, dan dapat berisi hingga 51 huruf kecil, angka, dan tanda hubung. ID tidak boleh diakhiri dengan tanda hubung. Nama cluster yang dihapus dapat digunakan kembali.
    • PROJECT_ID: Project yang akan dikaitkan dengan cluster.
    • REGION: Region Compute Engine tempat cluster akan berada, seperti us-central1.
      • Anda dapat menambahkan flag --zone=ZONE opsional untuk menentukan zona dalam region yang ditentukan, seperti us-central1-a. Jika Anda tidak menentukan zona, fitur penempatan zona otomatis Managed Service untuk Apache Spark akan memilih zona dengan region yang ditentukan.
    • IMAGE: Pengoptimal Managed Service untuk Apache Spark dan peningkatan performa eksekusi tersedia di Managed Service untuk Apache Spark versi image 2.0.69+ dan 2.1.17+ serta rilis yang lebih baru. Jika Anda menghapus flag ini, Managed Service untuk Apache Spark akan memilih versi subminor terbaru dari image Managed Service untuk Apache Spark default untuk cluster (lihat Versi image Managed Service untuk Apache Spark default).
    • PROPERTIES:

      • Untuk mengaktifkan peningkatan pengoptimalan Spark, tentukan:
      spark:spark.dataproc.enhanced.optimizer.enabled=true
      
      • Untuk mengaktifkan peningkatan eksekusi Spark, tentukan:
      spark:spark.dataproc.enhanced.execution.enabled=true
      
      • Untuk mengaktifkan pengoptimalan Spark dan peningkatan eksekusi, tentukan:
      spark:spark.dataproc.enhanced.optimizer.enabled=true,spark:spark.dataproc.enhanced.execution.enabled=true
      

API

  1. Tentukan SoftwareConfig.properties berikut sebagai bagian dari permintaan clusters.create:

    • Untuk mengaktifkan peningkatan pengoptimalan Spark, tentukan:
    "spark:spark.dataproc.enhanced.optimizer.enabled": "true"
    
    • Untuk mengaktifkan peningkatan eksekusi Spark, tentukan:
    "spark:spark.dataproc.enhanced.execution.enabled": "true"
    
    • Untuk mengaktifkan peningkatan pengoptimalan dan eksekusi Spark, tentukan:
    "spark:spark.dataproc.enhanced.optimizer.enabled": "true","spark:spark.dataproc.enhanced.execution.enabled": "true"
    

Mengaktifkan atau menonaktifkan peningkatan saat pengiriman tugas

Anda dapat menggunakan konsol Google Cloud , Google Cloud CLI, dan Dataproc API untuk mengaktifkan atau menonaktifkan peningkatan performa Spark pada tugas Spark yang dikirimkan ke Managed Service untuk Apache Spark.

Konsol

  1. Di konsol Google Cloud , buka halaman Jobs.
  2. Di halaman Jobs, klik Submit job, lalu scroll ke bagian Properties tugas.
    1. Untuk mengaktifkan peningkatan pengoptimalan Spark:
      1. Klik + Tambahkan properti. Tambahkan "spark.dataproc.enhanced.optimizer.enabled" di kolom Key dan "true" di kolom Value.
    2. Untuk mengaktifkan peningkatan eksekusi Spark:
      1. Klik + Tambahkan properti.
      2. Tambahkan "spark.dataproc.enhanced.execution.enabled" di kolom Key dan "true" di kolom Value.
  3. Selesaikan pengisian atau konfirmasi kolom pengiriman tugas lainnya, lalu klik Submit.

gcloud

  1. Jalankan perintah gcloud dataproc jobs submit berikut secara lokal di jendela terminal atau di Cloud Shell.

    gcloud dataproc jobs submit SPARK_JOB_TYPE \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --properties=PROPERTIES
    

    Catatan:

    • SPARK_JOB_TYPE: Tentukan spark, pyspark, spark-sql, atau spark-r .
    • CLUSTER_NAME: Nama tugas tempat tugas akan dijalankan.
    • REGION: Region tempat cluster berada.
    • PROPERTIES:

      • Untuk mengaktifkan peningkatan pengoptimalan Spark, tentukan:
      spark.dataproc.enhanced.optimizer.enabled=true
      
      • Untuk mengaktifkan peningkatan eksekusi Spark, tentukan:
      spark.dataproc.enhanced.execution.enabled=true
      
      • Untuk mengaktifkan pengoptimalan Spark dan peningkatan eksekusi, tentukan:
      spark.dataproc.enhanced.optimizer.enabled=true,spark.dataproc.enhanced.execution.enabled=true
      

API

  1. Tentukan properties berikut untuk SparkJob, PySparkJob, SparkSqlJob, atau SparkRJob sebagai bagian dari permintaan jobs.submit:

    • Untuk mengaktifkan peningkatan pengoptimalan Spark, tentukan:
    "spark.dataproc.enhanced.optimizer.enabled=true"
    
    • Untuk mengaktifkan peningkatan eksekusi Spark, tentukan:
    "spark.dataproc.enhanced.execution.enabled=true"
    
    • Untuk mengaktifkan pengoptimalan Spark dan peningkatan eksekusi, tentukan:
    "spark.dataproc.enhanced.execution.enabled=true,spark.dataproc.enhanced.optimizer.enabled=true"