Dokumen ini menunjukkan cara mengaktifkan peningkatan performa Spark di Managed Service untuk Apache Spark guna membantu tugas Managed Service untuk Apache Spark Anda memproses lebih banyak data dalam waktu yang lebih singkat dengan biaya yang lebih rendah.
Peningkatan performa Managed Service untuk Apache Spark meliputi:
- Peningkatan Spark Optimizer:
- Aturan pengoptimal yang ditulis untuk rencana Spark yang lebih baik
- Peningkatan performa konektor BigQuery Managed Service untuk Apache Spark saat digunakan dalam tugas Spark
- Peningkatan Spark Execution:
- Peningkatan mesin eksekusi Spark
Peningkatan performa Managed Service untuk Apache Spark lainnya: Lihat cache cluster Managed Service untuk Apache Spark, yang membantu mengurangi jumlah waktu yang dihabiskan untuk mengakses data di Cloud Storage.
Anda dapat mengaktifkan peningkatan performa Spark di cluster atau di tugas Spark:
Peningkatan performa Spark yang diaktifkan di cluster berlaku, secara default, untuk semua tugas Spark yang dijalankan di cluster, baik yang dikirim ke Managed Service untuk Apache Spark atau dikirim langsung ke cluster.
Peningkatan performa Spark juga dapat diaktifkan atau dinonaktifkan pada tugas yang dikirimkan ke Managed Service untuk Apache Spark. Setelan peningkatan performa Spark yang diterapkan ke tugas akan menggantikan setelan yang bertentangan yang ditetapkan di tingkat cluster hanya untuk tugas yang ditentukan.
Harga
Peningkatan performa Spark tidak dikenai biaya tambahan. Harga Managed Service untuk Apache Spark standar berlaku.
Pertimbangan
Peningkatan performa Spark menyesuaikan properti Spark, termasuk properti berikut:
spark.sql.shuffle.partitions: Peningkatan performa Spark menetapkan properti ini ke1000untuk cluster dengan versi image2.2. Setelan ini dapat memperlambat tugas kecil.spark.dataproc.sql.catalog.file.index.stats.enabled: Setelan ini dapat menyebabkan kondisi OOM (Kehabisan Memori) driver jika jumlah partisi Hive tinggi. Menonaktifkan properti ini dapat memperbaiki kondisi OOM.
Mengaktifkan peningkatan saat pembuatan cluster
Anda dapat menggunakan konsol Google Cloud , Google Cloud CLI, dan Dataproc API untuk mengaktifkan peningkatan performa Managed Service for Apache Spark saat membuat cluster Managed Service for Apache Spark dengan versi image 2.0.69+, 2.1.17+, 2.2.0+, dan rilis image yang lebih baru.
Konsol
- Di konsol Google Cloud , buka halaman Create cluster.
- Klik Additional configuration untuk meluaskan bagian tersebut.
- Edit Penyesuaian & Lainnya.
- Di bagian Cluster properties, tambahkan properti berikut:
- Untuk mengaktifkan peningkatan pengoptimalan Spark:
- Klik + Tambahkan properti.
- Pilih spark di daftar Prefix.
- Masukkan
spark.dataproc.enhanced.optimizer.enableddi kolom Key dantruedi kolom Value.
- Untuk mengaktifkan peningkatan eksekusi Spark:
- Klik + Tambahkan properti.
- Pilih spark di daftar Prefix.
- Masukkan
spark.dataproc.enhanced.execution.enableddi kolom Key dantruedi kolom Value.
- Untuk mengaktifkan peningkatan pengoptimalan Spark:
- Lengkapi kolom cluster lainnya, lalu klik Create cluster.
gcloud
Jalankan perintah gcloud dataproc clusters create berikut secara lokal di jendela terminal atau di Cloud Shell.
gcloud dataproc clusters create CLUSTER_NAME \ --project=PROJECT_ID \ --region=REGION \ --image-version=IMAGE \ --properties=PROPERTIES
Catatan:
- CLUSTER_NAME: Nama cluster, yang harus unik dalam sebuah project. Nama harus diawali dengan huruf kecil, dan dapat berisi hingga 51 huruf kecil, angka, dan tanda hubung. ID tidak boleh diakhiri dengan tanda hubung. Nama cluster yang dihapus dapat digunakan kembali.
- PROJECT_ID: Project yang akan dikaitkan dengan cluster.
- REGION: Region Compute Engine tempat cluster akan berada, seperti
us-central1.- Anda dapat menambahkan flag
--zone=ZONEopsional untuk menentukan zona dalam region yang ditentukan, sepertius-central1-a. Jika Anda tidak menentukan zona, fitur penempatan zona otomatis Managed Service untuk Apache Spark akan memilih zona dengan region yang ditentukan.
- Anda dapat menambahkan flag
- IMAGE: Pengoptimal Managed Service untuk Apache Spark dan peningkatan performa eksekusi tersedia di Managed Service untuk Apache Spark versi image
2.0.69+dan2.1.17+serta rilis yang lebih baru. Jika Anda menghapus flag ini, Managed Service untuk Apache Spark akan memilih versi subminor terbaru dari image Managed Service untuk Apache Spark default untuk cluster (lihat Versi image Managed Service untuk Apache Spark default). PROPERTIES:
- Untuk mengaktifkan peningkatan pengoptimalan Spark, tentukan:
spark:spark.dataproc.enhanced.optimizer.enabled=true- Untuk mengaktifkan peningkatan eksekusi Spark, tentukan:
spark:spark.dataproc.enhanced.execution.enabled=true- Untuk mengaktifkan pengoptimalan Spark dan peningkatan eksekusi, tentukan:
spark:spark.dataproc.enhanced.optimizer.enabled=true,spark:spark.dataproc.enhanced.execution.enabled=true
API
Tentukan
SoftwareConfig.propertiesberikut sebagai bagian dari permintaanclusters.create:- Untuk mengaktifkan peningkatan pengoptimalan Spark, tentukan:
"spark:spark.dataproc.enhanced.optimizer.enabled": "true"- Untuk mengaktifkan peningkatan eksekusi Spark, tentukan:
"spark:spark.dataproc.enhanced.execution.enabled": "true"- Untuk mengaktifkan peningkatan pengoptimalan dan eksekusi Spark, tentukan:
"spark:spark.dataproc.enhanced.optimizer.enabled": "true","spark:spark.dataproc.enhanced.execution.enabled": "true"
Mengaktifkan atau menonaktifkan peningkatan saat pengiriman tugas
Anda dapat menggunakan konsol Google Cloud , Google Cloud CLI, dan Dataproc API untuk mengaktifkan atau menonaktifkan peningkatan performa Spark pada tugas Spark yang dikirimkan ke Managed Service untuk Apache Spark.
Konsol
- Di konsol Google Cloud , buka halaman Jobs.
- Di halaman Jobs, klik Submit job, lalu scroll ke bagian Properties tugas.
- Untuk mengaktifkan peningkatan pengoptimalan Spark:
- Klik + Tambahkan properti. Tambahkan "spark.dataproc.enhanced.optimizer.enabled" di kolom Key dan "true" di kolom Value.
- Untuk mengaktifkan peningkatan eksekusi Spark:
- Klik + Tambahkan properti.
- Tambahkan "spark.dataproc.enhanced.execution.enabled" di kolom Key dan "true" di kolom Value.
- Untuk mengaktifkan peningkatan pengoptimalan Spark:
- Selesaikan pengisian atau konfirmasi kolom pengiriman tugas lainnya, lalu klik Submit.
gcloud
Jalankan perintah gcloud dataproc jobs submit berikut secara lokal di jendela terminal atau di Cloud Shell.
gcloud dataproc jobs submit SPARK_JOB_TYPE \ --cluster=CLUSTER_NAME \ --region=REGION \ --properties=PROPERTIES
Catatan:
- SPARK_JOB_TYPE: Tentukan
spark,pyspark,spark-sql, atauspark-r. - CLUSTER_NAME: Nama tugas tempat tugas akan dijalankan.
- REGION: Region tempat cluster berada.
PROPERTIES:
- Untuk mengaktifkan peningkatan pengoptimalan Spark, tentukan:
spark.dataproc.enhanced.optimizer.enabled=true- Untuk mengaktifkan peningkatan eksekusi Spark, tentukan:
spark.dataproc.enhanced.execution.enabled=true- Untuk mengaktifkan pengoptimalan Spark dan peningkatan eksekusi, tentukan:
spark.dataproc.enhanced.optimizer.enabled=true,spark.dataproc.enhanced.execution.enabled=true
- SPARK_JOB_TYPE: Tentukan
API
Tentukan
propertiesberikut untuk SparkJob, PySparkJob, SparkSqlJob, atau SparkRJob sebagai bagian dari permintaanjobs.submit:- Untuk mengaktifkan peningkatan pengoptimalan Spark, tentukan:
"spark.dataproc.enhanced.optimizer.enabled=true"- Untuk mengaktifkan peningkatan eksekusi Spark, tentukan:
"spark.dataproc.enhanced.execution.enabled=true"- Untuk mengaktifkan pengoptimalan Spark dan peningkatan eksekusi, tentukan:
"spark.dataproc.enhanced.execution.enabled=true,spark.dataproc.enhanced.optimizer.enabled=true"