Enhanced Flexibility Mode (EFM) Managed Service untuk Apache Spark mengelola data shuffle untuk meminimalkan penundaan progres tugas yang disebabkan oleh penghapusan node dari cluster yang sedang berjalan. EFM memindahkan data shuffle dengan menulis data ke worker utama. Worker mengambil data dari node jarak jauh tersebut selama fase reduce. Mode ini hanya tersedia untuk tugas Spark.
Karena EFM tidak menyimpan data shuffle perantara pada worker sekunder, EFM sangat cocok untuk cluster yang menggunakan preemptible VM atau hanya melakukan penskalaan otomatis grup worker sekunder.
EFM didukung di Managed Service untuk Apache Spark
2.0.31+, 2.1.6+, 2.2+, dan versi image yang lebih baru.
- Tugas Apache Hadoop YARN yang tidak mendukung relokasi AppMaster dapat gagal dalam Mode Fleksibilitas yang Ditingkatkan (lihat Kapan harus menunggu AppMaster selesai).
- Mode Fleksibilitas yang Ditingkatkan tidak direkomendasikan:
- di cluster yang hanya memiliki worker utama
- pada tugas streaming karena dapat memerlukan waktu hingga 30 menit setelah penyelesaian tugas untuk membersihkan data shuffle perantara.
- di cluster yang menjalankan notebook karena data shuffle mungkin tidak dibersihkan selama masa aktif sesi.
- saat tugas Spark berjalan di cluster dengan penghentian tuntas yang diaktifkan. Penonaktifan halus dan EFM dapat bertentangan karena mekanisme penonaktifan halus YARN mempertahankan node DECOMMISSIONING hingga semua aplikasi yang terlibat selesai.
- di cluster yang menjalankan tugas Spark dan non-Spark.
- Mode Fleksibilitas yang Ditingkatkan tidak didukung:
- saat penskalaan otomatis worker utama diaktifkan. Pada umumnya, worker utama akan terus menyimpan data shuffle yang tidak dimigrasikan secara otomatis. Menurunkan skala grup worker utama akan meniadakan manfaat EFM.
Menggunakan Mode Fleksibilitas yang Ditingkatkan
Fleksibilitas yang Ditingkatkan diaktifkan saat Anda membuat cluster dengan menetapkan
properti cluster
dataproc:efm.spark.shuffle ke primary-worker.
Contoh:
gcloud dataproc clusters create cluster-name \ --region=region \ --properties=dataproc:efm.spark.shuffle=primary-worker \ other flags ...
Contoh Apache Spark
- Jalankan tugas WordCount terhadap teks Shakespeare publik menggunakan jar contoh Spark di cluster EFM.
gcloud dataproc jobs submit spark \ --cluster=cluster-name \ --region=region \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ --class=org.apache.spark.examples.JavaWordCount \ -- gs://apache-beam-samples/shakespeare/macbeth.txt
Mengonfigurasi SSD lokal
Karena EFM menulis data shuffle perantara ke disk yang terpasang pada VM, EFM mendapatkan manfaat dari throughput dan IOPS tambahan yang disediakan oleh SSD lokal. Untuk memfasilitasi alokasi resource, targetkan sasaran sekitar 1 partisi SSD lokal per 4 vCPU saat mengonfigurasi mesin worker utama.
Untuk memasang SSD lokal, teruskan flag --num-worker-local-ssds ke perintah gcloud Managed Service untuk Apache Spark clusters create.
Umumnya, Anda tidak memerlukan SSD lokal di worker sekunder.
Menambahkan SSD lokal ke worker sekunder cluster (menggunakan flag --num-secondary-worker-local-ssds) sering kali kurang penting karena worker sekunder tidak menulis data shuffle secara lokal.
Namun, karena SSD lokal meningkatkan performa disk lokal, Anda dapat memutuskan untuk menambahkan SSD lokal ke worker sekunder jika Anda memperkirakan tugas akan terikat I/O karena penggunaan disk lokal: tugas Anda menggunakan disk lokal yang signifikan untuk ruang scratch atau partisi Anda terlalu besar untuk muat dalam memori dan akan tumpah ke disk.
Rasio worker sekunder
Karena worker sekunder menulis data shuffle-nya ke worker utama, cluster Anda harus berisi worker utama dalam jumlah yang cukup dengan resource CPU, memori, dan disk yang memadai untuk mengakomodasi beban shuffle tugas Anda. Untuk
cluster penskalaan otomatis, guna mencegah grup utama melakukan penskalaan dan menyebabkan
perilaku yang tidak diinginkan, tetapkan minInstances ke nilai maxInstances dalam
kebijakan penskalaan otomatis
untuk grup worker utama.
Jika Anda memiliki rasio worker sekunder terhadap primer yang tinggi (misalnya, 10:1), pantau pemakaian CPU, jaringan, dan penggunaan disk worker primer untuk menentukan apakah worker tersebut kelebihan beban. Untuk melakukannya:
Buka halaman VM instances di konsolGoogle Cloud .
Klik kotak centang di sisi kiri primary worker.
Klik tab MONITORING untuk melihat CPU Utilization, Disk IOPS, Network Bytes, dan metrik lainnya dari worker utama.
Jika worker utama kelebihan beban, pertimbangkan untuk meningkatkan skala worker utama secara manual.
Mengubah ukuran grup worker utama
Grup worker utama dapat ditingkatkan skalanya dengan aman, tetapi menurunkan skala grup worker utama dapat berdampak negatif pada progres tugas. Operasi yang menurunkan skala grup worker utama harus menggunakan penghentian tuntas, yang diaktifkan dengan menetapkan flag --graceful-decommission-timeout.
Cluster yang diskalakan otomatis: Penskalaan grup worker utama dinonaktifkan di cluster EFM dengan kebijakan penskalaan otomatis. Untuk mengubah ukuran grup worker utama di cluster yang diskalakan otomatis:
Nonaktifkan penskalaan otomatis.
gcloud dataproc clusters update \ --cluster=cluster-name \ --region=region \ --disable-autoscaling
Menskalakan grup utama.
gcloud dataproc clusters update \ --cluster=cluster-name \ --region=region \ --num-workers=num-primary-workers \ --graceful-decommission-timeout=graceful-decommission-timeout # (if downscaling)
Aktifkan kembali penskalaan otomatis:
gcloud dataproc clusters update \ --cluster=cluster-name \ --region=region \ --autoscaling-policy=autoscaling-policy
Memantau penggunaan disk worker utama
Primary worker harus memiliki kapasitas disk yang memadai untuk data acak cluster.
Anda dapat memantau hal ini secara tidak langsung melalui metrik remaining HDFS capacity.
Saat disk lokal penuh, ruang menjadi tidak tersedia untuk HDFS, dan kapasitas yang tersisa akan berkurang.
Secara default, jika penggunaan disk lokal worker utama melebihi 90% kapasitas, node akan ditandai sebagai UNHEALTHY di UI node YARN. Jika mengalami masalah kapasitas disk, Anda dapat menghapus data yang tidak digunakan dari HDFS atau meningkatkan skala kumpulan worker utama.
Konfigurasi lanjutan
Partisi dan paralelisme
Saat mengirimkan tugas Spark, konfigurasikan tingkat partisi yang sesuai. Menentukan jumlah partisi input dan output untuk tahap shuffle melibatkan kompromi di antara berbagai karakteristik performa. Sebaiknya lakukan eksperimen dengan nilai yang sesuai untuk bentuk tugas Anda.
Partisi input
Partisi input Spark dan MapReduce ditentukan oleh set data input. Saat membaca file dari Cloud Storage, setiap tugas memproses data yang setara dengan sekitar satu "ukuran blok".
Untuk tugas Spark SQL, ukuran partisi maksimum dikontrol oleh
spark.sql.files.maxPartitionBytes. Pertimbangkan untuk meningkatkannya menjadi 1 GB:spark.sql.files.maxPartitionBytes=1073741824.Untuk Spark RDD, ukuran partisi biasanya dikontrol dengan
fs.gs.block.size, yang secara default bernilai 128 MB. Sebaiknya tingkatkan menjadi 1 GB. Contoh:--properties spark.hadoop.fs.gs.block.size=1073741824
Partisi output
Jumlah tugas di tahap berikutnya dikontrol oleh beberapa properti. Pada tugas yang lebih besar yang memproses lebih dari 1 TB, pertimbangkan untuk memiliki setidaknya 1 GB per partisi.
Untuk Spark SQL, jumlah partisi output dikontrol oleh
spark.sql.shuffle.partitions.Untuk tugas Spark yang menggunakan RDD API, Anda dapat menentukan jumlah partisi output atau menetapkan
spark.default.parallelism.
Penyesuaian shuffle untuk shuffle worker primer
Properti yang paling signifikan adalah --properties yarn:spark.shuffle.io.serverThreads=<num-threads>.
Perhatikan bahwa ini adalah properti YARN tingkat cluster karena server shuffle Spark berjalan sebagai bagian dari Node Manager. Nilai defaultnya adalah dua kali (2x) jumlah core pada
mesin (misalnya, 16 thread pada n1-highmem-8). Jika "Shuffle Read Blocked Time" lebih besar dari 1 detik, dan worker utama belum mencapai batas jaringan, CPU, atau disk, pertimbangkan untuk meningkatkan jumlah thread server shuffle.
Pada jenis mesin yang lebih besar, pertimbangkan untuk meningkatkan spark.shuffle.io.numConnectionsPerPeer,
yang secara default ditetapkan ke 1. (Misalnya, tetapkan ke 5 koneksi per pasangan host).
Meningkatkan percobaan ulang
Jumlah maksimum upaya yang diizinkan untuk master aplikasi, tugas, dan tahap dapat dikonfigurasi dengan menetapkan properti berikut:
yarn:yarn.resourcemanager.am.max-attempts spark:spark.task.maxFailures spark:spark.stage.maxConsecutiveAttempts
Karena master dan tugas aplikasi lebih sering dihentikan di cluster yang menggunakan banyak preemptible VM atau penskalaan otomatis tanpa penghentian tuntas, meningkatkan nilai properti sebelumnya di cluster tersebut dapat membantu (perhatikan bahwa penggunaan EFM dengan Spark dan penghentian tuntas tidak didukung).
Penghentian tuntas YARN di cluster EFM
Penghentian Tuntas YARN dapat digunakan untuk menghapus node dengan cepat dan dampak minimal pada aplikasi yang sedang berjalan. Untuk cluster penskalaan otomatis, waktu tunggu penghentian tuntas dapat ditetapkan dalam AutoscalingPolicy yang dilampirkan ke cluster EFM.
Peningkatan EFM untuk penghentian halus
Karena data perantara disimpan dalam sistem file terdistribusi, node dapat dihapus dari cluster EFM segera setelah semua container yang berjalan di node tersebut selesai. Sebagai perbandingan, node tidak dihapus di cluster Managed Service untuk Apache Spark standar hingga aplikasi selesai.
Penghapusan node tidak menunggu master aplikasi yang berjalan di node selesai. Saat container master aplikasi dihentikan, container tersebut akan dijadwalkan ulang di node lain yang tidak dinonaktifkan. Progres tugas tidak hilang: master aplikasi baru dengan cepat memulihkan status dari master aplikasi sebelumnya dengan membaca histori tugas.