Ringkasan Template Alur Kerja Managed Service for Apache Spark

WorkflowTemplates API Managed Service untuk Apache Spark menyediakan mekanisme yang fleksibel dan mudah digunakan untuk mengelola dan menjalankan alur kerja. Template Alur Kerja adalah konfigurasi alur kerja yang dapat digunakan kembali. Template ini menentukan grafik tugas dengan informasi tentang tempat untuk menjalankan tugas tersebut.

Poin Utama:

  • Membuat Instance Template Alur Kerja akan meluncurkan Alur Kerja. Alur kerja adalah operasi yang menjalankan Directed Acyclic Graph (DAG) tugas di cluster.
    • Jika alur kerja menggunakan cluster terkelola, alur kerja tersebut akan membuat cluster, menjalankan tugas, lalu menghapus cluster saat tugas selesai.
    • Jika alur kerja menggunakan pemilih cluster, alur kerja tersebut akan menjalankan tugas di cluster yang ada yang dipilih.
  • Workflows ideal untuk alur tugas yang kompleks. Anda dapat membuat dependensi tugas sehingga tugas hanya dimulai setelah dependensinya berhasil diselesaikan.
  • Saat Anda membuat template alur kerja, Managed Service untuk Apache Spark tidak membuat cluster atau mengirimkan tugas ke cluster. Managed Service untuk Apache Spark membuat atau memilih cluster dan menjalankan tugas alur kerja di cluster saat template alur kerja diinstansiasi.

Jenis Template Alur Kerja

Cluster terkelola

Template alur kerja dapat menentukan cluster terkelola. Alur kerja akan membuat cluster "efemeral" untuk menjalankan tugas alur kerja, lalu menghapus cluster tersebut setelah alur kerja selesai.

Pemilih cluster

Template alur kerja dapat menentukan cluster yang ada untuk menjalankan tugas alur kerja dengan menentukan satu atau beberapa label pengguna yang sebelumnya dilampirkan ke cluster. Alur kerja akan berjalan di cluster yang cocok dengan semua label. Jika beberapa cluster cocok dengan semua label, Managed Service untuk Apache Spark akan memilih cluster dengan memori YARN yang paling banyak tersedia untuk menjalankan semua tugas alur kerja. Di akhir alur kerja, Managed Service untuk Apache Spark tidak menghapus cluster yang dipilih. Lihat Menggunakan pemilih cluster dengan alur kerja untuk mengetahui informasi selengkapnya.

Berparameter

Jika Anda akan menjalankan template alur kerja beberapa kali dengan nilai yang berbeda, gunakan parameter untuk menghindari pengeditan template alur kerja untuk setiap operasi:

  1. menentukan parameter dalam template, lalu

  2. meneruskan nilai yang berbeda untuk parameter pada setiap operasi.

Lihat Parameterisasi Template Alur Kerja untuk mengetahui informasi selengkapnya.

Inline

Alur kerja dapat dibuat instance-nya secara inline menggunakan perintah gcloud dengan file YAML template alur kerja atau dengan memanggil API InstantiateInline Managed Service untuk Apache Spark (lihat Menggunakan alur kerja Dataproc inline). Alur kerja inline tidak membuat atau mengubah resource template alur kerja.

Kasus penggunaan Template Alur Kerja

  • Otomatisasi tugas berulang. Alur kerja mencakup konfigurasi cluster dan tugas yang sering digunakan.

  • Model interaksi API transaksional fire-and-forget. Template Alur Kerja menggantikan langkah-langkah yang terlibat dalam alur standar, yang mencakup:

    1. membuat cluster
    2. mengirimkan tugas
    3. polling
    4. menghapus cluster

    Template Alur Kerja menggunakan satu token untuk melacak progres dari pembuatan hingga penghapusan cluster, serta mengotomatiskan penanganan dan pemulihan error. Library ini juga menyederhanakan integrasi Managed Service untuk Apache Spark dengan alat lain, seperti Cloud Run Functions dan Managed Service untuk Apache Airflow.

  • Dukungan untuk cluster sementara dan yang berjalan lama. Kompleksitas umum yang terkait dengan menjalankan Apache Hadoop adalah menyesuaikan dan mengukur cluster dengan tepat. Cluster sementara (terkelola) lebih mudah dikonfigurasi karena menjalankan satu workload. Pemilih cluster dapat digunakan dengan cluster yang berumur lebih panjang untuk berulang kali menjalankan workload yang sama tanpa menimbulkan biaya amortisasi untuk membuat dan menghapus cluster.

  • Keamanan IAM terperinci. Membuat cluster Managed Service untuk Apache Spark dan mengirimkan tugas memerlukan izin IAM yang bersifat menyeluruh. Template Alur Kerja menggunakan izin workflowTemplates.instantiate per template, dan tidak bergantung pada izin cluster atau tugas.