Komponen Managed Service untuk Apache Spark

Managed Service untuk Apache Spark memungkinkan Anda menyesuaikan lingkungan cluster dengan alat dan layanan yang diperlukan untuk workload big data Anda. Komponen ini dikategorikan sebagai komponen yang diinstal, opsional, atau komponen tindakan inisialisasi.

Jenis komponen

Cluster Managed Service untuk Apache Spark memiliki jenis komponen berikut:

• Komponen yang diinstal: Komponen yang diinstal dalam image dan diaktifkan saat cluster dibuat.

• Komponen opsional: Komponen yang Anda pilih untuk diinstal dan digunakan di cluster saat Anda membuat cluster. Managed Service untuk Apache Spark menginstal dan mengaktifkan komponen opsional bergantung pada versi image cluster sebagai berikut:

  • 2.2 dan versi image sebelumnya: Komponen opsional diinstal secara otomatis. Komponen opsional yang dipilih akan diaktifkan dan komponen opsional yang tidak dipilih akan di-uninstal saat pembuatan cluster.

  • Versi image 2.3 dan yang lebih baru: Semua komponen opsional diinstal selama pembuatan cluster, kecuali komponen opsional Jupyter, Iceberg, dan Delta Lake, yang telah diinstal sebelumnya di versi image 2.3 dan yang lebih baru. Komponen opsional yang telah diinstal sebelumnya akan dihapus dari cluster versi image 2.3 atau yang lebih baru jika tidak diaktifkan saat cluster dibuat. Untuk mengetahui informasi selengkapnya, lihat Versi rilis Managed Service untuk Apache Spark 2.3.x.

    Agar tidak meningkatkan waktu startup untuk cluster versi image 2.3 dan yang lebih baru, buat image kustom dengan komponen opsional yang telah diinstal sebelumnya. Anda dapat melakukannya dengan menjalankan generate_custom_image.py dengan flag --optional-components.

• Komponen tindakan inisialisasi: Komponen yang diinstal di cluster sebagai bagian dari tindakan inisialisasi yang Anda tentukan saat membuat cluster.

Komponen opsional diinstal di cluster sebelum tindakan inisialisasi dijalankan di cluster.

Halaman versi image Managed Service untuk Apache Spark mencantumkan komponen dan jenis komponen yang tersedia dalam rilis image Managed Service untuk Apache Spark terbaru.

Komponen opsional memiliki keunggulan berikut dibandingkan tindakan inisialisasi yang digunakan untuk menginstal komponen:

• Komponen opsional diuji kompatibilitasnya dengan versi Managed Service untuk Apache Spark tertentu.
• Komponen opsional diaktifkan dengan parameter pembuatan cluster; tindakan inisialisasi memerlukan skrip.

Komponen opsional yang tersedia

Komponen opsional	Nama komponen dalam perintah Google Cloud CLI dan permintaan API	Versi Gambar	Tahap Rilis
Delta Lake	DELTA	2.2.46 dan yang lebih baru	GA
Docker	DOCKER	1.5 dan yang lebih baru	GA
Flink	FLINK	1.5 dan yang lebih baru	GA
HBase	HBASE	1.5 dan yang lebih baru (tidak tersedia di 2.1 dan yang lebih baru)	Tidak digunakan lagi
WebHCat Hive	HIVE_WEBHCAT	1.3 dan yang lebih baru	GA
Hudi	HUDI	1.5 dan yang lebih baru	GA
Iceberg	ICEBERG	2.2 dan yang lebih baru	GA
Notebook Jupyter	JUPYTER	1.3 dan yang lebih baru	GA
Pig	PIG	1.5^* dan yang lebih baru	GA
Presto	PRESTO	1.3 dan yang lebih baru (tidak tersedia di 2.1 dan yang lebih baru)	GA
Ranger	RANGER	1.3 dan yang lebih baru	GA
Solr	SOLR	1.3 dan yang lebih baru	GA
Trino	TRINO	2.1 dan yang lebih baru	GA
Notebook Zeppelin	ZEPPELIN	1.3 dan yang lebih baru	GA
ZooKeeper	ZOOKEEPER	1.0 dan yang lebih baru	GA

Catatan:

• Apache Pig adalah komponen opsional dalam image versi 2.3 dan yang lebih baru. Alat ini telah diinstal sebelumnya di 2.2 dan versi image yang lebih lama.

Lihat Antarmuka web cluster untuk menghubungkan ke antarmuka Web komponen yang berjalan di cluster. Lihat juga Gateway Komponen Managed Service untuk Apache Spark, yang memungkinkan Anda terhubung ke antarmuka web komponen inti dan opsional Managed Service untuk Apache Spark, termasuk UI YARN, HDFS, Jupyter, dan Zeppelin, tanpa perlu menggunakan tunnel SSH atau mengubah aturan firewall untuk mengizinkan traffic masuk.

Menambahkan komponen opsional

Catatan: Contoh penggunaan berikut berlaku untuk komponen Ketersediaan Umum (GA).

KonsolGoogle Cloud

1. Di konsol Google Cloud , buka halaman Create cluster.
2. Klik Additional configuration untuk meluaskan bagian tersebut.
3. Edit Optional components.
4. Di panel yang terbuka, centang kotak untuk komponen opsional yang ingin Anda instal di cluster, lalu klik Save.

gcloud CLI

Untuk membuat cluster Managed Service untuk Apache Spark dan menginstal satu atau beberapa komponen opsional di cluster, gunakan perintah gcloud beta dataproc clusters create cluster-name dengan flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

Komponen opsional dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.