Apache Pig memungkinkan Anda menganalisis set data besar di Managed Service untuk Apache Spark. Anda dapat menginstal platform open source ini selama pembuatan cluster menggunakan fitur Komponen opsional.
Menginstal komponen
Instal komponen saat Anda membuat cluster Managed Service untuk Apache Spark.
Apache Pig adalah komponen opsional di Managed Service untuk Apache Spark 2.3 dan versi image yang lebih baru.
Lihat Versi Managed Service untuk Apache Spark yang didukung untuk mengetahui versi komponen yang disertakan dalam rilis image Managed Service untuk Apache Spark terbaru.
KonsolGoogle Cloud
- Di konsol Google Cloud , buka halaman Create cluster.
- Klik Additional configuration untuk meluaskan bagian tersebut.
- Edit Optional components.
- Di panel yang terbuka, centang kotak untuk Pig, lalu klik Save.
gcloud CLI
Untuk membuat cluster Managed Service untuk Apache Spark yang menyertakan komponen Pig,
gunakan perintah
gcloud dataproc clusters create CLUSTER_NAME
dengan flag --optional-components (menggunakan versi image
2.3 atau yang lebih baru).
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --optional-components=PIG \ --image-version=2.3 \ ... other flags
REST API
Komponen Pig dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.