Managed Service untuk Apache Spark menetapkan nilai metadata khusus untuk instance yang berjalan di cluster Anda:
| Kunci metadata | Nilai |
|---|---|
dataproc-bucket | Nama bucket staging cluster |
dataproc-region | Region endpoint cluster |
dataproc-worker-count | Jumlah worker node dalam cluster. Nilainya adalah 0 untuk cluster node tunggal. |
dataproc-cluster-name | Nama cluster |
dataproc-cluster-uuid | UUID cluster |
dataproc-role | Peran instance, baik Master maupun Worker |
dataproc-master | Nama host node master pertama. Nilainya adalah [CLUSTER_NAME]-m di cluster standar atau node tunggal, atau [CLUSTER_NAME]-m-0 di cluster ketersediaan tinggi, dengan [CLUSTER_NAME] adalah nama cluster Anda. |
dataproc-master-additional | Daftar nama host yang dipisahkan koma untuk node master tambahan dalam cluster ketersediaan tinggi, misalnya, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 dalam cluster yang memiliki 3 node master. |
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL | Versi atau URL yang mengarah ke versi konektor Spark BigQuery yang akan digunakan dalam aplikasi Spark, misalnya, 0.42.1 atau gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Versi konektor BigQuery Spark default telah diinstal sebelumnya di cluster versi image 2.1 dan yang lebih baru di Managed Service untuk Apache Spark. Untuk mengetahui informasi selengkapnya, lihat Menggunakan konektor BigQuery Spark. |
Anda dapat menggunakan nilai ini untuk menyesuaikan perilaku tindakan inisialisasi.
Anda dapat menggunakan flag --metadata dalam perintah gcloud dataproc clusters create untuk memberikan metadata Anda sendiri:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --metadata=name1=value1,name2=value2... \ ... other flags ...