Managed Service untuk Apache Spark menetapkan nilai metadata khusus untuk instance yang berjalan di cluster Anda:
| Kunci metadata | Nilai |
|---|---|
dataproc-bucket | Nama bucket staging cluster |
dataproc-region | Region endpoint cluster |
dataproc-worker-count | Jumlah node pekerja di cluster. Nilainya adalah 0 untuk cluster node tunggal. |
dataproc-cluster-name | Nama cluster |
dataproc-cluster-uuid | UUID cluster |
dataproc-role | Peran instance, baik Master maupun Worker |
dataproc-master | Nama host node master pertama. Nilainya adalah [CLUSTER_NAME]-m di cluster standar atau node tunggal, atau [CLUSTER_NAME]-m-0 di cluster ketersediaan tinggi, dengan [CLUSTER_NAME] adalah nama cluster Anda. |
dataproc-master-additional | Daftar nama host yang dipisahkan koma untuk node master tambahan di cluster ketersediaan tinggi, misalnya, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 di cluster yang memiliki 3 node master. |
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL | Versi atau URL yang mengarah ke versi konektor Spark BigQuery yang akan digunakan dalam aplikasi Spark, misalnya, 0.42.1 atau gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Versi konektor Spark BigQuery default telah diinstal sebelumnya di cluster versi image Managed Service untuk Apache Spark 2.1 dan yang lebih baru. Untuk mengetahui informasi selengkapnya, lihat Menggunakan konektor Spark BigQuery. |
Anda dapat menggunakan nilai ini untuk menyesuaikan perilaku tindakan inisialisasi .
Anda dapat menggunakan flag --metadata dalam perintah
gcloud dataproc clusters create
untuk menyediakan metadata Anda sendiri:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --metadata=name1=value1,name2=value2... \ ... other flags ...