Properti cluster

Apache Hadoop YARN, HDFS, Spark, dan properti terkait

Komponen open source yang diinstal di cluster Managed Service untuk Apache Spark berisi banyak file konfigurasi. Misalnya, Apache Spark dan Apache Hadoop memiliki beberapa file konfigurasi XML dan teks biasa. Anda dapat menggunakan flag ‑‑properties dari perintah gcloud dataproc clusters create untuk mengubah banyak file konfigurasi umum saat membuat cluster.

Pemformatan

Flag gcloud dataproc clusters create --properties menerima format string berikut:

file_prefix1:property1=value1,file_prefix2:property2=value2,...

• file_prefix dipetakan ke file konfigurasi yang telah ditetapkan seperti yang ditunjukkan dalam tabel di bawah, dan property dipetakan ke properti dalam file.

• Pembatas default yang digunakan untuk memisahkan beberapa properti cluster adalah koma (,). Namun, jika koma disertakan dalam nilai properti, Anda harus mengubah pembatas dengan menentukan "^delimiter^" di awal daftar properti (lihat gcloud topic escaping untuk mengetahui informasi selengkapnya).

  • Contoh penggunaan pembatas "#":

    --properties ^#^file_prefix1:property1=part1,part2#file_prefix2:property2=value2
    

Praktik terbaik: Untuk memastikan perilaku cluster yang dapat diprediksi, tentukan nilai properti Boolean secara langsung sebagai true atau false huruf kecil.

Contoh

KonsolGoogle Cloud

Untuk mengubah setelan spark.master di file spark-defaults.conf:

1. Di konsol Google Cloud , buka halaman Create cluster.
2. Klik Additional configuration untuk meluaskan bagian tersebut.
3. Edit Penyesuaian & Lainnya.
4. Di panel yang terbuka, di bagian Cluster properties, klik + Add properties.
5. Pilih spark di daftar Prefix.
6. Pada kolom Kunci, masukkan spark.master.
7. Di kolom Value, masukkan setelan.
8. Klik Simpan.

gcloud CLI

Untuk mengubah setelan spark.master di file spark-defaults.conf, tambahkan flag gcloud dataproc clusters create --properties berikut:

--properties 'spark:spark.master=spark://example.com'

Anda dapat mengubah beberapa properti sekaligus, dalam satu atau beberapa file konfigurasi, menggunakan pemisah koma. Setiap properti harus ditentukan dalam format file_prefix:property=value lengkap. Misalnya, untuk mengubah setelan spark.master di file spark-defaults.conf dan setelan dfs.hosts di file hdfs-site.xml, gunakan flag --properties berikut saat membuat cluster:

--properties 'spark:spark.master=spark://example.com,hdfs:dfs.hosts=/foo/bar/baz'

REST API

Untuk menetapkan spark.executor.memory ke 10g, sisipkan setelan properties berikut di bagian SoftwareConfig pada permintaan clusters.create Anda:

"properties": {
  "spark:spark.executor.memory": "10g"
}

Cara mudah untuk melihat cara membuat isi JSON dari permintaan REST cluster Dataproc API adalah dengan memulai perintah gcloud yang setara menggunakan flag --log-http. Berikut adalah contoh perintah gcloud dataproc clusters create, yang menetapkan properti cluster dengan flag --properties spark:spark.executor.memory=10g. Log stdout menampilkan isi permintaan REST yang dihasilkan (cuplikan properties ditampilkan di bawah):

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=spark:spark.executor.memory=10g \
    --log-http \
    other args ...

Output:

...
== body start ==
{"clusterName": "my-cluster", "config": {"gceClusterConfig": ...
"masterConfig": {... "softwareConfig": {"properties": {"spark:spark.executor.memory": "10g"}},

...
== body end ==
...

Pastikan untuk membatalkan perintah setelah isi JSON muncul di output jika Anda tidak ingin perintah tersebut diterapkan.

Properti cluster versus properti tugas

Apache Hadoop YARN, HDFS, Spark, dan properti berawalan file lainnya diterapkan di tingkat cluster saat Anda membuat cluster. Properti ini tidak dapat diterapkan ke cluster setelah pembuatan cluster. Namun, banyak dari properti ini juga dapat diterapkan ke tugas tertentu. Saat menerapkan properti ke tugas, awalan file tidak digunakan.

Contoh berikut menetapkan memori eksekutor Spark ke 4g untuk tugas Spark (awalan spark: dihilangkan).

gcloud dataproc jobs submit spark \
    --region=REGION \
    --properties=spark.executor.memory=4g \
    other args ...

Properti tugas dapat dikirimkan dalam file menggunakan flag gcloud dataproc jobs submit job-type --properties-file (lihat, misalnya, deskripsi --properties-file untuk pengiriman tugas Hadoop).

gcloud dataproc jobs submit JOB_TYPE \
    --region=REGION \
    --properties-file=PROPERTIES_FILE \
    other args ...

PROPERTIES_FILE adalah kumpulan pasangan key=value yang dibatasi baris. Properti yang akan ditetapkan adalah key, dan nilai yang akan ditetapkan untuk properti tersebut adalah value. Lihat class java.util.Properties untuk mengetahui deskripsi mendetail tentang format file properti.

Berikut adalah contoh file properti yang dapat diteruskan ke flag --properties-file saat mengirimkan tugas Managed Service untuk Apache Spark.

 dataproc:conda.env.config.uri=gs://some-bucket/environment.yaml
 spark:spark.history.fs.logDirectory=gs://some-bucket
 spark:spark.eventLog.dir=gs://some-bucket
 capacity-scheduler:yarn.scheduler.capacity.root.adhoc.capacity=5

Tabel properti dengan awalan file

Awalan file	File	Tujuan file
capacity-scheduler	capacity-scheduler.xml	Konfigurasi Hadoop YARN Capacity Scheduler
inti	core-site.xml	Konfigurasi umum Hadoop
distcp	distcp-default.xml	Konfigurasi Hadoop Distributed Copy
flink	flink-conf.yaml	Konfigurasi Flink
flink-log4j	log4j.properties	File setelan Log4j
hadoop-env	hadoop-env.sh	Variabel lingkungan khusus Hadoop
hadoop-log4j	log4j.properties	File setelan Log4j
hbase	hbase-site.xml	Konfigurasi HBase
hbase-log4j	log4j.properties	File setelan Log4j
hdfs	hdfs-site.xml	Konfigurasi HDFS Hadoop
hive	hive-site.xml	Konfigurasi Hive
hive-log4j2	hive-log4j2.properties	File setelan Log4j
hudi	hudi-default.conf	Konfigurasi Hudi
mapred	mapred-site.xml	Konfigurasi Hadoop MapReduce
mapred-env	mapred-env.sh	Variabel lingkungan khusus Hadoop MapReduce
babi	pig.properties	Konfigurasi Pig
pig-log4j	log4j.properties	File setelan Log4j
presto	config.properties	Konfigurasi Presto
presto-jvm	jvm.config	Konfigurasi JVM khusus Presto
percikan cahaya	spark-defaults.conf	Konfigurasi Spark
spark-env	spark-env.sh	Variabel lingkungan khusus Spark
spark-log4j	log4j.properties	File setelan Log4j
tez	tez-site.xml	Konfigurasi Tez
webcat-log4j	webhcat-log4j2.properties	File setelan Log4j
yarn	yarn-site.xml	Konfigurasi Hadoop YARN
yarn-env	yarn-env.sh	Variabel lingkungan khusus Hadoop YARN
zeppelin	zeppelin-site.xml	Konfigurasi Zeppelin
zeppelin-env	zeppelin-env.sh	Variabel lingkungan khusus Zeppelin (khusus Komponen Opsional)
zeppelin-log4j	log4j.properties	File setelan Log4j
zookeeper	zoo.cfg	Konfigurasi Zookeeper
zookeeper-log4j	log4j.properties	File setelan Log4j

Catatan

• Beberapa properti dicadangkan dan tidak dapat diganti karena memengaruhi fungsi cluster Managed Service untuk Apache Spark. Jika Anda mencoba mengubah properti yang dicadangkan, Anda akan menerima pesan error saat membuat cluster.
• Anda dapat menentukan beberapa perubahan dengan memisahkan setiap perubahan menggunakan koma.
• Flag --properties tidak dapat mengubah file konfigurasi yang tidak ditampilkan di atas.
• Perubahan pada properti akan diterapkan sebelum daemon di cluster Anda dimulai.
• Jika properti yang ditentukan ada, properti tersebut akan diperbarui. Jika properti yang ditentukan tidak ada, properti tersebut akan ditambahkan ke file konfigurasi.

Properti Managed Service untuk Apache Spark

Properti yang tercantum di bagian ini khusus untuk Managed Service untuk Apache Spark. Properti ini dapat digunakan untuk mengonfigurasi lebih lanjut fungsi cluster Managed Service untuk Apache Spark Anda.

Catatan: Properti cluster ini ditentukan saat pembuatan cluster. Keduanya tidak dapat ditentukan atau diperbarui setelah pembuatan cluster.

Pemformatan

Flag gcloud dataproc clusters create --properties menerima format string berikut:

property_prefix1:property1=value1,property_prefix2:property2=value2,...

• Pembatas default yang digunakan untuk memisahkan beberapa properti cluster adalah koma (,). Namun, jika koma disertakan dalam nilai properti, Anda harus mengubah pembatas dengan menentukan "^delimiter^" di awal daftar properti (lihat gcloud topic escaping untuk mengetahui informasi selengkapnya).

  • Contoh penggunaan pembatas "#":

    --properties ^#^property_prefix1:property1=part1,part2#property_prefix2:property2=value2
    

Contoh:

Buat cluster dan tetapkan Enhanced Flexibility Mode ke shuffle worker utama Spark.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=dataproc:efm.spark.shuffle=primary-worker \
    other args ...

Praktik terbaik: Untuk memastikan perilaku cluster yang dapat diprediksi, tentukan nilai properti Boolean secara langsung sebagai true atau false huruf kecil.

Tabel properti Managed Service untuk Apache Spark

Awalan properti	Properti	Nilai	Deskripsi
dataproc	agent.process.threads.job.min	number	Managed Service untuk Apache Spark menjalankan driver tugas pengguna secara serentak dalam thread pool. Properti ini mengontrol jumlah minimum thread dalam thread pool untuk startup cepat meskipun tidak ada tugas yang berjalan (default: 10).
dataproc	agent.process.threads.job.max	number	Managed Service untuk Apache Spark menjalankan driver tugas pengguna secara serentak dalam thread pool. Properti ini mengontrol jumlah maksimum thread dalam kumpulan thread, sehingga membatasi konkurensi maksimum tugas pengguna. Tingkatkan nilai ini untuk konkurensi yang lebih tinggi (default: 100).
dataproc	am.primary_only	true atau false	Tetapkan properti ini ke true untuk mencegah master aplikasi berjalan di worker preemptible cluster Managed Service untuk Apache Spark. Catatan: Fitur ini hanya tersedia dengan Managed Service untuk Apache Spark 1.2 dan yang lebih tinggi. Nilai defaultnya adalah false.
dataproc	conda.env.config.uri	gs://<path>	Lokasi file konfigurasi lingkungan Conda di Cloud Storage. Lingkungan Conda baru akan dibuat dan diaktifkan berdasarkan file ini. Untuk mengetahui informasi selengkapnya, lihat Menggunakan properti Cluster terkait Conda. (default: empty).
dataproc	conda.packages	Paket Conda	Properti ini menggunakan daftar paket Conda yang dipisahkan koma dengan versi tertentu yang akan diinstal di lingkungan Conda base. Untuk mengetahui informasi selengkapnya, lihat Menggunakan properti Cluster terkait Conda. (default: empty).
dataproc	dataproc.allow.zero.workers	true atau false	Tetapkan properti SoftwareConfig ini ke true dalam permintaan API clusters.create untuk membuat Cluster node tunggal, yang mengubah jumlah default worker dari 2 menjadi 0, dan menempatkan komponen worker di host master. Cluster node tunggal juga dapat dibuat dari konsol Google Cloud atau dengan Google Cloud CLI dengan menetapkan jumlah worker ke 0.
dataproc	dataproc.alpha.master.nvdimm.size.gb	1500-6500	Menetapkan nilai akan membuat master Managed Service untuk Apache Spark dengan Memori Persistent Intel Optane DC. Catatan: VM Optane hanya dapat dibuat di zona us-central1-f, hanya dengan jenis mesin n1-highmem-96-aep, dan hanya dalam project yang diizinkan.
dataproc:	dataproc.alpha.worker.nvdimm.size.gb	1500-6500	Menetapkan nilai akan membuat worker Managed Service untuk Apache Spark dengan Memori Persistent Intel Optane DC. Catatan: VM Optane hanya dapat dibuat di zona us-central1-f, hanya dengan jenis mesin n1-highmem-96-aep, dan hanya dalam project yang diizinkan.
dataproc:	dataproc.await-new-workers-service-registration	true atau false	Properti ini tersedia di image 2.0.49+. Nilai defaultnya adalah false. Tetapkan properti ini ke true untuk menunggu worker utama baru mendaftarkan pemimpin layanan, seperti HDFS NameNode dan YARN ResourceManager, selama pembuatan cluster atau peningkatan skala cluster (hanya layanan HDFS dan YARN yang dipantau). Jika ditetapkan ke true, jika worker baru gagal mendaftar ke layanan, worker akan diberi status FAILED. Worker yang gagal akan dihapus jika cluster sedang melakukan penskalaan naik. Jika cluster sedang dibuat, worker yang gagal akan dihapus jika flag gcloud dataproc clusters create --action-on-failed-primary-workers=DELETE atau kolom API actionOnFailedPrimaryWorkers=DELETE ditentukan sebagai bagian dari perintah gcloud atau permintaan pembuatan cluster API.
dataproc:	dataproc.beta.secure.multi-tenancy.user.mapping	user-to-service account mappings	Properti ini mengambil daftar pemetaan akun pengguna ke layanan. Pengguna yang dipetakan dapat mengirimkan workload interaktif ke cluster dengan identitas pengguna yang terisolasi (lihat Multi-tenancy Aman Berbasis Akun Layanan Managed Service untuk Apache Spark).
dataproc:	dataproc.cluster.caching.enabled	true atau false	Jika caching cluster diaktifkan, cluster akan meng-cache data Cloud Storage yang diakses oleh tugas Spark, sehingga meningkatkan performa tugas tanpa mengorbankan konsistensi. (default: false).
dataproc	dataproc.cluster-ttl.consider-yarn-activity	true atau false	Jika ditetapkan ke true, Penghapusan Terjadwal Cluster akan mempertimbangkan aktivitas YARN dan Jobs API saat menghitung waktu tidak ada aktivitas cluster. Jika disetel ke false, hanya aktivitas Jobs API yang dipertimbangkan. (default: true). Untuk mengetahui informasi selengkapnya, lihat Penghitungan waktu tidak ada aktivitas cluster.
dataproc	dataproc.conscrypt.provider.enable	true atau false	Mengaktifkan (true) atau menonaktifkan (false) Conscrypt sebagai penyedia keamanan Java utama. Catatan: Conscrypt diaktifkan secara default di Managed Service untuk Apache Spark 1.2 dan yang lebih tinggi, tetapi dinonaktifkan di 1.0/1.1.
dataproc	dataproc.cooperative.multi-tenancy.user.mapping	user-to-service account mappings	Properti ini menggunakan daftar pemetaan akun pengguna ke layanan yang dipisahkan koma. Jika cluster dibuat dengan properti ini ditetapkan, saat pengguna mengirimkan tugas, cluster akan mencoba meniru identitas akun layanan yang sesuai saat mengakses Cloud Storage melalui konektor Cloud Storage. Fitur ini memerlukan konektor Cloud Storage versi 2.1.4 atau yang lebih tinggi. Untuk mengetahui informasi selengkapnya, lihat Multi-tenancy kooperatif Managed Service untuk Apache Spark. (default: empty).
dataproc	dataproc.control.max.assigned.job.tasks	100	Properti ini membatasi jumlah tugas yang dapat berjalan secara serentak di node master cluster. Jika jumlah tugas aktif melebihi batas tugas, tugas baru akan mengantre hingga tugas yang berjalan selesai dan resource dikosongkan untuk memungkinkan tugas baru dijadwalkan. Catatan: Menetapkan batas tugas default yang melebihi 100 (default) tidak direkomendasikan karena dapat menyebabkan kondisi kehabisan memori di node master.
dataproc	dataproc:hudi.version	Versi Hudi	Menetapkan versi Hudi yang digunakan dengan komponen Hudi Managed Service untuk Apache Spark opsional. Catatan: Versi ini ditetapkan oleh Managed Service untuk Apache Spark agar kompatibel dengan versi image cluster. Jika ditetapkan oleh pengguna, pembuatan cluster dapat gagal jika versi yang ditentukan tidak kompatibel dengan image cluster.
dataproc	dataproc.lineage.enabled	true	Mengaktifkan silsilah data di cluster Managed Service untuk Apache Spark untuk tugas Spark.
dataproc	dataproc.localssd.mount.enable	true atau false	Apakah akan memasang SSD lokal sebagai direktori sementara Hadoop/Spark dan direktori data HDFS (default: true).
dataproc	dataproc.logging.extended.enabled	true atau false	Mengaktifkan (true) atau menonaktifkan (false) log di Cloud Logging untuk hal berikut: knox, zeppelin, ranger-usersync, jupyter_notebook, jupyter_kernel_gateway, dan spark-history-server (default: true). Untuk mengetahui informasi selengkapnya, lihat Log cluster Managed Service untuk Apache Spark di Logging.
dataproc	dataproc.logging.stackdriver.enable	true atau false	Mengaktifkan (true) atau menonaktifkan (false) Cloud Logging (default: true). Lihat Harga Cloud Logging untuk mengetahui biaya terkait.
dataproc	dataproc.logging.stackdriver.job.driver.enable	true atau false	Mengaktifkan (true) atau menonaktifkan (false) log driver tugas Managed Service untuk Apache Spark di Cloud Logging. Lihat Output dan log tugas Managed Service untuk Apache Spark (default: false).
dataproc	dataproc.logging.stackdriver.job.yarn.container.enable	true atau false	Mengaktifkan (true) atau menonaktifkan (false) log container YARN di Cloud Logging. Lihat Opsi output tugas Spark. (default: false).
dataproc	dataproc.logging.syslog.enabled	true atau false	Mengaktifkan (true) atau menonaktifkan (false) syslog VM di Cloud Logging (default: true).
dataproc	dataproc.master.custom.init.actions.mode	RUN_BEFORE_SERVICES atau RUN_AFTER_SERVICES	Untuk cluster image 2.0+, jika ditetapkan ke RUN_AFTER_SERVICES, tindakan inisialisasi pada master akan berjalan setelah HDFS dan layanan apa pun yang bergantung pada HDFS diinisialisasi. Contoh layanan yang bergantung pada HDFS meliputi: HBase, Hive Server2, Ranger, Solr, serta server histori Spark dan MapReduce. (default: RUN_BEFORE_SERVICES).
dataproc	dataproc.monitoring.stackdriver.enable	true atau false	Mengaktifkan (true) atau menonaktifkan (false) Agen pemantauan (default: false). Properti ini tidak digunakan lagi. Lihat Mengaktifkan pengumpulan metrik kustom untuk mengaktifkan pengumpulan metrik OSS Managed Service untuk Apache Spark di Monitoring.
dataproc	dataproc.scheduler.driver-size-mb	number	Jejak memori driver rata-rata, yang menentukan jumlah maksimum tugas serentak yang akan dijalankan cluster. Nilai defaultnya adalah 1 GB. Nilai yang lebih kecil, seperti 256, mungkin sesuai untuk tugas Spark.
dataproc	dataproc.scheduler.job-submission-rate	number	Tugas akan dibatasi jika tingkat ini terlampaui. Tarif defaultnya adalah 1.0 QPS.
dataproc	dataproc.scheduler.max-concurrent-jobs	number	Jumlah maksimum tugas serentak. Jika nilai ini tidak ditetapkan saat cluster dibuat, batas atas tugas serentak akan dihitung sebagai max((masterMemoryMb - 3584) / masterMemoryMbPerJob, 5). masterMemoryMb ditentukan oleh jenis mesin VM master. masterMemoryMbPerJob adalah 1024 secara default, tetapi dapat dikonfigurasi saat pembuatan cluster dengan properti cluster dataproc:dataproc.scheduler.driver-size-mb.
dataproc	dataproc.scheduler.max-memory-used	number	Jumlah maksimum RAM yang dapat digunakan. Jika penggunaan saat ini melebihi batas ini, tugas baru tidak dapat dijadwalkan. Defaultnya adalah 0.9 (90%). Jika ditetapkan ke 1.0, throttling tugas master-memory-utilization akan dinonaktifkan.
dataproc	dataproc.scheduler.min-free-memory.mb	number	Jumlah minimum memori kosong dalam megabyte yang diperlukan oleh driver tugas Managed Service untuk Apache Spark untuk menjadwalkan tugas lain di cluster. Defaultnya adalah 256 MB.
dataproc	dataproc.snap.enabled	true atau false	Mengaktifkan atau menonaktifkan daemon Ubuntu Snap. Nilai defaultnya adalah true. Jika disetel kefalse, paket Snap yang telah diinstal sebelumnya dalam image tidak akan terpengaruh, tetapi pembaruan otomatis akan dinonaktifkan. Berlaku untuk image Ubuntu 1.4.71, 1.5.46, 2.0.20, dan yang lebih baru.
dataproc	dataproc.worker.custom.init.actions.mode	RUN_BEFORE_SERVICES	Untuk cluster image pra-2.0, RUN_BEFORE_SERVICES tidak ditetapkan, tetapi dapat ditetapkan oleh pengguna saat cluster dibuat. Untuk cluster image 2.0+, RUN_BEFORE_SERVICES sudah ditetapkan, dan properti tidak dapat diteruskan ke cluster (tidak dapat diubah oleh pengguna). Untuk mengetahui informasi tentang efek setelan ini, lihat Pertimbangan dan panduan penting—Pemrosesan inisialisasi.
dataproc	dataproc.yarn.orphaned-app-termination.enable	true atau false	Nilai defaultnya adalah true. Tetapkan ke false untuk mencegah Managed Service untuk Apache Spark menghentikan aplikasi YARN "tanpa induk". Managed Service untuk Apache Spark menganggap aplikasi YARN sebagai tanpa induk jika driver tugas yang mengirimkan aplikasi YARN telah keluar. Peringatan: Jika Anda menggunakan mode cluster Spark (spark.submit.deployMode=cluster) dan menetapkan spark.yarn.submit.waitAppCompletion=false, driver Spark akan keluar tanpa menunggu aplikasi YARN selesai; dalam hal ini, tetapkan dataproc:dataproc.yarn.orphaned-app-termination.enable=false. Tetapkan juga properti ini ke false jika Anda mengirimkan tugas Hive.
dataproc	diagnostic.capture.enabled	true atau false	Mengaktifkan pengumpulan data diagnostik checkpoint cluster. (default: true).
dataproc	diagnostic.capture.access	GOOGLE_DATAPROC_DIAGNOSE	Jika ditetapkan ke GOOGLE_DATAPROC_DIAGNOSE, data diagnostik checkpoint cluster, yang disimpan di Cloud Storage, akan dibagikan ke dukungan Managed Service untuk Apache Spark. (default: not set).
dataproc	efm.spark.shuffle	primary-worker	Jika ditetapkan ke primary-worker, data shuffle Spark akan ditulis ke worker utama". Lihat Mode Fleksibilitas yang Ditingkatkan untuk Managed Service untuk Apache Spark untuk mengetahui informasi selengkapnya.
dataproc	job.history.to-gcs.enabled	true atau false	Memungkinkan persistensi file histori MapReduce dan Spark ke bucket sementara Managed Service untuk Apache Spark (default: true untuk image versi 1.5+). Pengguna dapat menimpa lokasi persistensi file histori tugas melalui properti berikut: mapreduce.jobhistory.done-dir, mapreduce.jobhistory.intermediate-done-dir, spark.eventLog.dir, dan spark.history.fs.logDirectory. Lihat Server Histori Persisten Managed Service untuk Apache Spark untuk mengetahui informasi tentang properti cluster ini dan properti cluster lainnya yang terkait dengan histori tugas dan file peristiwa Managed Service untuk Apache Spark.
dataproc	jobs.file-backed-output.enable	true atau false	Mengonfigurasi tugas Managed Service untuk Apache Spark agar menyalurkan outputnya ke file sementara di direktori /var/log/google-dataproc-job. Harus ditetapkan ke true untuk mengaktifkan logging driver tugas di Cloud Logging (default: true).
dataproc	jupyter.listen.all.interfaces	true atau false	Untuk mengurangi risiko eksekusi kode jarak jauh melalui API server notebook yang tidak aman, setelan default untuk versi image 1.3+ adalah false, yang membatasi koneksi ke localhost (127.0.0.1) saat Component Gateway diaktifkan (aktivasi Component Gateway tidak diperlukan untuk image 2.0+). Setelan default ini dapat diganti dengan menetapkan properti ini ke true untuk mengizinkan semua koneksi.
dataproc	jupyter.notebook.gcs.dir	gs://<dir-path>	Lokasi di Cloud Storage untuk menyimpan notebook Jupyter.
dataproc	kerberos.beta.automatic-config.enable	true atau false	Jika disetel ke true, pengguna tidak perlu menentukan sandi root principal Kerberos dengan flag --kerberos-root-principal-password dan --kerberos-kms-key-uri (default: false). Lihat Mengaktifkan Mode Aman Hadoop melalui Kerberos untuk mengetahui informasi selengkapnya.
dataproc	kerberos.cross-realm-trust.admin-server	hostname/address	nama host/alamat server admin jarak jauh (sering kali sama dengan server KDC).
dataproc	kerberos.cross-realm-trust.kdc	hostname/address	nama host/alamat KDC jarak jauh.
dataproc	kerberos.cross-realm-trust.realm	realm name	Nama realm dapat terdiri dari string ASCII HURUF BESAR apa pun. Biasanya, nama realm sama dengan nama domain DNS Anda (dalam HURUF BESAR). Contoh: Jika mesin diberi nama "machine-id.example.west-coast.mycompany.com", realm terkait dapat ditetapkan sebagai "EXAMPLE.WEST-COAST.MYCOMPANY.COM".
dataproc	kerberos.cross-realm-trust.shared-password.uri	gs://<dir-path>	Lokasi di Cloud Storage untuk sandi bersama yang dienkripsi KMS.
dataproc	kerberos.kdc.db.key.uri	gs://<dir-path>	Lokasi di Cloud Storage dari file yang dienkripsi KMS yang berisi kunci master database KDC.
dataproc	kerberos.key.password.uri	gs://<dir-path>	Lokasi di Cloud Storage untuk file yang dienkripsi KMS yang berisi sandi kunci dalam file keystore.
dataproc	kerberos.keystore.password.uri	gs://<dir-path>	Lokasi di Cloud Storage untuk file terenkripsi KMS yang berisi sandi keystore.
dataproc	kerberos.keystore.uri^1	gs://<dir-path>	Lokasi di Cloud Storage untuk file keystore yang berisi sertifikat karakter pengganti dan kunci pribadi yang digunakan oleh node cluster.
dataproc	kerberos.kms.key.uri	KMS key URI	URI kunci KMS yang digunakan untuk mendekripsi sandi root, misalnya projects/project-id/locations/region/keyRings/key-ring/cryptoKeys/key (lihat ID resource kunci).
dataproc	kerberos.root.principal.password.uri	gs://<dir-path>	Lokasi di Cloud Storage untuk sandi yang dienkripsi KMS untuk akun utama root Kerberos.
dataproc	kerberos.tgt.lifetime.hours	hours	Masa aktif maksimum ticket granting ticket.
dataproc	kerberos.truststore.password.uri	gs://<dir-path>	Lokasi di Cloud Storage untuk file yang dienkripsi KMS yang berisi sandi ke file truststore.
dataproc	kerberos.truststore.uri^2	gs://<dir-path>	Lokasi di Cloud Storage untuk file trust store yang dienkripsi KMS yang berisi sertifikat tepercaya.
dataproc	pip.packages	Paket pip	Properti ini menggunakan daftar paket Pip yang dipisahkan koma dengan versi tertentu, yang akan diinstal di lingkungan Conda base. Untuk mengetahui informasi selengkapnya, lihat Properti Cluster terkait Conda. (default: empty).
dataproc	ranger.kms.key.uri	KMS key URI	URI kunci KMS yang digunakan untuk mendekripsi sandi pengguna admin Ranger, misalnya projects/project-id/locations/region/keyRings/key-ring/cryptoKeys/key (lihat ID resource kunci).
dataproc	ranger.admin.password.uri	gs://<dir-path>	Lokasi di Cloud Storage untuk sandi yang dienkripsi KMS bagi pengguna admin Ranger.
dataproc	ranger.db.admin.password.uri	gs://<dir-path>	Lokasi di Cloud Storage untuk sandi yang dienkripsi KMS bagi pengguna admin database Ranger.
dataproc	ranger.cloud-sql.instance.connection.name	cloud sql instance connection name	Nama koneksi instance Cloud SQL, misalnya project-id:region:name.
dataproc	ranger.cloud-sql.root.password.uri	gs://<dir-path>	Lokasi di Cloud Storage untuk sandi yang dienkripsi KMS bagi pengguna root instance Cloud SQL.
dataproc	ranger.cloud-sql.use-private-ip	true atau false	Apakah komunikasi antara instance cluster dan instance Cloud SQL harus melalui IP pribadi (nilai defaultnya adalah false).
dataproc	solr.gcs.path	gs://<dir-path>	Jalur Cloud Storage yang akan bertindak sebagai direktori utama Solr.
dataproc	startup.component.service-binding-timeout.hadoop-hdfs-namenode	seconds	Jumlah waktu yang akan ditunggu oleh skrip startup Managed Service untuk Apache Spark agar hadoop-hdfs-namenode terikat ke port sebelum memutuskan bahwa startup-nya telah berhasil. Nilai maksimum yang dikenali adalah 1.800 detik (30 menit).
dataproc	startup.component.service-binding-timeout.hive-metastore	seconds	Durasi waktu skrip startup Managed Service untuk Apache Spark akan menunggu layanan hive-metastore mengikat ke port sebelum memutuskan bahwa startup-nya telah berhasil. Nilai maksimum yang dikenali adalah 1.800 detik (30 menit).
dataproc	startup.component.service-binding-timeout.hive-server2	seconds	Durasi waktu skrip startup Managed Service untuk Apache Spark akan menunggu hive-server2 mengikat ke port sebelum memutuskan bahwa startup-nya telah berhasil. Nilai maksimum yang dikenali adalah 1.800 detik (30 menit).
dataproc	user-attribution.enabled	true atau false	Tetapkan properti ini ke true untuk mengatribusikan tugas Managed Service untuk Apache Spark ke identitas pengguna yang mengirimkannya (nilai defaultnya adalah false).
dataproc	yarn.docker.enable	true atau false	Tetapkan ke true untuk mengaktifkan fitur Managed Service untuk Apache Spark Docker di YARN (nilai defaultnya adalah false).
dataproc	yarn.docker.image	docker image	Saat mengaktifkan fitur Managed Service untuk Apache Spark Docker on YARN (dataproc:yarn.docker.enable=true), Anda dapat menggunakan properti opsional ini untuk menentukan image Docker Anda (misalnya, dataproc:yarn.docker.image=gcr.io/project-id/image:1.0.1). Jika ditentukan, image akan didownload dan di-cache di semua node cluster selama pembuatan cluster.
dataproc	yarn.log-aggregation.enabled	true atau false	Memungkinkan (true) mengaktifkan agregasi log YARN ke temp bucket cluster. Nama bucket menggunakan format berikut: dataproc-temp-<REGION>-<PROJECT_NUMBER>-<RANDOM_STRING>. (default: true untuk versi image 1.5+). Catatan: Bucket sementara cluster tidak akan dihapus saat cluster dihapus. Pengguna juga dapat menetapkan lokasi log YARN gabungan dengan menimpa properti YARN yarn.nodemanager.remote-app-log-dir.
knox	gateway.host	ip address	Untuk mengurangi risiko eksekusi kode jarak jauh melalui API server notebook yang tidak aman, setelan default untuk versi image 1.3+ adalah 127.0.0.1, yang membatasi koneksi ke localhost saat Component Gateway diaktifkan. Setelan default dapat diganti, misalnya dengan menetapkan properti ini ke 0.0.0.0 untuk mengizinkan semua koneksi.
zeppelin	zeppelin.notebook.gcs.dir	gs://<dir-path>	Lokasi di Cloud Storage untuk menyimpan notebook Zeppelin.
zeppelin	zeppelin.server.addr	ip address	Untuk mengurangi risiko eksekusi kode jarak jauh melalui API server notebook yang tidak aman, setelan default untuk versi image 1.3+ adalah 127.0.0.1, yang membatasi koneksi ke localhost saat Component Gateway diaktifkan. Setelan default ini dapat diganti, misalnya dengan menetapkan properti ini ke 0.0.0.0 untuk mengizinkan semua koneksi.

¹File keystore: File keystore berisi sertifikat SSL. Kunci ini harus dalam format Java KeyStore (JKS). Saat disalin ke VM, nama file ini diganti menjadi keystore.jks. Sertifikat SSL harus berupa sertifikat karakter pengganti yang berlaku untuk setiap node dalam cluster.

²File truststore: File truststore harus dalam format Java KeyStore (JKS). Saat disalin ke VM, nama file ini diganti menjadi truststore.jks.