"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Komponen Docker opsional Managed Service untuk Apache Spark

Untuk menjalankan container Docker di node cluster Managed Service untuk Apache Spark, aktifkan komponen opsional Docker selama pembuatan cluster. Dokumen ini menjelaskan cara menginstal dan mengonfigurasi komponen Docker di Managed Service untuk Apache Spark.

Untuk mempelajari lebih lanjut komponen opsional lain yang tersedia di Managed Service untuk Apache Spark, lihat Komponen opsional yang tersedia.

Cara kerja komponen Docker

Saat Anda mengaktifkan komponen Docker Managed Service untuk Apache Spark, komponen ini akan menginstal daemon Docker di setiap node cluster. Skrip ini juga menyiapkan pengguna dan grup Linux, yang keduanya bernama "docker", di setiap node untuk menjalankan daemon Docker. Selain itu, komponen membuat layanan systemd "docker" untuk menjalankan layanan dockerd. Anda harus menggunakan layanan systemd ini untuk mengelola siklus proses layanan Docker.

Instal komponen

Instal komponen saat Anda membuat cluster Managed Service untuk Apache Spark. Komponen Docker dapat diinstal pada cluster yang dibuat dengan Managed Service untuk Apache Spark versi image 1.5 atau yang lebih baru.

Lihat Versi Managed Service untuk Apache Spark yang didukung untuk versi komponen yang disertakan dalam setiap rilis image Managed Service untuk Apache Spark.

KonsolGoogle Cloud

Di Konsol Google Cloud , buka halaman Create cluster.
Klik Konfigurasi tambahan untuk meluaskan bagian tersebut.
Edit Komponen opsional.
Di panel yang terbuka, centang kotak untuk Docker, lalu klik Simpan.

gcloud CLI

Untuk membuat cluster Managed Service untuk Apache Spark yang menyertakan komponen Docker, gunakan perintah gcloud dataproc clusters create cluster-name dengan tanda --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

REST API

Komponen Docker dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Mengaktifkan Docker di YARN

Lihat Menyesuaikan lingkungan runtime tugas Spark dengan Docker di YARN untuk menggunakan image Docker yang disesuaikan dengan YARN.

Logging Docker

Secara default, komponen Docker Managed Service untuk Apache Spark menulis log ke Cloud Logging dengan menetapkan gcplogs driver—lihat Melihat log Anda.

Docker Registry

Komponen Docker Managed Service untuk Apache Spark mengonfigurasi Docker agar menggunakan Container Registry selain registry Docker default. Docker akan menggunakan helper kredensial Docker untuk melakukan autentikasi dengan Container Registry.

Menggunakan komponen Docker di cluster Kerberos

Anda dapat menginstal komponen opsional Docker pada cluster yang dibuat dengan keamanan Kerberos diaktifkan.