"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Managed Service untuk Apache Spark pada konfigurasi keamanan cluster

Saat membuat cluster Managed Service untuk Apache Spark, Anda dapat mengaktifkan Hadoop Secure Mode melalui Kerberos untuk menyediakan multi-tenancy melalui autentikasi, isolasi, dan enkripsi pengguna di dalam cluster Managed Service untuk Apache Spark.

Autentikasi Pengguna dan Layanan Google Cloud Platform Lainnya. Autentikasi per pengguna menggunakan Kerberos hanya berlaku dalam cluster. Interaksi dengan layanan Google Cloud lain, seperti Cloud Storage, terus diautentikasi sebagai akun layanan untuk cluster.

Mengaktifkan Hadoop Secure Mode menggunakan Kerberos

Mengaktifkan Kerberos dan Hadoop Secure Mode untuk cluster akan menyertakan distribusi MIT Kerberos dan mengonfigurasi Apache Hadoop YARN, HDFS, Hive, Spark, dan komponen terkait untuk menggunakannya dalam autentikasi.

Mengaktifkan Kerberos akan membuat Key Distribution Center (KDC) pada cluster, yang berisi akun utama layanan dan akun utama root. Root principal adalah akun dengan izin administrator ke KDC on-cluster. KDC juga dapat berisi akun utama pengguna standar atau terhubung melalui kepercayaan lintas realm ke KDC lain yang berisi akun utama pengguna.

Membuat cluster Kerberos

Siapkan sandi akun utama root Kerberos Anda, lalu buat cluster.

Menyiapkan sandi root principal Kerberos

Principal root Kerberos adalah akun dengan izin administrator ke KDC di cluster. Untuk memberikan sandi bagi root principal Kerberos dengan aman, pengguna dapat mengenkripsinya dengan kunci Key Management Service (KMS), lalu menyimpannya di bucket Google Cloud Storage yang dapat diakses oleh akun layanan cluster. Akun layanan cluster harus diberi peran IAM cloudkms.cryptoKeyDecrypter.

Berikan peran Cloud KMS CryptoKey Encrypter/Decrypter ke akun layanan cluster:

gcloud projects add-iam-policy-binding project-id \
    --member serviceAccount:project-number-compute@ \
    --role roles/cloudkms.cryptoKeyDecrypter

Buat key ring:

gcloud kms keyrings create my-keyring --location global

Buat kunci di key ring:

gcloud kms keys create my-key \
    --location global \
    --keyring my-keyring \
    --purpose encryption

Enkripsi sandi root utama Kerberos Anda:

echo "my-password" | \
  gcloud kms encrypt \
    --location=global \
    --keyring=my-keyring \
    --key=my-key \
    --plaintext-file=- \
    --ciphertext-file=kerberos-root-principal-password.encrypted

Upload sandi terenkripsi ke bucket Cloud Storage di project Anda.

Contoh:

gcloud storage cp kerberos-root-principal-password.encrypted gs://my-bucket

Membuat cluster

Anda dapat menggunakan Google Cloud CLI, Dataproc API, atau konsolGoogle Cloud untuk mengaktifkan Kerberos di cluster yang menggunakan Managed Service for Apache Spark versi image 1.3 dan yang lebih baru.

KonsolGoogle Cloud

Buka halaman Create cluster.
Klik Additional configuration untuk meluaskan bagian tersebut.
Edit Keamanan.
Di panel yang terbuka, di bagian Kerberos, pilih Enable, lalu berikan informasi sandi dan kunci (lihat bagian berikut untuk informasi tambahan).

Perintah gcloud CLI

Untuk membuat cluster Managed Service untuk Apache Spark Kerberos (versi image 1.3 dan yang lebih baru), gunakan perintah gcloud dataproc clusters create.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --image-version=2.0 \
    --kerberos-root-principal-password-uri=gs://my-bucket/kerberos-root-principal-password.encrypted \
    --kerberos-kms-key=projects/project-id/locations/global/keyRings/my-keyring/cryptoKeys/my-key

Menggunakan file konfigurasi YAML (atau JSON). Alih-alih meneruskan flag kerberos-* ke perintah gcloud seperti yang ditunjukkan di atas, Anda dapat menempatkan setelan kerberos dalam file konfigurasi YAML (atau JSON), lalu mereferensikan file konfigurasi untuk membuat cluster kerberos.

Buat file konfigurasi (lihat Sertifikat SSL, Setelan Kerberos Tambahan, dan Kepercayaan lintas realm untuk setelan konfigurasi tambahan yang dapat disertakan dalam file):

root_principal_password_uri: gs://my-bucket/kerberos-root-principal-password.encrypted
kms_key_uri: projects/project-id/locations/global/keyRings/mykeyring/cryptoKeys/my-key

Gunakan perintah gcloud berikut untuk membuat cluster kerberos:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --kerberos-config-file=local path to config-file \
    --image-version=2.0

Pertimbangan Keamanan. Managed Service untuk Apache Spark menghapus bentuk sandi yang didekripsi setelah menambahkan root principal ke KDC. Untuk tujuan keamanan, setelah membuat cluster, Anda dapat memutuskan untuk menghapus file sandi dan kunci yang digunakan untuk mendekripsi secret, serta menghapus akun layanan dari peran kmsKeyDecrypter. Jangan lakukan ini jika Anda berencana untuk meningkatkan skala cluster, yang memerlukan file dan kunci sandi, serta peran akun layanan.

REST API

Cluster Kerberos dapat dibuat melalui ClusterConfig.SecurityConfig.KerberosConfig sebagai bagian dari permintaan clusters.create. Tetapkan enableKerberos ke true dan tetapkan kolom rootPrincipalPasswordUri dan kmsKeyUri.

Login OS

Pengelolaan KDC di cluster dapat dilakukan dengan perintah kadmin menggunakan akun utama pengguna Kerberos root atau menggunakan sudo kadmin.local. Aktifkan Login OS untuk mengontrol siapa yang dapat menjalankan perintah superuser.

Sertifikat SSL

Sebagai bagian dari pengaktifan Mode Aman Hadoop, Managed Service untuk Apache Spark membuat sertifikat yang ditandatangani sendiri untuk mengaktifkan enkripsi SSL cluster. Sebagai alternatif, Anda dapat memberikan sertifikat untuk enkripsi SSL cluster dengan menambahkan setelan berikut ke file konfigurasi saat Anda membuat cluster kerberos:

ssl:keystore_password_uri: Lokasi di Cloud Storage untuk file terenkripsi KMS yang berisi sandi ke file keystore.
ssl:key_password_uri: Lokasi di Cloud Storage untuk file yang dienkripsi KMS yang berisi sandi ke kunci dalam file keystore.
ssl:keystore_uri: Lokasi di Cloud Storage untuk file keystore yang berisi sertifikat karakter pengganti dan kunci pribadi yang digunakan oleh node cluster.
ssl:truststore_password_uri: Lokasi di Cloud Storage untuk file terenkripsi KMS yang berisi sandi ke file truststore.
ssl:truststore_uri: Lokasi di Cloud Storage untuk file trust store yang berisi sertifikat tepercaya.

Contoh file konfigurasi:

root_principal_password_uri: gs://my-bucket/kerberos-root-principal-password.encrypted
kms_key_uri: projects/project-id/locations/global/keyRings/mykeyring/cryptoKeys/my-key
ssl:
  key_password_uri: gs://bucket/key_password.encrypted
  keystore_password_uri: gs://bucket/keystore_password.encrypted
  keystore_uri: gs://bucket/keystore.jks
  truststore_password_uri: gs://bucket/truststore_password.encrypted
  truststore_uri: gs://bucket/truststore.jks

Setelan Kerberos Tambahan

Untuk menentukan realm Kerberos, buat cluster kerberos dengan properti berikut yang ditambahkan dalam file konfigurasi Kerberos:

realm: Nama realm Kerberos di cluster.

Jika properti ini tidak ditetapkan, domain nama host (dalam huruf besar) akan menjadi realm.

Untuk menentukan kunci master database KDC, buat cluster kerberos dengan properti berikut ditambahkan dalam file konfigurasi Kerberos:

kdc_db_key_uri: Lokasi di Cloud Storage untuk file yang dienkripsi KMS yang berisi kunci master database KDC.

Jika properti ini tidak ditetapkan, Managed Service untuk Apache Spark akan membuat kunci master.

Untuk menentukan masa aktif maksimum tiket pemberian tiket (dalam jam), buat cluster kerberos dengan properti berikut ditambahkan dalam file konfigurasi Kerberos:

tgt_lifetime_hours: Masa aktif maksimum tiket pemberian tiket dalam jam.

Jika properti ini tidak ditetapkan, Managed Service untuk Apache Spark akan menetapkan masa aktif tiket pemberian tiket menjadi 10 jam.

Kepercayaan lintas realm

KDC di cluster awalnya hanya berisi akun utama administrator root dan akun utama layanan. Anda dapat menambahkan akun utama pengguna secara manual atau membuat kepercayaan lintas realm dengan KDC eksternal atau server direktori Active Directory yang menyimpan akun utama pengguna. Cloud VPN atau Cloud Interconnect direkomendasikan untuk terhubung ke KDC/Active Directory lokal.

Untuk membuat cluster kerberos yang mendukung kepercayaan lintas realm, tambahkan setelan berikut ke file konfigurasi Kerberos saat Anda membuat cluster kerberos. Enkripsi sandi bersama dengan KMS dan simpan di bucket Cloud Storage yang dapat diakses oleh akun layanan cluster.

cross_realm_trust:admin_server: nama host atau alamat server admin jarak jauh
cross_realm_trust:kdc: nama host atau alamat KDC jarak jauh
cross_realm_trust:realm: nama realm jarak jauh yang akan dipercaya
cross_realm_trust:shared_password_uri: Lokasi di Cloud Storage untuk sandi bersama yang dienkripsi KMS

Contoh file konfigurasi:

root_principal_password_uri: gs://my-bucket/kerberos-root-principal-password.encrypted
kms_key_uri: projects/project-id/locations/global/keyRings/mykeyring/cryptoKeys/my-key
cross_realm_trust:
  admin_server: admin.remote.realm
  kdc: kdc.remote.realm
  realm: REMOTE.REALM
  shared_password_uri: gs://bucket/shared_password.encrypted

Untuk mengaktifkan kepercayaan lintas realm ke KDC jarak jauh, ikuti langkah-langkah berikut:

Tambahkan kode berikut dalam file /etc/krb5.conf di KDC jarak jauh:

[realms]
DATAPROC.REALM = {
  kdc = MASTER-NAME-OR-ADDRESS
  admin_server = MASTER-NAME-OR-ADDRESS
}

Buat pengguna kepercayaan:

kadmin -q "addprinc krbtgt/DATAPROC.REALM@REMOTE.REALM"

Jika diminta, masukkan sandi pengguna. Sandi harus cocok dengan isi file sandi bersama yang dienkripsi

Untuk mengaktifkan kepercayaan lintas realm dengan Active Directory, jalankan perintah berikut di PowerShell sebagai Administrator:

Buat definisi KDC di Active Directory.

ksetup /addkdc DATAPROC.REALM DATAPROC-CLUSTER-MASTER-NAME-OR-ADDRESS

Membuat kepercayaan di Active Directory.
```
netdom trust DATAPROC.REALM /Domain AD.REALM /add /realm /passwordt:TRUST-PASSWORD
```
Sandi harus cocok dengan konten file sandi bersama yang dienkripsi.

`dataproc` akun utama

Saat Anda mengirimkan tugas menggunakan jobs API Managed Service untuk Apache Spark ke cluster kerberos Managed Service untuk Apache Spark, tugas tersebut akan dijalankan sebagai entitas kerberos dataproc dari realm kerberos cluster.

Multi-tenancy didukung dalam cluster kerberos Managed Service untuk Apache Spark jika Anda mengirim tugas secara langsung, ke cluster, misalnya menggunakan SSH. Namun, jika tugas membaca atau menulis ke layanan Google Cloud lain, seperti Cloud Storage, tugas tersebut akan bertindak sebagai akun layanan cluster.

Properti cluster default dan kustom

Mode aman Hadoop dikonfigurasi dengan properti dalam file konfigurasi. Managed Service untuk Apache Spark menetapkan nilai default untuk properti ini.

Anda dapat mengganti properti default saat membuat cluster dengan flag gcloud dataproc clusters create --properties atau dengan memanggil clusters.create API dan menetapkan properti SoftwareConfig (lihat contoh properti cluster).

Mode Ketersediaan Tinggi

Dalam mode Ketersediaan Tinggi (HA), cluster kerberos akan memiliki 3 KDC: satu di setiap master. KDC yang berjalan di master "pertama" ($CLUSTER_NAME-m-0) akan menjadi KDC master dan juga berfungsi sebagai server admin. Database KDC master akan disinkronkan ke dua KDC replika dengan interval 5 menit melalui cron job, dan 3 KDC akan menyalurkan traffic baca.

Kerberos tidak mendukung replikasi real-time atau failover otomatis secara native jika KDC master nonaktif. Untuk melakukan failover manual:

Di semua mesin KDC, di /etc/krb5.conf, ubah admin_server ke FQDN (Nama Domain yang Sepenuhnya Memenuhi Syarat) master baru. Hapus master lama dari daftar KDC.
Di KDC master baru, siapkan cron job untuk menerapkan database.
Di KDC master baru, mulai ulang proses admin_server (krb5-admin-server).
Di semua mesin KDC, mulai ulang proses KDC (krb5-kdc).

Konfigurasi jaringan

Untuk memastikan bahwa worker node dapat berkomunikasi dengan KDC dan Server admin Kerberos yang berjalan di master, pastikan aturan firewall VPC mengizinkan traffic TCP dan UDP masuk di port 88 dan traffic TCP masuk di port 749 pada master. Dalam mode Ketersediaan Tinggi, pastikan aturan firewall VPC mengizinkan traffic TCP masuk pada port 754 di master untuk memungkinkan penerapan perubahan yang dilakukan pada KDC master. Kerberos memerlukan DNS terbalik untuk disiapkan dengan benar. Selain itu, untuk kanonikalisasi utama layanan berbasis host, pastikan DNS terbalik disiapkan dengan benar untuk jaringan cluster.

Langkah berikutnya

Lihat dokumentasi MIT Kerberos.