Konfigurasi jaringan cluster Managed Service untuk Apache Spark

Deskripsi: Memahami konfigurasi jaringan cluster Dataproc. Menerapkan rute VPC, aturan firewall, Akses Google Pribadi, dan VPC Bersama untuk deployment yang aman dan hanya menggunakan IP internal.

Halaman ini menjelaskan persyaratan dan opsi konfigurasi jaringan cluster Managed Service untuk Apache Spark.

Persyaratan konektivitas Managed Service untuk Apache Spark

Cluster Managed Service untuk Apache Spark Anda harus berada di jaringan virtual private cloud yang memenuhi persyaratan rute dan firewall untuk mengakses Google API dan resource lainnya dengan aman.

Persyaratan rute

Untuk membangun komunikasi antara agen Managed Service untuk Apache Spark yang berjalan di VM cluster dan API kontrol Dataproc, Jaringan VPC cluster harus memiliki rute ke gateway internet. Hal ini juga diperlukan untuk cluster khusus IP internal.

Secara default, cluster versi image Managed Service untuk Apache Spark 2.2 dan yang lebih baru menyediakan VM dengan alamat IP internal saja. Managed Service untuk Apache Spark secara otomatis mengaktifkan Akses Google Pribadi (PGA) di subnet cluster untuk memungkinkan VM cluster dengan alamat IP internal menjangkau Google API dan layanan Google menggunakan rute default yang dihasilkan sistem ke gateway internet default.

Aturan	Jenis	Rentang IP tujuan	Prioritas	Batas cakupan	Next hop
default-route-[id]	Statis	0.0.0.0/0	1000	-	Gateway internet default

PGA memastikan bahwa traffic cluster tidak melintasi internet publik dan tidak keluar dari pusat data Google (lihat diagram contoh PGA).

Catatan: Meskipun disebut sebagai gateway internet default, paket yang dikirim dari VM di jaringan VPC Anda ke Google API dan layanan Google tetap berada dalam jaringan Google. Lihat Opsi pemilihan rute untuk mengetahui informasi lebih lanjut tentang cara paket dikirim ke Google API dan layanan Google menggunakan gateway internet default.

Menghapus rute default ke gateway internet tidak direkomendasikan; Jika Anda ingin mengontrol akses jaringan ke internet, gunakan aturan atau kebijakan firewall.

Jika telah menghapus rute default ke gateway internet, Anda harus menambahkan rute default. Rentang IP tujuan harus berupa 0.0.0.0/0 karena rentang IP untuk Dataproc control API tidak statis.

Persyaratan firewall

Jaringan VPC cluster Managed Service untuk Apache Spark Anda harus secara eksplisit mengizinkan traffic berikut:

• Traffic yang dimulai dari VM cluster Managed Service untuk Apache Spark ke API kontrol Dataproc dan VM cluster Managed Service untuk Apache Spark lainnya. Traffic ini diizinkan secara default dari aturan tersirat allow-all egress jaringan VPC. Jika Anda telah menambahkan aturan firewall tolak egress yang menggantikan, buat aturan firewall izinkan egress.

• Traffic respons dari Dataproc control API ke VM cluster Managed Service untuk Apache Spark diizinkan secara default, karena statefulness firewall jaringan VPC.

• Traffic yang diterima oleh VM cluster Managed Service untuk Apache Spark dari VM cluster Managed Service untuk Apache Spark lainnya. Traffic ini akan ditolak secara default dari aturan firewall tersirat tolak semua traffic masuk di jaringan VPC. Anda harus membuat aturan firewall izinkan traffic masuk.

Praktik terbaik:

• Gunakan tag jaringan untuk VM cluster Managed Service untuk Apache Spark Anda agar Anda dapat membatasi penerapan aturan firewall yang diperlukan hanya untuk VM cluster Managed Service untuk Apache Spark. Jika tidak menggunakan tag jaringan, Anda dapat menentukan target berdasarkan akun layanan yang digunakan untuk VM cluster. Atau, Anda dapat mengonfigurasi aturan firewall untuk diterapkan ke semua VM di jaringan VPC.
• Untuk akses dan konektivitas jaringan yang lebih aman, gunakan tag aman, bukan tag jaringan, untuk menentukan sumber dan target aturan firewall.

Membuat aturan firewall izinkan traffic masuk

Jika Anda atau administrator jaringan atau keamanan Anda membuat aturan firewall ingress untuk diterapkan ke jaringan VPC cluster Managed Service untuk Apache Spark, aturan tersebut harus memiliki karakteristik berikut:

• Parameter sources menentukan sumber untuk paket. Semua VM cluster Managed Service untuk Apache Spark harus dapat berkomunikasi satu sama lain. Anda dapat mengidentifikasi VM dalam cluster berdasarkan rentang alamat IP (rentang utama subnet cluster Managed Service untuk Apache Spark), tag jaringan, atau akun layanan yang terkait dengan VM.

  Jangan hilangkan spesifikasi parameter sumber. Jika Anda tidak menentukan rentang IP sumber, tag sumber, atau akun layanan sumber, aturan firewall akan menggunakan rentang alamat IP 0.0.0.0/0 (alamat IP apa pun) sebagai sumber. Jika VM Managed Service untuk Apache Spark Anda memiliki alamat IP eksternal, artinya VM tersebut dapat menerima traffic dari mana saja di internet. Oleh karena itu, tentukan sumber sesempit mungkin untuk memenuhi kebutuhan Anda dan mengamankan cluster.

• Target untuk aturan harus mengidentifikasi VM cluster. Targetnya dapat berupa semua VM di jaringan VPC, atau Anda dapat mengidentifikasi VM berdasarkan tag jaringan target, atau akun layanan target.

• Aturan harus menyertakan protokol dan port berikut:

  • TCP (semua port, 0 hingga 65535)
  • UDP (semua port, 0 hingga 65535)
  • ICMP

  Managed Service untuk Apache Spark menggunakan layanan yang berjalan di beberapa port. Menentukan semua port akan membantu layanan berjalan dengan baik.

• Prioritas aturan harus lebih tinggi daripada prioritas aturan firewall tolak traffic masuk yang berlaku untuk sumber dan target yang sama.

Membuat aturan firewall izinkan traffic keluar

Jika Anda atau administrator jaringan atau keamanan Anda membuat aturan firewall egress untuk diterapkan ke jaringan VPC cluster Managed Service untuk Apache Spark, aturan tersebut harus memiliki karakteristik berikut:

• Parameter destinations menentukan tujuan paket. Semua VM cluster Managed Service untuk Apache Spark harus dapat memulai traffic satu sama lain dan API kontrol Dataproc. Karena alamat IP API kontrol tidak statis, tujuan harus ditentukan berdasarkan rentang IP 0.0.0.0/0.

• Target untuk aturan harus mengidentifikasi VM cluster. Targetnya dapat berupa semua VM di jaringan VPC, atau Anda dapat mengidentifikasi VM berdasarkan tag jaringan target, atau akun layanan target.

• Aturan harus menyertakan protokol dan port berikut:

  • TCP (semua port, 0 hingga 65535)
  • UDP (semua port, 0 hingga 65535)
  • ICMP

  Managed Service untuk Apache Spark menggunakan layanan yang berjalan di beberapa port. Menentukan semua port akan membantu layanan berjalan dengan baik.

• Prioritas aturan harus lebih tinggi daripada prioritas aturan firewall tolak traffic egress yang berlaku untuk tujuan dan target yang sama.

Mendiagnosis aturan firewall jaringan VPC

Untuk mengaudit paket yang tidak diproses oleh aturan firewall dengan prioritas lebih tinggi, Anda dapat membuat dua aturan firewall penolakan dengan prioritas rendah (65534) berikut. Tidak seperti aturan firewall tersirat, Anda dapat mengaktifkan logging aturan firewall pada setiap aturan prioritas rendah ini:

1. Aturan tolak traffic masuk (sumber 0.0.0.0/0, semua protokol, semua target di jaringan VPC)

2. Aturan penolakan traffic keluar (tujuan 0.0.0.0/0, semua protokol, semua target di jaringan VPC)

• Dengan aturan prioritas rendah dan logging aturan firewall ini, Anda dapat mencatat paket yang tidak diproses oleh aturan firewall dengan prioritas lebih tinggi, dan berpotensi lebih spesifik. Kedua aturan prioritas rendah ini juga selaras dengan praktik terbaik keamanan dengan menerapkan strategi "penurunan paket akhir".

• Periksa log aturan firewall untuk aturan ini guna menentukan apakah Anda ingin membuat atau mengubah aturan prioritas yang lebih tinggi untuk mengizinkan paket. Misalnya, jika paket yang dikirim antara VM cluster Managed Service untuk Apache Spark hilang, ini dapat menjadi sinyal bahwa aturan firewall Anda harus disesuaikan.

Membuat jaringan VPC

Alih-alih menggunakan jaringan VPC default, Anda dapat membuat jaringan VPC mode otomatis atau kustom sendiri. Saat membuat cluster, Anda mengaitkan jaringan dengan cluster tersebut.

Lingkungan Assured Workloads: Saat Anda menggunakan lingkungan Assured Workloads untuk kepatuhan terhadap peraturan, cluster, jaringan VPC, dan bucket Cloud Storage-nya harus berada dalam lingkungan Assured Workloads.

Membuat cluster yang menggunakan jaringan VPC Anda

KonsolGoogle Cloud

Untuk mengonfigurasi jaringan:

1. Buka halaman Create cluster.
2. Klik Additional configuration untuk meluaskan bagian tersebut.
3. Edit Konfigurasi jaringan.
4. Di panel yang terbuka, pilih jaringan dan subnetwork Anda. Kotak centang IP internal saja diaktifkan secara default.

gcloud CLI

Gunakan gcloud dataproc clusters create dengan flag ‑‑network atau ‑‑subnet untuk membuat cluster di subnet dalam jaringan Anda. Jika Anda menggunakan flag ‑‑network, cluster akan menggunakan subnetwork dengan nama yang sama dengan jaringan yang ditentukan di region tempat cluster dibuat.

--network example. Karena jaringan otomatis dibuat dengan subnet di setiap region, dan setiap subnet diberi nama jaringan, Anda dapat meneruskan nama jaringan VPC mode otomatis ke flag ‑‑network. Cluster akan menggunakan subnetwork VPC mode otomatis di region yang ditentukan dengan flag ‑‑region.

gcloud dataproc clusters create CLUSTER_NAME \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

--subnet example. Anda dapat menggunakan flag ‑‑subnet untuk membuat cluster yang menggunakan subnet jaringan VPC mode otomatis atau kustom di region cluster. Tentukan jalur resource lengkap subnet.

gcloud dataproc clusters create CLUSTER_NAMEW \
    --subnet projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
    --region=REGION \
    ... other args ...

Biarkan konsol Google Cloud membuat permintaan pembuatan cluster Anda.: Anda dapat mengklik link Equivalent Command Line → Equivalent REST di halaman Create a cluster di konsol Google Cloud agar konsol Google Cloud membuat permintaan REST API atau gcloud CLI yang setara.

REST API

Anda dapat menentukan kolom GceClusterConfig networkUri atau subnetworkUri sebagai bagian dari permintaan clusters.create.

Contoh

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "PROJECT_ID",
  "clusterName": CLUSTER_NAME,
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": SUBNET_NAME,
    },
    ...

Biarkan konsol Google Cloud membuat permintaan pembuatan cluster Anda.: Anda dapat mengklik link Equivalent Command Line → Equivalent REST di bagian bawah halaman Create cluster di konsol Google Cloud untuk meminta konsol Google Cloud membuat permintaan REST API atau gcloud CLI yang setara.

Membuat cluster yang menggunakan jaringan VPC di project lain

Cluster Managed Service untuk Apache Spark dapat menggunakan jaringan VPC Bersama yang ditentukan dalam project host. Project tempat cluster Managed Service untuk Apache Spark dibuat disebut sebagai project layanan.

1. Temukan nomor project cluster Managed Service untuk Apache Spark:

   1. Buka halaman Settings IAM & Admin di konsolGoogle Cloud . Pilih project tempat Anda akan membuat cluster Managed Service untuk Apache Spark. Salin project ID.

2. Akun utama dengan peran Admin VPC Bersama harus melakukan langkah-langkah berikut. Lihat petunjuk untuk menyiapkan VPC Bersama untuk mengetahui informasi latar belakang.

   1. Pastikan project host VPC Bersama diaktifkan.

   2. Lampirkan project dengan cluster Managed Service untuk Apache Spark ke project host.

   3. Konfigurasikan akun layanan agen layanan Managed Service untuk Apache Spark (service-[project-number]@dataproc-accounts.) agar memiliki peran Network User untuk project host:

      1. Buka halaman IAM & Admin di konsol Google Cloud .

      2. Gunakan pemilih project untuk memilih project host baru.

      3. Klik Grant Access.

      4. Isi formulir Berikan Akses:

         1. Add principals: Masukkan akun layanan.

         2. Assign roles: Masukkan "Compute Network" di kotak filter, lalu pilih peran Compute Network User.

         3. Klik Simpan.

      Catatan: Di cluster yang dibuat dengan versi image Managed Service untuk Apache Spark sebelum 2.0.58, 2.1.4, atau 2.2.1 (dirilis pada tahun 2023), Anda juga harus menetapkan peran Compute Network User ke akun layanan Agen Layanan Google API (PROJECT_NUMBER@cloudservices.).

3. Setelah akun layanan memiliki peran Network User untuk project host, buat cluster yang menggunakan jaringan VPC Bersama.

Membuat cluster yang menggunakan subnetwork VPC di project lain

Catatan: Bagian sebelumnya menjelaskan cara cluster Managed Service untuk Apache Spark Anda dapat menggunakan jaringan VPC project lain. Untuk menetapkan izin pada tingkat yang lebih terperinci, bagian ini menunjukkan cara cluster Managed Service untuk Apache Spark Anda dapat menggunakan subnetwork VPC project lain.

Cluster Managed Service untuk Apache Spark dapat menggunakan subnetwork VPC Bersama yang ditentukan dalam project host. Project tempat cluster Managed Service untuk Apache Spark dibuat disebut sebagai project layanan.

1. Temukan nomor project cluster Managed Service untuk Apache Spark:

   1. Buka halaman Settings IAM & Admin di konsolGoogle Cloud . Pilih project tempat Anda akan membuat cluster Managed Service untuk Apache Spark. Salin project ID.

2. Akun utama dengan peran Admin VPC Bersama harus melakukan langkah-langkah berikut. Lihat petunjuk untuk menyiapkan VPC Bersama untuk mengetahui informasi latar belakang.

   1. Pastikan project host VPC Bersama diaktifkan.

   2. Lampirkan project dengan cluster Managed Service untuk Apache Spark ke project host.

   3. Konfigurasikan akun layanan agen layanan Managed Service untuk Apache Spark (service-[project-number]@dataproc-accounts.) agar memiliki peran Network User untuk project host:

      1. Buka halaman Jaringan VPC di konsol Google Cloud .

      2. Gunakan pemilih project untuk memilih project host.

      3. Klik jaringan yang berisi subnetwork yang akan digunakan oleh cluster Managed Service untuk Apache Spark Anda.

      4. Di halaman Detail Jaringan VPC, klik kotak centang di samping nama subnetwork yang akan digunakan cluster Anda.

      5. Jika Panel Info tidak terbuka, klik Show Info Panel.

      6. Lakukan langkah-langkah berikut untuk setiap akun layanan:

         1. Di Panel Info, klik Add Principal.

         2. Isi formulir Grant Access:

            1. Add principals: Masukkan akun layanan.

            2. Assign roles: Masukkan "Compute Network" di kotak filter, lalu pilih peran Compute Network User.

               Rekomendasi: Berikan juga peran Compute Network Viewer ke setiap akun layanan. Peran ini mencakup izin compute.subnetworks.list, yang memungkinkan Managed Service untuk Apache Spark memvalidasi keberadaan izin akun layanan yang diperlukan dan memberikan pesan yang bermakna jika izin yang diperlukan tidak ada.

            3. Klik Simpan.

      Catatan: Di cluster yang dibuat dengan versi image Managed Service untuk Apache Spark sebelum 2.0.58, 2.1.4, atau 2.2.1 (dirilis pada tahun 2023), Anda juga harus menetapkan peran Compute Network User ke akun layanan Agen Layanan Google API (PROJECT_NUMBER@cloudservices.).

3. Setelah akun layanan memiliki peran Network User untuk project host, buat cluster yang menggunakan subnetwork VPC Bersama.

Membuat cluster khusus IP internal

Bagian ini berlaku untuk cluster versi image pra-2.2. VM cluster dengan alamat khusus IP internal diaktifkan secara default saat membuat cluster Managed Service untuk Apache Spark dengan versi image 2.2 dan yang lebih baru.

Anda dapat menggunakan konsol Google Cloud , gcloud CLI, atau Dataproc API untuk membuat cluster hanya dengan alamat IP internal. Perhatikan bahwa Managed Service untuk Apache Spark secara otomatis mengaktifkan Akses Google Pribadi di subnet regional cluster saat opsi khusus IP internal diaktifkan untuk mengizinkan koneksi ke Google API dan layanan Google.

KonsolGoogle Cloud

Untuk mengonfigurasi alamat IP internal saja:

1. Buka halaman Create cluster.
2. Klik Additional configuration untuk meluaskan bagian tersebut.
3. Edit Konfigurasi jaringan.
4. Di panel yang terbuka, pilih jaringan dan subnetwork Anda. Centang kotak IP internal saja.

gcloud CLI

Anda dapat membuat cluster dengan alamat IP internal saja menggunakan perintah gcloud dataproc clusters create dengan flag ‑‑no-address.

gcloud dataproc clusters create CLUSTER_NAME \
    --no-address \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

Karena jaringan otomatis dibuat dengan subnet di setiap region dengan nama yang sama dengan jaringan otomatis, Anda dapat meneruskan nama jaringan otomatis ke ‑‑network flag untuk membuat cluster yang akan menggunakan subnetwork otomatis di region cluster.

Atau, Anda dapat menggunakan flag ‑‑subnet untuk membuat cluster yang akan menggunakan subnetwork otomatis atau kustom di region tempat cluster akan dibuat. Teruskan flag ‑‑subnet jalur resource lengkap subnet.

gcloud dataproc clusters create cluster-name \
    --no-address \
    --subnet projects/project-id/regions/region/subnetworks/subnetwork-name \
    --region=region \
    ... other args ...

Biarkan konsol Google Cloud membuat permintaan pembuatan cluster Anda.: Anda dapat mengklik link Equivalent Command Line → Equivalent REST di halaman Create a cluster di konsol Google Cloud agar konsol Google Cloud membuat permintaan REST API atau gcloud CLI yang setara.

REST API

Anda dapat menggunakan kolom GceClusterConfig.internalIpOnly sebagai bagian dari permintaan clusters.create untuk membuat cluster yang hanya mengaktifkan alamat IP internal.

Contoh:

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "custom-subnet-1",
      "zoneUri": "us-central1-b",
      "internalIpOnly": true
    },
    ...

Biarkan konsol Google Cloud membuat permintaan pembuatan cluster Anda: Di bagian bawah halaman Create cluster, klik Equivalent command line atau Equivalent REST agar konsol Google Cloud membuat perintah gcloud CLI atau permintaan REST API yang setara.

Mendownload dependensi dengan cluster internal-ip-only

Secara default, cluster khusus IP internal tidak memiliki akses ke internet. Oleh karena itu, tugas yang mendownload dependensi dari internet, seperti tugas yang mendownload paket dependensi Spark dari Maven Central, akan gagal. Ada beberapa solusi untuk menghindari masalah ini:

1. Gunakan Cloud NAT untuk mengaktifkan akses cluster ke internet.

2. Buat image kustom yang menyertakan dependensi (misalnya, paket dependensi Spark di /usr/lib/spark/jars/).

3. Upload dependensi ke bucket Cloud Storage, lalu gunakan tindakan inisialisasi untuk mendownload dependensi dari bucket selama pembuatan cluster.

Jaringan Managed Service untuk Apache Spark dan Kontrol Layanan VPC

Dengan Kontrol Layanan VPC, administrator dapat menentukan perimeter keamanan di sekitar resource layanan yang dikelola Google untuk mengontrol komunikasi ke dan di antara layanan tersebut.

Perhatikan batasan dan strategi berikut saat menggunakan jaringan Kontrol Layanan VPC dengan cluster Managed Service untuk Apache Spark:

• Untuk menginstal komponen di luar perimeter Kontrol Layanan VPC, buat image kustom Managed Service untuk Apache Spark yang melakukan pra-penginstalan komponen, lalu buat cluster menggunakan image kustom tersebut.

• Lihat Langkah-langkah khusus Managed Service untuk Apache Spark untuk melindungi menggunakan Kontrol Layanan VPC.

Langkah berikutnya

• Untuk memecahkan masalah terkait pembuatan cluster Managed Service untuk Apache Spark, lihat Memecahkan masalah pembuatan cluster.