Komponen Solr opsional Managed Service untuk Apache Spark

Komponen opsional Apache Solr memungkinkan Anda men-deploy platform penelusuran perusahaan open source di cluster Managed Service untuk Apache Spark. Integrasi ini menyediakan kemampuan penelusuran dan pengindeksan terdistribusi, yang menghosting server Solr dan UI Web di port 8983 pada node master cluster.

Secara default, Solr menyimpan file log transaksi dan indeks di HDFS. Untuk mempertahankan file Solr di luar siklus proses cluster, Anda dapat menentukan jalur Cloud Storage sebagai direktori utama Solr dengan menetapkan properti cluster dataproc:solr.gcs.path saat menginstal komponen.

Menginstal komponen

Instal komponen saat Anda membuat cluster Managed Service untuk Apache Spark. Komponen dapat ditambahkan ke cluster yang dibuat dengan Managed Service untuk Apache Spark versi 1.3 dan yang lebih baru.

Lihat Versi Managed Service untuk Apache Spark yang didukung untuk mengetahui versi komponen yang disertakan dalam setiap rilis image Managed Service untuk Apache Spark.

KonsolGoogle Cloud

1. Di konsol Google Cloud , buka halaman Create cluster.
2. Klik Additional configuration untuk meluaskan bagian tersebut.
3. Edit Optional components.
4. Di panel yang terbuka, centang kotak Solr, lalu klik Save.

gcloud CLI

Untuk membuat cluster Managed Service untuk Apache Spark yang menyertakan komponen Solr, gunakan perintah gcloud dataproc clusters create cluster-name dengan flag --optional-components. Contoh perintah di bawah menggunakan flag properties opsional untuk menetapkan jalur Cloud Storage sebagai direktori utama Solr.

Saat membuat cluster, gunakan perintah gcloud dataproc clusters create dengan flag --enable-component-gateway, seperti yang ditunjukkan di bawah, untuk mengaktifkan koneksi ke UI Web Solr menggunakan Gateway Komponen.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Tambahkan properti cluster --properties="dataproc:solr.gcs.path=gs://bucket-name/" ke perintah gcloud dataproc clusters create untuk menetapkan bucket Cloud Storage tempat dokumen Solr akan disimpan (direktori utama Solr).

REST API

Komponen Solr dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Sebagai bagian dari permintaan clusters.create, Anda dapat:

1. Tetapkan properti EndpointConfig.enableHttpPortAccess ke true untuk mengaktifkan koneksi ke UI Web Solr menggunakan Component Gateway.
2. Tetapkan properti cluster "dataproc:solr.gcs.path=gs://bucket-name" di kolom SoftwareConfig.Component.properties untuk menetapkan bucket Cloud Storage tempat dokumen Solr akan disimpan (direktori beranda Solr).