Componente Solr facoltativo di Managed Service per Apache Spark

Il componente facoltativo Apache Solr ti consente di fare il deployment di una piattaforma di ricerca a livello aziendale open source sui cluster Managed Service for Apache Spark. Questa integrazione fornisce funzionalità di ricerca e indicizzazione distribuite, ospitando il server Solr e l'interfaccia utente web sulla porta 8983 sui nodi master del cluster.

Per impostazione predefinita, Solr archivia i file di indice e di log delle transazioni in HDFS. Per rendere persistenti i file Solr oltre il ciclo di vita del cluster, puoi specificare un percorso Cloud Storage come directory home di Solr impostando la proprietà del cluster dataproc:solr.gcs.path quando installi il componente.

Installa il componente

Installa il componente quando crei un cluster Managed Service for Apache Spark. I componenti possono essere aggiunti ai cluster creati con Managed Service for Apache Spark versione 1.3 e successive.

Consulta Versioni di Managed Service for Apache Spark supportate per la versione del componente inclusa in ogni release dell'immagine di Managed Service for Apache Spark.

ConsoleGoogle Cloud

1. Nella console Google Cloud , apri la pagina Crea cluster.
2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
3. Modifica i componenti facoltativi.
4. Nel riquadro che si apre, seleziona la casella di controllo Solr, quindi fai clic su Salva.

gcloud CLI

Per creare un cluster Managed Service for Apache Spark che includa il componente Solr, utilizza il comando gcloud dataproc clusters create cluster-name con il flag --optional-components. Il comando di esempio riportato di seguito utilizza il flag facoltativo properties per impostare un percorso Cloud Storage come directory home di Solr.

Quando crei il cluster, utilizza il comando gcloud dataproc clusters create con il flag --enable-component-gateway, come mostrato di seguito, per attivare la connessione alla UI web di Solr utilizzando il gateway dei componenti.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Aggiungi la proprietà del cluster --properties="dataproc:solr.gcs.path=gs://bucket-name/" al comando gcloud dataproc clusters create per impostare un bucket Cloud Storage in cui verranno archiviati i documenti Solr (home directory Solr).

API REST

Il componente Solr può essere specificato tramite l'API Dataproc utilizzando SoftwareConfig.Component come parte di una richiesta clusters.create.

Nell'ambito della tua richiesta di clusters.create, puoi:

1. Imposta la proprietà EndpointConfig.enableHttpPortAccess su true per abilitare la connessione all'interfaccia utente web di Solr utilizzando il gateway dei componenti.
2. Imposta la proprietà del cluster "dataproc:solr.gcs.path=gs://bucket-name" nel campo SoftwareConfig.Component.properties per impostare un bucket Cloud Storage in cui verranno archiviati i documenti Solr (home directory di Solr).