Optionale Solr-Komponente für Managed Service for Apache Spark

Mit der optionalen Komponente Apache Solr können Sie eine Open-Source-Plattform für die Unternehmenssuche in Managed Service for Apache Spark-Clustern bereitstellen. Diese Integration bietet verteilte Such- und Indexierungsfunktionen und hostet den Solr-Server und die Web-UI auf Port 8983 auf den Clustermasterknoten.

Standardmäßig speichert Solr Index- und Transaktionslogdateien in HDFS. Wenn Sie Ihre Solr-Dateien über den Clusterlebenszyklus hinaus beibehalten möchten, können Sie einen Cloud Storage-Pfad als Solr-Basisverzeichnis angeben. Legen Sie dazu die Cluster-Property dataproc:solr.gcs.path fest, wenn Sie die Komponente installieren.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Komponenten können Clustern hinzugefügt werden, die mit Version 1.3 und höher von Managed Service for Apache Spark erstellt wurden.

Informationen zu den Komponentenversionen, die in den einzelnen Managed Service for Apache Spark-Image-Releases enthalten sind, finden Sie unter Unterstützte Managed Service for Apache Spark-Versionen.

Google Cloud Console

1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
3. Bearbeiten Sie Optionale Komponenten.
4. Klicken Sie im angezeigten Bereich das Kästchen für Solr an und klicken Sie dann auf Speichern.

gcloud-CLI

Wenn Sie einen Managed Service for Apache Spark-Cluster mit der Solr-Komponente erstellen möchten, verwenden Sie den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components. Der Beispielbefehl unten verwendet das optionale Flag properties, um einen Cloud Storage-Pfad als Solr-Basisverzeichnis festzulegen.

Verwenden Sie beim Erstellen des Clusters den Befehl gcloud beta dataproc clusters create mit dem Flag --enable-component-gateway, wie unten gezeigt, um die Verbindung zur Jupyter Notebook Web UI mit dem Component Gateway zu ermöglichen.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Fügen Sie dem Befehl gcloud dataproc clusters create das Clusterattribut --properties="dataproc:solr.gcs.path=gs://bucket-name/" hinzu, um einen Cloud Storage-Bucket festzulegen, in dem Solr-Dokumente gespeichert werden (Solr-Basisverzeichnis).

REST API

Die Solr-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Im Rahmen Ihrer clusters.create-Anfrage haben Sie folgende Möglichkeiten:

1. Setzen Sie das Attribut EndpointConfig.enableHttpPortAccess auf true, um die Verbindung zur Solr-Webbenutzeroberfläche über das Component Gateway zu ermöglichen.
2. Legen Sie das Clusterattribut "dataproc:solr.gcs.path=gs://bucket-name" im Feld SoftwareConfig.Component.properties fest, um einen Cloud Storage-Bucket anzugeben, in dem Solr-Dokumente gespeichert werden sollen (Solr-Basisverzeichnis).