Composant Solr facultatif de Managed Service pour Apache Spark

Le composant facultatif Apache Solr vous permet de déployer une plate-forme de recherche d'entreprise Open Source sur des clusters Managed Service pour Apache Spark. Cette intégration fournit des fonctionnalités de recherche et d'indexation distribuées, en hébergeant le serveur Solr et l'interface utilisateur Web sur le port 8983 sur les nœuds maîtres du cluster.

Par défaut, Solr stocke les fichiers d'index et de journal des transactions dans HDFS. Pour conserver vos fichiers Solr au-delà du cycle de vie du cluster, vous pouvez spécifier un chemin d'accès Cloud Storage comme répertoire d'accueil Solr en définissant la propriété de cluster dataproc:solr.gcs.path lorsque vous installez le composant.

Installer le composant

Installez le composant lorsque vous créez un cluster Managed Service pour Apache Spark. Vous pouvez ajouter des composants aux clusters créés avec Managed Service pour Apache Spark version 1.3 et ultérieure.

Consultez Versions de Managed Service pour Apache Spark compatibles pour connaître la version du composant incluse dans chaque version d'image Managed Service pour Apache Spark.

ConsoleGoogle Cloud

1. Dans la console Google Cloud , ouvrez la page Créer un cluster.
2. Cliquez sur Configuration supplémentaire pour développer cette section.
3. Modifiez les composants facultatifs.
4. Dans le panneau qui s'ouvre, cochez la case Solr, puis cliquez sur Enregistrer.

gcloud CLI

Pour créer un cluster Managed Service pour Apache Spark incluant le composant Solr, exécutez la commande gcloud dataproc clusters create cluster-name avec l'option --optional-components. L'exemple de commande ci-dessous utilise l'option properties facultative pour définir un chemin d'accès Cloud Storage en tant que répertoire de base Solr.

Lors de la création du cluster, utilisez la commande gcloud dataproc clusters create avec l'option --enable-component-gateway (comme indiqué ci-dessous) pour activer la connexion à l'interface utilisateur Web de Solr à l'aide de la passerelle des composants.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Ajoutez la propriété de cluster --properties="dataproc:solr.gcs.path=gs://bucket-name/" à la commande gcloud dataproc clusters create pour définir un bucket Cloud Storage dans lequel les documents Solr seront stockés (répertoire d'accueil Solr).

API REST

Le composant Solr peut être spécifié via l'API Dataproc à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.

Dans le cadre de votre requête clusters.create, vous pouvez :

1. Définir la propriété EndpointConfig.enableHttpPortAccess sur true pour autoriser la connexion à l'interface utilisateur Web Solr à l'aide de la passerelle des composants Alpha.
2. Définir la propriété de cluster "dataproc:solr.gcs.path=gs://bucket-name" sur le champ SoftwareConfig.Component.properties pour définir un bucket Cloud Storage où les documents Solr seront stockés (répertoire d'accueil Solr).