Componente Solr opcional de Managed Service para Apache Spark

El componente opcional de Apache Solr te permite implementar una plataforma de búsqueda empresarial de código abierto en clústeres de Managed Service para Apache Spark. Esta integración proporciona capacidades de búsqueda y de indexación distribuidas, y aloja el servidor de Solr y la IU web en el puerto 8983 en los nodos instancia principal del clúster.

De forma predeterminada, Solr almacena los archivos de registro de transacciones y de índice en HDFS. Para conservar tus archivos de Solr más allá del ciclo de vida del clúster, puedes especificar una ruta de acceso de Cloud Storage como el directorio principal de Solr configurando la propiedad del clúster dataproc:solr.gcs.path cuando instales el componente.

Instala el componente

Instala el componente cuando crees un clúster de Managed Service para Apache Spark. Los componentes se pueden agregar a los clústeres creados con la versión 1.3 y posteriores de Managed Service para Apache Spark.

Consulta Versiones compatibles de Managed Service para Apache Spark para conocer la versión del componente incluida en cada versión de imagen de Managed Service para Apache Spark.

Consola deGoogle Cloud

1. En la consola de Google Cloud , abre la página Crear clúster.
2. Haz clic en Configuración adicional para expandir esa sección.
3. Edita los componentes opcionales.
4. En el panel que se abre, selecciona la casilla de verificación de Solr y, luego, haz clic en Guardar.

gcloud CLI

Para crear un clúster de Managed Service para Apache Spark que incluya el componente de Solr, usa el comando gcloud dataproc clusters create cluster-name con la marca --optional-components. En el siguiente comando de muestra, se usa la marca opcional properties para establecer una ruta de acceso de Cloud Storage como el directorio principal de Solr.

Cuando crees el clúster, usa el comando gcloud dataproc clusters create con la marca --enable-component-gateway, como se muestra a continuación, para habilitar la conexión a la IU web del notebook de Jupyter mediante la puerta de enlace de componentes.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Agrega la propiedad de clúster --properties="dataproc:solr.gcs.path=gs://bucket-name/" al comando gcloud dataproc clusters create para establecer un bucket de Cloud Storage en el que se almacenarán los documentos de Solr (directorio principal de Solr).

API de REST

El componente Solr se puede especificar a través de la API de Dataproc mediante SoftwareConfig.Component como parte de una solicitud clusters.create.

Como parte de tu solicitud clusters.create, puedes:

1. Configura la propiedad EndpointConfig.enableHttpPortAccess en true para habilitar la conexión a la IU web de Solr mediante la puerta de enlace de componentes.
2. Establece la propiedad del clúster "dataproc:solr.gcs.path=gs://bucket-name" en el campo SoftwareConfig.Component.properties para establecer un bucket de Cloud Storage donde se almacenarán los documentos Solr (directorio principal de Solr).