Componente opcional do Managed Service for Apache Spark Solr

É possível instalar componentes extras, como o Solr, ao criar um cluster do Serviço Gerenciado para Apache Spark usando o recurso Componentes opcionais. Esta página descreve o componente Solr.

O componente Apache Solr é uma plataforma de pesquisa enterprise de código aberto. O servidor Solr e a IU da Web estão disponíveis na porta 8983 nos nós mestres do cluster.

Arquivos Solr permanentes: por padrão, o Solr grava e lê os arquivos de registro de índice e de transações no HDFS. Para manter arquivos Solr, use um caminho do Cloud Storage como o diretório inicial do Solr definindo a propriedade de cluster dataproc:solr.gcs.path quando você instalar o componente.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. Os componentes podem ser adicionados a clusters criados com a versão 1.3 e posteriores do Serviço gerenciado para Apache Spark.

Consulte Versões compatíveis do Serviço Gerenciado para Apache Spark para a versão do componente incluída em cada versão de imagem do Serviço Gerenciado para Apache Spark.

Console doGoogle Cloud

1. No console do Google Cloud , abra a página Criar cluster.
2. Clique em Configuração adicional para abrir a seção.
3. Edite Componentes opcionais.
4. No painel que abrir, marque a caixa de seleção Solr e clique em Salvar.

CLI da gcloud

Para criar um cluster do Serviço gerenciado para Apache Spark que inclua o componente Solr, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components. O comando de amostra abaixo usa a sinalização opcional properties para definir um caminho do Cloud Storage como o diretório inicial do Solr.

Ao criar o cluster, use o comando gcloud dataproc clusters create com a sinalização --enable-component-gateway, conforme mostrado abaixo, para ativar a conexão com a IU da Web do Solr usando o Gateway de componentes.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Adicione a propriedade de cluster --properties="dataproc:solr.gcs.path=gs://bucket-name/" ao comando gcloud dataproc clusters create para definir um bucket do Cloud Storage em que os documentos do Solr serão armazenados (diretório inicial do Solr).

API REST

O componente Solr pode ser especificado por meio da API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Como parte da solicitação clusters.create, é possível:

1. Defina a propriedade EndpointConfig.enableHttpPortAccess como true para permitir a conexão com a IU da Web do Solr usando o Gateway de componentes.
2. Defina a propriedade do cluster "dataproc:solr.gcs.path=gs://bucket-name" no campo SoftwareConfig.Component.properties para definir um bucket do Cloud Storage onde os documentos do Solr serão armazenados (diretório inicial do Solr).