Componente opcional do Presto no Managed Service for Apache Spark

O componente opcional do Presto permite executar consultas SQL distribuídas interativas em várias fontes de dados diretamente no cluster do Serviço Gerenciado para Apache Spark. O Presto (Trino) processa cargas de trabalho analíticas em sistemas de armazenamento externos sem exigir a migração de dados.

Observação: nas versões de imagem 2.1 e posteriores, o componente opcional do Presto está disponível como o componente opcional do Trino. Para clusters mais recentes, consulte Usar o Trino com o Serviço Gerenciado para Apache Spark.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. Os componentes podem ser adicionados a clusters criados com o Serviço Gerenciado para Apache Spark versão 1.3 e posterior.

Consulte Versões compatíveis do Serviço Gerenciado para Apache Spark para saber qual versão do componente está incluída em cada versão da imagem do Serviço Gerenciado para Apache Spark.

Console doGoogle Cloud

1. No console do Google Cloud , abra a página Criar cluster.
2. Clique em Configuração adicional para abrir a seção.
3. Edite os Componentes opcionais.
4. No painel que será aberto, marque a caixa de seleção de Presto.

Comando da CLI gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente Presto, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

Ao criar o cluster, use o comando gcloud dataproc clusters create com a flag --enable-component-gateway, conforme mostrado no exemplo a seguir, para ativar a conexão com a interface da Web do Presto usando o gateway de componentes.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

Como configurar propriedades

Adicione a sinalização --properties ao comando gcloud dataproc clusters create para definir as propriedades de configuração presto, presto-jvm e presto-Catalog.

• Propriedades do aplicativo: use as propriedades do cluster com o prefixo presto: para configurar as propriedades do aplicativo Presto, por exemplo, --properties="presto:join-distribution-type=AUTOMATIC".
• Propriedades de configuração da JVM: use as propriedades do cluster com o prefixo presto-jvm: para configurar as propriedades da JVM para os processos Java do coordenador e do worker do Presto, por exemplo, --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
• Criar novos catálogos e adicionar propriedades de catálogo: use presto-catalog:catalog-name.property-name para configurar catálogos do Presto.

  Exemplo: a seguinte sinalização "properties" pode ser usada com o comando "gcloud dataproc clusters create" para criar um cluster Presto com um catálogo do Hive "prodhive". Um arquivo prodhive.properties será criado em /usr/lib/presto/etc/catalog/ para ativar o catálogo do prodhive.

  --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

API REST

O componente Presto pode ser especificado por meio da API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Usando a API Dataproc v1, defina a propriedade EndpointConfig.enableHttpPortAccess como true como parte da solicitação clusters.create para permitir a conexão com a interface da Web do Presto usando o gateway de componentes.

Acessar e consultar o Presto

O servidor e a IU da Web do Presto estão disponíveis por padrão na porta 8060 (ou 7778 se o Kerberos estiver ativado) no primeiro nó mestre do cluster.

Por padrão, o Presto no Serviço Gerenciado para Apache Spark é configurado para funcionar com os conectores Hive, BigQuery, Memory, TPCH e TPCDS.

Depois de criar um cluster com o componente Presto, execute consultas:

• de um terminal local com o comando gcloud dataproc jobs submit presto
• em uma janela do terminal no primeiro nó mestre do cluster usando a CLI (interface de linha de comando) presto (consulte Usar o Trino com o Serviço Gerenciado para Apache Spark).