Componente opcional do Trino do Managed Service for Apache Spark

O componente opcional Trino permite executar consultas SQL distribuídas em várias fontes de dados em um cluster do Serviço Gerenciado para Apache Spark. Adicione esse mecanismo de consulta de código aberto durante a criação do cluster usando o recurso Componentes opcionais.

O servidor e a IU da Web do Trino estão disponíveis por padrão na porta 8060 (ou 7778 se o Kerberos estiver ativado) no primeiro nó mestre do cluster.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark.

Consulte Versões compatíveis do Serviço Gerenciado para Apache Spark para saber qual versão do componente está incluída em cada versão da imagem do Serviço Gerenciado para Apache Spark.

Console doGoogle Cloud

  1. No console do Google Cloud , abra a página Criar cluster.
  2. Clique em Configuração adicional para abrir a seção.
  3. Edite os Componentes opcionais.
  4. No painel que será aberto, marque a caixa de seleção Trino e clique em Salvar.

CLI da gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente Trino, use o comando gcloud dataproc clusters create com a flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags
Observações:

Como configurar propriedades

Adicione a flag --properties ao comando gcloud dataproc clusters create para definir as propriedades de configuração trino, trino-jvm e trino-catalog.

  • Propriedades do aplicativo: use as propriedades do cluster com o prefixo trino: para configurar as propriedades do aplicativo Trino, por exemplo, --properties="trino:join-distribution-type=AUTOMATIC".
  • Propriedades de configuração da JVM: use as propriedades do cluster com o prefixo trino-jvm: para configurar as propriedades da JVM para os processos Java do coordenador e do worker do Trino, por exemplo, --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • Criar novos catálogos e adicionar propriedades de catálogo: use trino-catalog:catalog-name.property-name para configurar catálogos do Trino.

    Exemplo: a flag de propriedades a seguir pode ser usada com o comando gcloud dataproc clusters create para criar um cluster do Trino com um catálogo do Hive "prodhive". Um arquivo prodhive.properties será criado em /usr/lib/trino/etc/catalog/ para ativar o catálogo do prodhive.

    --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=thrift://localhost:9000"

API REST

O componente Trino pode ser especificado pela API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Execute consultas

Por padrão, o Trino no Serviço Gerenciado para Apache Spark está configurado para funcionar com os conectores Hive, BigQuery, Memory, TPCH e TPCDS.

Depois de criar um cluster com o componente Trino, é possível executar consultas: