Componente opcional de Trino del servicio administrado para Apache Spark

El componente opcional de Trino te permite ejecutar consultas en SQL distribuidas en varias fuentes de datos en un clúster de Managed Service para Apache Spark. Agrega este motor de consultas de código abierto durante la creación del clúster con la función Componentes opcionales.

El servidor de Trino y la IU web están disponibles de forma predeterminada en el puerto 8060 (o en el 7778 si Kerberos está habilitado), en el primer nodo principal del clúster.

Instala el componente

Instala el componente cuando crees un clúster de Managed Service para Apache Spark.

Consulta Versiones compatibles de Managed Service para Apache Spark para conocer la versión del componente incluida en cada versión de imagen de Managed Service para Apache Spark.

Consola deGoogle Cloud

  1. En la consola de Google Cloud , abre la página Crear clúster.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Edita los componentes opcionales.
  4. En el panel que se abre, selecciona la casilla de verificación de Trino y, luego, haz clic en Guardar.

gcloud CLI

Para crear un clúster de Managed Service para Apache Spark que incluya el componente de Trino, usa el comando gcloud dataproc clusters create con la marca --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags
Notas:

Configura propiedades

Agrega la marca --properties al comando gcloud dataproc clusters create para establecer las propiedades de configuración trino, trino-jvm y trino-catalog.

  • Propiedades de la aplicación: Usa las propiedades del clúster con el prefijo trino: para configurar las propiedades de la aplicación de Trino, por ejemplo, --properties="trino:join-distribution-type=AUTOMATIC".
  • Propiedades de configuración de JVM: Usa las propiedades del clúster con el prefijo trino-jvm: para configurar las propiedades de JVM para los procesos de Java de los trabajadores y el coordinador de Trino, por ejemplo, --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • Crea catálogos nuevos y agrega propiedades de catálogo: Usa trino-catalog:catalog-name.property-name para configurar catálogos de Trino.

    Ejemplo: La siguiente marca `properties` se puede usar con el comando `gcloud dataproc clusters create` para crear un clúster de Trino con un catálogo de Hive "prodhive". Se creará un archivo prodhive.properties en /usr/lib/trino/etc/catalog/ para habilitar el catálogo de prodhive.

    --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=thrift://localhost:9000"

API de REST

El componente de Trino se puede especificar a través de la API de Dataproc con SoftwareConfig.Component como parte de una solicitud clusters.create.

Ejecuta consultas

De forma predeterminada, Trino en Managed Service para Apache Spark está configurado para funcionar con los conectores Hive, BigQuery, Memory, TPCH y TPCDS.

Después de crear un clúster con el componente de Trino, puedes ejecutar consultas: