Componente Trino facoltativo di Managed Service per Apache Spark

Il componente facoltativo Trino ti consente di eseguire query SQL distribuite su diverse origini dati in un cluster Managed Service for Apache Spark. Puoi aggiungere questo motore di query open source durante la creazione del cluster utilizzando la funzionalità Componenti facoltativi.

Il server Trino e la UI web sono disponibili per impostazione predefinita sulla porta 8060 (o sulla porta 7778 se è abilitato Kerberos) sul primo nodo master del cluster.

Installa il componente

Installa il componente quando crei un cluster Managed Service for Apache Spark.

Consulta Versioni di Managed Service for Apache Spark supportate per la versione del componente inclusa in ogni release dell'immagine di Managed Service for Apache Spark.

ConsoleGoogle Cloud

1. Nella console Google Cloud , apri la pagina Crea cluster.
2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
3. Modifica i componenti facoltativi.
4. Nel riquadro che si apre, seleziona la casella di controllo Trino, quindi fai clic su Salva.

gcloud CLI

Per creare un cluster Managed Service for Apache Spark che includa il componente Trino, utilizza il comando gcloud dataproc clusters create con il flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags
    

Note:

• CLUSTER_NAME: il nome del cluster.
• REGION: una regione di Compute Engine in cui si troverà il cluster.

Configurazione delle proprietà

Aggiungi il flag --properties al comando gcloud dataproc clusters create per impostare le proprietà di configurazione trino, trino-jvm e trino-catalog.

• Proprietà dell'applicazione: utilizza le proprietà del cluster con il prefisso trino: per configurare le proprietà dell'applicazione Trino, ad esempio --properties="trino:join-distribution-type=AUTOMATIC".
• Proprietà di configurazione della JVM: utilizza le proprietà del cluster con il prefisso trino-jvm: per configurare le proprietà della JVM per i processi Java del coordinatore e dei worker Trino, ad esempio --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError".
• Creazione di nuovi cataloghi e aggiunta di proprietà del catalogo: utilizza trino-catalog:catalog-name.property-name per configurare i cataloghi Trino.

  Esempio: il seguente flag "properties" può essere utilizzato con il comando "gcloud dataproc clusters create" per creare un cluster Trino con un catalogo Hive "prodhive". Verrà creato un file prodhive.properties in /usr/lib/trino/etc/catalog/ per abilitare il catalogo prodhive.

  --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=thrift://localhost:9000"

API REST

Il componente Trino può essere specificato tramite l'API Dataproc utilizzando SoftwareConfig.Component come parte di una richiesta clusters.create.

Utilizzando l'API Dataproc v1, imposta la proprietà EndpointConfig.enableHttpPortAccess su true nell'ambito della richiesta clusters.create per abilitare la connessione alla UI web di Trino utilizzando il gateway dei componenti.

Esegui delle query

Per impostazione predefinita, Trino su Managed Service for Apache Spark è configurato per funzionare con i connettori Hive, BigQuery, Memory, TPCH e TPCDS.

Dopo aver creato un cluster con il componente Trino, puoi eseguire query:

• da un terminale locale con il comando gcloud dataproc jobs submit trino
• da una finestra del terminale sul primo nodo master del cluster utilizzando l'interfaccia a riga di comando (CLI) trino (consulta Utilizza Trino con Managed Service for Apache Spark).