Composant Trino facultatif de Managed Service pour Apache Spark

Le composant Trino facultatif vous permet d'exécuter des requêtes SQL distribuées sur différentes sources de données sur un cluster Managed Service pour Apache Spark. Vous ajoutez ce moteur de requête Open Source lors de la création du cluster à l'aide de la fonctionnalité Composants facultatifs.

Le serveur et l'interface utilisateur Web de Trino sont disponibles par défaut sur le port 8060 (ou le port 7778 si Kerberos est activé) sur le premier nœud maître du cluster.

Installer le composant

Installez le composant lorsque vous créez un cluster Managed Service pour Apache Spark.

Consultez Versions de Managed Service pour Apache Spark compatibles pour connaître la version du composant incluse dans chaque version d'image Managed Service pour Apache Spark.

ConsoleGoogle Cloud

1. Dans la console Google Cloud , ouvrez la page Créer un cluster.
2. Cliquez sur Configuration supplémentaire pour développer cette section.
3. Modifiez les composants facultatifs.
4. Dans le panneau qui s'ouvre, cochez la case Trino, puis cliquez sur Enregistrer.

gcloud CLI

Pour créer un cluster Managed Service pour Apache Spark incluant le composant Trino, utilisez la commande gcloud dataproc clusters create avec l'option --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags
    

Remarques :

• CLUSTER_NAME : nom du cluster.
• REGION : région Compute Engine où se trouvera le cluster.

Configurer les propriétés

Ajoutez l'option --properties à la commande gcloud dataproc clusters create pour définir les propriétés de configuration trino, trino-jvm et trino-catalog.

• Propriétés de l'application : utilisez les propriétés de cluster avec le préfixe trino: pour configurer les propriétés de l'application Trino (par exemple, --properties="trino:join-distribution-type=AUTOMATIC").
• Propriétés de configuration de la JVM : utilisez les propriétés de cluster avec le préfixe trino-jvm: pour configurer les propriétés de la JVM pour les processus Java du coordinateur et des nœuds de calcul Trino, par exemple --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError".
• Créer des catalogues et ajouter des propriétés de catalogue : utilisez trino-catalog:catalog-name.property-name pour configurer les catalogues Trino.

  Exemple : L'option "properties" suivante peut être utilisée avec la commande "gcloud dataproc clusters create" pour créer un cluster Trino avec un catalogue Hive "prodhive". Un fichier prodhive.properties sera créé sous /usr/lib/trino/etc/catalog/ pour activer le catalogue de prodhives.

  --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=thrift://localhost:9000"

API REST

Le composant Trino peut être spécifié via l'API Dataproc à l'aide de SoftwareConfig.Component dans une requête clusters.create.

À l'aide de l'API Dataproc v1, définissez la propriété EndpointConfig.enableHttpPortAccess sur true dans la requête clusters.create pour activer la connexion à l'interface Web Trino à l'aide de la passerelle des composants.

Exécuter des requêtes

Par défaut, Trino sur Managed Service pour Apache Spark est configuré pour fonctionner avec les connecteurs Hive, BigQuery, Memory, TPCH et TPCDS.

Après avoir créé un cluster avec le composant Trino, vous pouvez exécuter des requêtes :

• à partir d'un terminal local avec la commande gcloud dataproc jobs submit trino ;
• depuis une fenêtre de terminal sur le premier nœud maître du cluster à l'aide de la CLI (interface de ligne de commande) trino (voir Utiliser Trino avec Managed Service pour Apache Spark).