Optionale Trino-Komponente für Managed Service for Apache Spark

Mit der optionalen Trino-Komponente können Sie verteilte SQL-Abfragen für verschiedene Datenquellen in einem Managed Service for Apache Spark-Cluster ausführen. Sie fügen diese Open-Source-Abfrage-Engine während der Clustererstellung mit dem Feature Optionale Komponenten hinzu.

Der Trino-Server und die Web-UI sind standardmäßig an Port 8060 (oder Port 7778, wenn Kerberos aktiviert ist) auf dem ersten Masterknoten des Clusters verfügbar.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen.

Informationen zu den Komponentenversionen, die in den einzelnen Managed Service for Apache Spark-Image-Releases enthalten sind, finden Sie unter Unterstützte Managed Service for Apache Spark-Versionen.

Google Cloud Console

  1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
  2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
  3. Bearbeiten Sie Optionale Komponenten.
  4. Klicken Sie im daraufhin geöffneten Bereich das Kästchen für Trino an und klicken Sie dann auf Speichern.

gcloud-CLI

Wenn Sie einen Managed Service for Apache Spark-Cluster mit der Trino-Komponente erstellen möchten, verwenden Sie den Befehl gcloud dataproc clusters create mit dem Flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags
Hinweise:
  • CLUSTER_NAME: Der Name des Clusters.
  • REGION: Eine Compute Engine-Region, in der sich der Cluster befindet.

Attribute konfigurieren

Fügen Sie dem Befehl gcloud dataproc clusters create das Flag --properties hinzu, um die Konfigurationsattribute trino, trino-jvm und trino-catalog festzulegen.

  • Anwendungseigenschaften: Verwenden Sie Clusterattribute mit dem Präfix trino:, um Trino-Anwendungseigenschaften zu konfigurieren, z. B. --properties="trino:join-distribution-type=AUTOMATIC".
  • JVM-Konfigurationsattribute: Verwenden Sie Clusterattribute mit dem Präfix trino-jvm:, um JVM-Attribute für Trino-Koordinator- und Worker-Java-Prozesse zu konfigurieren, z. B. --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • Neue Kataloge erstellen und Katalogattribute hinzufügen: Verwenden Sie trino-catalog:catalog-name.property-name, um Trino-Kataloge zu konfigurieren.

    Beispiel: Das folgende Flag „properties“ kann mit dem Befehl „gcloud dataproc clusters create“ verwendet werden, um einen Trino-Cluster mit einem Hive-Katalog „prodhive“ zu erstellen. Unter /usr/lib/trino/etc/catalog/ wird eine prodhive.properties-Datei erstellt, um den Produktkatalog zu aktivieren.

    --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=thrift://localhost:9000"

REST API

Die Trino-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Abfragen ausführen

Standardmäßig ist Trino in Managed Service for Apache Spark für die Verwendung mit den Connectors Hive, BigQuery, Memory, TPCH und TPCDS konfiguriert.

Nachdem Sie einen Cluster mit der Trino-Komponente erstellt haben, können Sie Abfragen ausführen: