Optionale Presto-Komponente für Managed Service for Apache Spark

Mit der optionalen Presto-Komponente können Sie interaktive verteilte SQL-Abfragen über mehrere Datenquellen hinweg direkt in Ihrem Managed Service for Apache Spark-Cluster ausführen. Presto (Trino) verarbeitet analytische Arbeitslasten über externe Speichersysteme hinweg, ohne dass eine Datenmigration erforderlich ist.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Komponenten können Clustern hinzugefügt werden, die mit Version 1.3 und höher von Managed Service for Apache Spark erstellt wurden.

Informationen zu den Komponentenversionen, die in den einzelnen Managed Service for Apache Spark-Image-Releases enthalten sind, finden Sie unter Unterstützte Managed Service for Apache Spark-Versionen.

Google Cloud Console

  1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
  2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
  3. Bearbeiten Sie Optionale Komponenten.
  4. Klicken Sie im daraufhin angezeigten Bereich das Kästchen für Presto an.

gcloud CLI-Befehl

Wenn Sie einen Managed Service for Apache Spark-Cluster mit der Presto-Komponente erstellen möchten, verwenden Sie den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

Attribute konfigurieren

Fügen Sie dem Befehl gcloud dataproc clusters create das Flag --properties hinzu, um die Konfigurationsattribute presto, presto-jvm and presto-catalog festzulegen.

  • Anwendungsattribute: Verwenden Sie Clusterattribute mit dem Präfix presto:, um Presto-Anwendungsattribute zu konfigurieren, z. B. --properties="presto:join-distribution-type=AUTOMATIC".
  • JVM-Konfigurationsattribute: Verwenden Sie Clusterattribute mit dem Präfix presto-jvm:, um JVM-Attribute für Presto-Koordinator- und Worker-Java-Prozesse zu konfigurieren, z. B. --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • Neue Kataloge erstellen und Katalogattribute hinzufügen: Mit presto-catalog:catalog-name.property-name können Sie Presto-Kataloge konfigurieren.

    Beispiel: Das folgende Attribut-Flag kann mit dem Befehl "gcloud dataproc clusters create" verwendet werden, um einen Presto-Cluster mit einem "prodhive"-Hive-Katalog zu erstellen. Unter /usr/lib/presto/etc/catalog/ wird eine prodhive.properties-Datei erstellt, um den Produktkatalog zu aktivieren.

    --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

REST API

Die Presto-Komponente kann über die Dataproc-API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Auf Presto zugreifen und Abfragen ausführen

Der Presto-Server und die Web-UI sind standardmäßig an Port 8060 (oder Port 7778, wenn Kerberos aktiviert ist) auf dem ersten Masterknoten des Clusters verfügbar.

Standardmäßig ist Presto in Managed Service for Apache Spark für die Verwendung mit den Connectors Hive, BigQuery, Memory, TPCH und TPCDS konfiguriert.

Nachdem Sie einen Cluster mit der Presto-Komponente erstellt haben, können Sie Abfragen ausführen: