Componente Presto facoltativo di Managed Service per Apache Spark

Il componente facoltativo Presto ti consente di eseguire query SQL distribuite interattive su più origini dati direttamente sul tuo cluster Managed Service for Apache Spark. Presto (Trino) elabora i workload analitici nei sistemi di archiviazione esterni senza richiedere la migrazione dei dati.

Installa il componente

Installa il componente quando crei un cluster Managed Service for Apache Spark. I componenti possono essere aggiunti ai cluster creati con Managed Service for Apache Spark versione 1.3 e successive.

Consulta Versioni di Managed Service for Apache Spark supportate per la versione del componente inclusa in ogni release dell'immagine di Managed Service for Apache Spark.

ConsoleGoogle Cloud

  1. Nella console Google Cloud , apri la pagina Crea cluster.
  2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
  3. Modifica i componenti facoltativi.
  4. Nel riquadro che si apre, seleziona la casella di controllo Presto.

Comando gcloud CLI

Per creare un cluster Managed Service for Apache Spark che includa il componente Presto, utilizza il comando gcloud dataproc clusters create cluster-name con il flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

Configurazione delle proprietà

Aggiungi il flag --properties al comando gcloud dataproc clusters create per impostare le proprietà di configurazione presto, presto-jvm e presto-catalog.

  • Proprietà dell'applicazione: Utilizzare le proprietà del cluster con il prefisso presto: per configurare le proprietà dell'applicazione Presto, ad esempio, --properties="presto:join-distribution-type=AUTOMATIC".
  • Proprietà di configurazione della JVM: utilizza le proprietà del cluster con il prefisso presto-jvm: per configurare le proprietà della JVM per i processi Java del coordinatore e dei worker di Presto, ad esempio --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • Creazione di nuovi cataloghi e aggiunta di proprietà del catalogo: utilizza presto-catalog:catalog-name.property-name per configurare i cataloghi Presto.

    Esempio: il seguente flag "properties" può essere utilizzato con il comando "gcloud dataproc clusters create" per creare un cluster Presto con un catalogo Hive "prodhive". Verrà creato un file prodhive.properties in /usr/lib/presto/etc/catalog/ per abilitare il catalogo prodhive.

    --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

API REST

Il componente Presto può essere specificato tramite l'API Dataproc utilizzando SoftwareConfig.Component come parte di una richiesta clusters.create.

Accedi ed esegui query su Presto

Il server Presto e la UI web sono disponibili per impostazione predefinita sulla porta 8060 (o sulla porta 7778 se è abilitato Kerberos) sul primo nodo master del cluster.

Per impostazione predefinita, Presto su Managed Service per Apache Spark è configurato per funzionare conHive, BigQuery ,Memory, TPCH ETPCDS dispositivi.

Dopo aver creato un cluster con il componente Presto, puoi eseguire query: