Komponen Presto opsional Managed Service untuk Apache Spark

Komponen opsional Presto memungkinkan Anda menjalankan kueri SQL terdistribusi interaktif di beberapa sumber data langsung di cluster Managed Service untuk Apache Spark. Presto (Trino) memproses workload analisis di seluruh sistem penyimpanan eksternal tanpa memerlukan migrasi data.

Catatan: Di image versi 2.1 dan yang lebih baru, Komponen Opsional Presto tersedia sebagai Komponen Opsional Trino. Untuk cluster yang lebih baru, lihat Menggunakan Trino dengan Managed Service untuk Apache Spark.

Menginstal komponen

Instal komponen saat Anda membuat cluster Managed Service untuk Apache Spark. Komponen dapat ditambahkan ke cluster yang dibuat dengan Managed Service untuk Apache Spark versi 1.3 dan yang lebih baru.

Lihat Versi Managed Service untuk Apache Spark yang didukung untuk mengetahui versi komponen yang disertakan dalam setiap rilis image Managed Service untuk Apache Spark.

KonsolGoogle Cloud

1. Di konsol Google Cloud , buka halaman Create cluster.
2. Klik Additional configuration untuk meluaskan bagian tersebut.
3. Edit Optional components.
4. Di panel yang terbuka, centang kotak untuk Presto.

Perintah gcloud CLI

Untuk membuat cluster Managed Service untuk Apache Spark yang menyertakan komponen Presto, gunakan perintah gcloud dataproc clusters create cluster-name dengan flag --optional-components.

Saat membuat cluster, gunakan perintah gcloud dataproc clusters create dengan flag --enable-component-gateway, seperti yang ditunjukkan dalam contoh berikut, untuk mengaktifkan koneksi ke UI Web Presto menggunakan Gateway Komponen.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

Mengonfigurasi properti

Tambahkan flag --properties ke perintah gcloud dataproc clusters create untuk menetapkan properti konfigurasi presto, presto-jvm, dan presto-catalog.

• Properti aplikasi: Gunakan properti cluster dengan awalan presto: untuk mengonfigurasi properti aplikasi Presto—misalnya, --properties="presto:join-distribution-type=AUTOMATIC".
• Properti konfigurasi JVM: Gunakan properti cluster dengan awalan presto-jvm: untuk mengonfigurasi properti JVM untuk proses Java koordinator dan worker Presto—misalnya, --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
• Membuat katalog baru dan menambahkan properti katalog: Gunakan presto-catalog:catalog-name.property-name untuk mengonfigurasi katalog Presto.

  Contoh: Flag `properties` berikut dapat digunakan dengan perintah `gcloud dataproc clusters create` untuk membuat cluster Presto dengan katalog Hive "prodhive". File prodhive.properties akan dibuat di bagian /usr/lib/presto/etc/catalog/ untuk mengaktifkan katalog prodhive.

  --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

REST API

Komponen Presto dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Dengan menggunakan Dataproc v1 API, tetapkan properti EndpointConfig.enableHttpPortAccess ke true sebagai bagian dari permintaan clusters.create untuk mengaktifkan koneksi ke UI Web Presto menggunakan Gateway Komponen.

Mengakses dan mengkueri Presto

Server Presto dan UI Web secara default tersedia di port 8060 (atau port 7778 jika Kerberos diaktifkan) pada node master pertama cluster.

Secara default, Presto di Managed Service untuk Apache Spark dikonfigurasi untuk berfungsi dengan konektor Hive, BigQuery, Memory, TPCH, dan TPCDS.

Setelah membuat cluster dengan komponen Presto, Anda dapat menjalankan kueri:

• dari terminal lokal dengan perintah gcloud dataproc jobs submit presto
• dari jendela terminal di node master pertama cluster menggunakan presto CLI (Command Line Interface) (lihat Menggunakan Trino dengan Managed Service untuk Apache Spark).