Komponen Trino opsional Managed Service untuk Apache Spark

Komponen Trino opsional memungkinkan Anda menjalankan kueri SQL terdistribusi di berbagai sumber data pada cluster Managed Service untuk Apache Spark. Anda menambahkan mesin kueri open source ini selama pembuatan cluster menggunakan fitur Komponen opsional.

Server Trino dan UI Web secara default tersedia di port 8060 (atau port 7778 jika Kerberos diaktifkan) pada node master pertama cluster.

Menginstal komponen

Instal komponen saat Anda membuat cluster Managed Service untuk Apache Spark.

Lihat Versi Managed Service untuk Apache Spark yang didukung untuk mengetahui versi komponen yang disertakan dalam setiap rilis image Managed Service untuk Apache Spark.

KonsolGoogle Cloud

  1. Di konsol Google Cloud , buka halaman Create cluster.
  2. Klik Additional configuration untuk meluaskan bagian tersebut.
  3. Edit Optional components.
  4. Di panel yang terbuka, centang kotak untuk Trino, lalu klik Save.

gcloud CLI

Untuk membuat cluster Managed Service untuk Apache Spark yang menyertakan komponen Trino, gunakan perintah gcloud dataproc clusters create dengan flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags
Catatan:

Mengonfigurasi properti

Tambahkan flag --properties ke perintah gcloud dataproc clusters create untuk menetapkan properti konfigurasi trino, trino-jvm, dan trino-catalog.

  • Properti aplikasi: Gunakan properti cluster dengan awalan trino: untuk mengonfigurasi properti aplikasi Trino—misalnya, --properties="trino:join-distribution-type=AUTOMATIC".
  • Properti konfigurasi JVM: Gunakan properti cluster dengan awalan trino-jvm: untuk mengonfigurasi properti JVM untuk proses Java koordinator dan worker Trino—misalnya, --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • Membuat katalog baru dan menambahkan properti katalog: Gunakan trino-catalog:catalog-name.property-name untuk mengonfigurasi katalog Trino.

    Contoh: Flag `properties` berikut dapat digunakan dengan perintah `gcloud dataproc clusters create` untuk membuat cluster Trino dengan katalog Hive "prodhive". File prodhive.properties akan dibuat di bagian /usr/lib/trino/etc/catalog/ untuk mengaktifkan katalog prodhive.

    --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=thrift://localhost:9000"

REST API

Komponen Trino dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Menjalankan kueri

Secara default, Trino di Managed Service untuk Apache Spark dikonfigurasi agar berfungsi dengan konektor Hive, BigQuery, Memory, TPCH, dan TPCDS.

Setelah membuat cluster dengan komponen Trino, Anda dapat menjalankan kueri: