רכיב Trino אופציונלי של Managed Service for Apache Spark

הרכיב האופציונלי Trino מאפשר להריץ שאילתות SQL מבוזרות במקורות נתונים שונים באשכול של Managed Service for Apache Spark. כדי להוסיף את מנוע השאילתות הזה בקוד פתוח במהלך יצירת האשכול, משתמשים בתכונה Optional components.

כברירת מחדל, שרת Trino וממשק המשתמש באינטרנט זמינים ביציאה 8060 (או ביציאה 7778 אם Kerberos מופעל) בצומת הראשי הראשון של האשכול.

התקנת הרכיב

מתקינים את הרכיב כשיוצרים אשכול Managed Service for Apache Spark.

במאמר גרסאות נתמכות של Managed Service for Apache Spark מפורטות גרסאות הרכיבים שכלולות בכל גרסת אימג' של Managed Service for Apache Spark.

מסוףGoogle Cloud

  1. במסוף Google Cloud , פותחים את הדף Create cluster.
  2. לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
  3. עורכים את Optional components.
  4. בחלונית שנפתחת, מסמנים את התיבה Trino ולוחצים על Save.

‫CLI של gcloud

כדי ליצור אשכול של Managed Service for Apache Spark שכולל את הרכיב Trino, משתמשים בפקודה gcloud dataproc clusters create עם הדגל --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags
הערות:

הגדרת נכסים

מוסיפים את הדגל --properties לפקודה gcloud dataproc clusters create כדי להגדיר את מאפייני התצורה trino,‏ trino-jvm ו-trino-catalog.

  • מאפייני אפליקציה: משתמשים במאפייני אשכול עם הקידומת trino: כדי להגדיר את מאפייני האפליקציה של Trino, לדוגמה --properties="trino:join-distribution-type=AUTOMATIC".
  • מאפייני הגדרות של JVM: משתמשים במאפייני אשכול עם הקידומת trino-jvm: כדי להגדיר מאפייני JVM לתהליכי Java של מתאם ועובד ב-Trino, לדוגמה --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • יצירת קטלוגים חדשים והוספת מאפייני קטלוג: משתמשים ב-trino-catalog:catalog-name.property-name כדי להגדיר קטלוגים של Trino.

    דוגמה: אפשר להשתמש בדגל `properties` הבא עם הפקודה `gcloud dataproc clusters create` כדי ליצור אשכול Trino עם קטלוג Hive בשם "prodhive". כדי להפעיל את הקטלוג של prodhive, ייווצר קובץ prodhive.properties ב-/usr/lib/trino/etc/catalog/.

    --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=thrift://localhost:9000"

‫API בארכיטקטורת REST

אפשר לציין את הרכיב Trino דרך Dataproc API באמצעות SoftwareConfig.Component כחלק מבקשת clusters.create.

הרצת שאילתות

כברירת מחדל, Trino ב-Managed Service for Apache Spark מוגדר לעבוד עם המחברים Hive,‏ BigQuery,‏ Memory,‏ TPCH ו-TPCDS.

אחרי שיוצרים אשכול עם רכיב Trino, אפשר להריץ שאילתות: