רכיב Presto אופציונלי של Managed Service for Apache Spark

הרכיב האופציונלי של Presto מאפשר להריץ שאילתות SQL מבוזרות ואינטראקטיביות בכמה מקורות נתונים, ישירות באשכול של Managed Service for Apache Spark. ‫Presto (Trino) מעבד עומסי עבודה של ניתוח נתונים במערכות אחסון חיצוניות, בלי צורך בהעברת נתונים.

התקנת הרכיב

מתקינים את הרכיב כשיוצרים אשכול Managed Service for Apache Spark. אפשר להוסיף רכיבים לאשכולות שנוצרו באמצעות Managed Service for Apache Spark מגרסה 1.3 ואילך.

במאמר גרסאות נתמכות של Managed Service for Apache Spark מפורטות גרסאות הרכיבים שכלולות בכל גרסת אימג' של Managed Service for Apache Spark.

מסוףGoogle Cloud

  1. במסוף Google Cloud , פותחים את הדף Create cluster.
  2. לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
  3. עורכים את Optional components.
  4. בחלונית שנפתחת, מסמנים את התיבה לצד Presto.

פקודת ה-CLI של gcloud

כדי ליצור אשכול Managed Service for Apache Spark שכולל את הרכיב Presto, משתמשים בפקודה gcloud dataproc clusters create cluster-name עם הדגל --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

הגדרת נכסים

מוסיפים את הדגל --properties לפקודה gcloud dataproc clusters create כדי להגדיר את מאפייני התצורה presto, ‏ presto-jvm ו-presto-catalog.

  • מאפייני אפליקציה: משתמשים במאפייני אשכול עם הקידומת presto: כדי להגדיר את מאפייני האפליקציה של Presto, לדוגמה --properties="presto:join-distribution-type=AUTOMATIC".
  • מאפייני הגדרות אישיות של JVM: משתמשים במאפייני אשכול עם הקידומת presto-jvm: כדי להגדיר מאפייני JVM לתהליכי Java של מתאם ועובד של Presto, לדוגמה --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • יצירת קטלוגים חדשים והוספת מאפייני קטלוג: משתמשים ב-presto-catalog:catalog-name.property-name כדי להגדיר קטלוגים של Presto.

    דוגמה: אפשר להשתמש בדגל `properties` הבא עם הפקודה `gcloud dataproc clusters create` כדי ליצור אשכול Presto עם קטלוג Hive בשם "prodhive". כדי להפעיל את הקטלוג של prodhive, ייווצר קובץ prodhive.properties ב-/usr/lib/presto/etc/catalog/.

    --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

‫API בארכיטקטורת REST

אפשר לציין את רכיב Presto דרך Dataproc API באמצעות SoftwareConfig.Component כחלק מבקשת clusters.create.

גישה ל-Presto ושאילתות

כברירת מחדל, שרת Presto וממשק המשתמש באינטרנט זמינים ביציאה 8060 (או ביציאה 7778 אם Kerberos מופעל) בצומת הראשי הראשון של האשכול.

כברירת מחדל, Presto ב-Managed Service for Apache Spark מוגדר לעבוד עם המחברים Hive,‏ BigQuery,‏ Memory,‏ TPCH ו-TPCDS.

אחרי שיוצרים אשכול עם רכיב Presto, אפשר להריץ שאילתות: