רכיב Pig אופציונלי של Managed Service for Apache Spark

‫Apache Pig מאפשר לנתח מערכי נתונים גדולים ב-Managed Service for Apache Spark. אפשר להתקין את הפלטפורמה הזו בקוד פתוח במהלך יצירת האשכול באמצעות התכונה Optional components.

התקנת הרכיב

מתקינים את הרכיב כשיוצרים אשכול Managed Service for Apache Spark.

‫Apache Pig הוא רכיב אופציונלי ב-Managed Service for Apache Spark בגרסאות אימג' 2.3 ואילך.

במאמר גרסאות נתמכות של Managed Service for Apache Spark מפורטות גרסאות הרכיבים שכלולות בגרסאות העדכניות של קובצי האימג' של Managed Service for Apache Spark.

מסוףGoogle Cloud

  1. במסוף Google Cloud , פותחים את הדף Create cluster.
  2. לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
  3. עורכים את Optional components.
  4. בחלונית שנפתחת, מסמנים את התיבה Pig ולוחצים על Save.

‫CLI של gcloud

כדי ליצור אשכול Managed Service for Apache Spark שכולל את רכיב Pig, משתמשים בפקודה gcloud dataproc clusters create CLUSTER_NAME עם הדגל --optional-components (בגרסת תמונה 2.3 ואילך).

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --optional-components=PIG \
    --image-version=2.3 \
    ... other flags

‫API בארכיטקטורת REST

אפשר לציין את רכיב Pig באמצעות Dataproc API, באמצעות SoftwareConfig.Component כחלק מבקשת clusters.create.