שיפורים בביצועים של Managed Service for Apache Spark

במאמר הזה מוסבר איך להפעיל את שיפורי הביצועים של Spark ב-Managed Service for Apache Spark, כדי לעזור למשימות של Managed Service for Apache Spark לעבד יותר נתונים בפחות זמן ובעלויות נמוכות יותר.

שיפורי הביצועים של Managed Service for Apache Spark כוללים:

  • שיפורים ב-Spark Optimizer:
    • כללי אופטימיזציה שנועדו לשפר את התוכניות של Spark
    • שיפור הביצועים של המחבר של Managed Service for Apache Spark ל-BigQuery כשמשתמשים בו במשימות Spark
  • שיפורים בהפעלה של Spark:
    • שיפורים במנוע ההרצה של Spark

שיפורים נוספים בביצועים של Managed Service for Apache Spark: קראו על שמירת אשכולות במטמון ב-Managed Service for Apache Spark, שעוזרת לצמצם את משך הזמן שנדרש כדי לגשת לנתונים ב-Cloud Storage.

אפשר להפעיל את שיפורי הביצועים של Spark באשכול או במשימת Spark:

תמחור

שיפורי הביצועים של Spark לא כרוכים בחיובים נוספים. ‫התמחור הרגיל של Managed Service for Apache Spark חל.

לתשומת ליבכם

התכונה "שיפור הביצועים של Spark" משנה את המאפיינים של Spark, כולל המאפיינים הבאים:

  • ‫spark.sql.shuffle.partitions: שיפורי הביצועים של Spark מגדירים את המאפיין הזה לערך 1000 באשכולות של גרסת התמונה 2.2. ההגדרה הזו יכולה להאט משימות קטנות.
  • spark.dataproc.sql.catalog.file.index.stats.enabled: ההגדרה הזו יכולה לגרום למצבי OOM (אין מספיק זיכרון) במנהל ההתקן אם מספר המחיצות של Hive גבוה. השבתת המאפיין הזה יכולה לפתור את מצב ה-OOM.

הפעלת שיפורים בזמן יצירת האשכול

אתם יכולים להשתמש במסוף, ב-Google Cloud CLI וב-Dataproc API כדי להפעיל את שיפורי הביצועים של Managed Service for Apache Spark כשאתם יוצרים אשכול של Managed Service for Apache Spark עם גרסאות אימג' 2.0.69+,‏ 2.1.17+,‏ 2.2.0+ וגרסאות אימג' מאוחרות יותר. Google Cloud

המסוף

  1. במסוף Google Cloud , פותחים את הדף Create cluster.
  2. לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
  3. עורכים את ההתאמה האישית והגדרות אחרות.
  4. בקטע Cluster properties, מוסיפים את המאפיינים הבאים:
    • כדי להפעיל את התכונות של Spark לשיפור האופטימיזציה:
      1. לוחצים על + הוספת נכסים.
      2. בוחרים באפשרות spark ברשימה Prefix.
      3. מזינים spark.dataproc.enhanced.optimizer.enabled בשדה מפתח ו-true בשדה ערך.
    • כדי להפעיל את שיפורי הביצועים של Spark:
      1. לוחצים על + הוספת נכסים.
      2. בוחרים באפשרות spark ברשימה Prefix.
      3. מזינים spark.dataproc.enhanced.execution.enabled בשדה מפתח ו-true בשדה ערך.
  5. ממלאים את שאר השדות של האשכול ולוחצים על Create cluster.

gcloud

  1. מריצים את הפקודה הבאה של gcloud dataproc clusters create באופן מקומי בחלון הטרמינל או ב-Cloud Shell.

    gcloud dataproc clusters create CLUSTER_NAME \
        --project=PROJECT_ID \
        --region=REGION \
        --image-version=IMAGE \
        --properties=PROPERTIES
    

    הערות:

    • ‫CLUSTER_NAME: שם האשכול, שחייב להיות ייחודי בפרויקט. השם צריך להתחיל באות קטנה באנגלית, ויכול לכלול עד 51 אותיות קטנות, מספרים ומקפים. הוא לא יכול להסתיים במקף. אפשר להשתמש שוב בשם של אשכול שנמחק.
    • ‫PROJECT_ID: הפרויקט שרוצים לשייך לאשכול.
    • REGION: האזור ב-Compute Engine שבו האשכול ימוקם, למשל us-central1.
      • אפשר להוסיף את הדגל האופציונלי --zone=ZONE כדי לציין אזור בתוך האזור שצוין, כמו us-central1-a. אם לא תציינו אזור, התכונה מיקום אוטומטי של אזור ב-Managed Service for Apache Spark תבחר אזור באזור שצוין.
    • ‫IMAGE: הכלי לאופטימיזציה של Managed Service for Apache Spark והשיפורים בביצועים זמינים בגרסאות 2.0.69+ ו-2.1.17+ של Managed Service for Apache Spark ובגרסאות מאוחרות יותר. אם לא תציינו את הדגל הזה, Managed Service for Apache Spark יבחר את גרסת המשנה האחרונה של קובץ האימג' של Managed Service for Apache Spark שמוגדרת כברירת מחדל לאשכול (ראו גרסת ברירת המחדל של קובץ האימג' של Managed Service for Apache Spark).
    • PROPERTIES:

      • כדי להפעיל את שיפורי האופטימיזציה של Spark, צריך לציין:
      spark:spark.dataproc.enhanced.optimizer.enabled=true
      
      • כדי להפעיל את שיפורי הביצועים של Spark, מציינים:
      spark:spark.dataproc.enhanced.execution.enabled=true
      
      • כדי להפעיל את האופטימיזציה של Spark ואת שיפורי הביצוע, מציינים:
      spark:spark.dataproc.enhanced.optimizer.enabled=true,spark:spark.dataproc.enhanced.execution.enabled=true
      

API

  1. מציינים את SoftwareConfig.properties הבאים כחלק מבקשת clusters.create:

    • כדי להפעיל את שיפורי האופטימיזציה של Spark, צריך לציין:
    "spark:spark.dataproc.enhanced.optimizer.enabled": "true"
    
    • כדי להפעיל את שיפורי הביצועים של Spark, מציינים:
    "spark:spark.dataproc.enhanced.execution.enabled": "true"
    
    • כדי להפעיל את האופטימיזציה של Spark ושיפורי הביצוע, מציינים:
    "spark:spark.dataproc.enhanced.optimizer.enabled": "true","spark:spark.dataproc.enhanced.execution.enabled": "true"
    

הפעלה או השבתה של שיפורים בזמן שליחת המשימה

אתם יכולים להשתמש במסוף Google Cloud , ב-Google Cloud CLI וב-Dataproc API כדי להפעיל או להשבית את שיפורי הביצועים של Spark במשימת Spark שנשלחה ל-Managed Service for Apache Spark.

המסוף

  1. פותחים את הדף Jobs במסוף Google Cloud .
  2. בדף Jobs, לוחצים על Submit job וגוללים לקטע Properties של המשימה.
    1. כדי להפעיל את שיפורי האופטימיזציה של Spark:
      1. לוחצים על + הוספת נכסים. מוסיפים את הערך "spark.dataproc.enhanced.optimizer.enabled" בשדה Key ואת הערך "true" בשדה Value.
    2. כדי להפעיל את שיפורי הביצועים של Spark:
      1. לוחצים על + הוספת נכסים.
      2. מוסיפים את הערך "spark.dataproc.enhanced.execution.enabled" בשדה Key ואת הערך "true" בשדה Value.
  3. ממלאים את שאר השדות של שליחת המשימה או מאשרים אותם, ולוחצים על Submit.

gcloud

  1. מריצים את הפקודה הבאה של gcloud dataproc jobs submit באופן מקומי בחלון הטרמינל או ב-Cloud Shell.

    gcloud dataproc jobs submit SPARK_JOB_TYPE \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --properties=PROPERTIES
    

    הערות:

    • ‫SPARK_JOB_TYPE: צריך לציין spark,‏ pyspark,‏ spark-sql או spark-r .
    • ‫CLUSTER_NAME: שם המשימה שבה המשימה תפעל.
    • ‫REGION: האזור שבו נמצא האשכול.
    • PROPERTIES:

      • כדי להפעיל את שיפורי האופטימיזציה של Spark, צריך לציין:
      spark.dataproc.enhanced.optimizer.enabled=true
      
      • כדי להפעיל את שיפורי הביצועים של Spark, מציינים:
      spark.dataproc.enhanced.execution.enabled=true
      
      • כדי להפעיל את האופטימיזציה של Spark ואת שיפורי הביצוע, מציינים:
      spark.dataproc.enhanced.optimizer.enabled=true,spark.dataproc.enhanced.execution.enabled=true
      

API

  1. מציינים את הערכים הבאים של properties עבור SparkJob,‏ PySparkJob,‏ SparkSqlJob או SparkRJob כחלק מבקשת jobs.submit:

    • כדי להפעיל את שיפורי האופטימיזציה של Spark, צריך לציין:
    "spark.dataproc.enhanced.optimizer.enabled=true"
    
    • כדי להפעיל את שיפורי הביצועים של Spark, מציינים:
    "spark.dataproc.enhanced.execution.enabled=true"
    
    • כדי להפעיל את האופטימיזציה של Spark ואת שיפורי הביצוע, מציינים:
    "spark.dataproc.enhanced.execution.enabled=true,spark.dataproc.enhanced.optimizer.enabled=true"