במאמר הזה מוסבר איך להפעיל את שיפורי הביצועים של Spark ב-Managed Service for Apache Spark, כדי לעזור למשימות של Managed Service for Apache Spark לעבד יותר נתונים בפחות זמן ובעלויות נמוכות יותר.
שיפורי הביצועים של Managed Service for Apache Spark כוללים:
- שיפורים ב-Spark Optimizer:
- כללי אופטימיזציה שנועדו לשפר את התוכניות של Spark
- שיפור הביצועים של המחבר של Managed Service for Apache Spark ל-BigQuery כשמשתמשים בו במשימות Spark
- שיפורים בהפעלה של Spark:
- שיפורים במנוע ההרצה של Spark
שיפורים נוספים בביצועים של Managed Service for Apache Spark: קראו על שמירת אשכולות במטמון ב-Managed Service for Apache Spark, שעוזרת לצמצם את משך הזמן שנדרש כדי לגשת לנתונים ב-Cloud Storage.
אפשר להפעיל את שיפורי הביצועים של Spark באשכול או במשימת Spark:
שיפורי הביצועים של Spark שמופעלים באשכול חלים כברירת מחדל על כל משימות Spark שפועלות באשכול, בין שהן נשלחות ל-Managed Service for Apache Spark ובין שהן נשלחות ישירות לאשכול.
אפשר גם להפעיל או להשבית את שיפורי הביצועים של Spark במשימה שנשלחת ל-Managed Service for Apache Spark. הגדרות לשיפור הביצועים של Spark שמוחלות על משימה מבטלות כל הגדרה סותרת שנקבעה ברמת האשכול, רק למשימה שצוינה.
תמחור
שיפורי הביצועים של Spark לא כרוכים בחיובים נוספים. התמחור הרגיל של Managed Service for Apache Spark חל.
לתשומת ליבכם
התכונה "שיפור הביצועים של Spark" משנה את המאפיינים של Spark, כולל המאפיינים הבאים:
-
spark.sql.shuffle.partitions: שיפורי הביצועים של Spark מגדירים את המאפיין הזה לערך1000באשכולות של גרסת התמונה2.2. ההגדרה הזו יכולה להאט משימות קטנות. spark.dataproc.sql.catalog.file.index.stats.enabled: ההגדרה הזו יכולה לגרום למצבי OOM (אין מספיק זיכרון) במנהל ההתקן אם מספר המחיצות של Hive גבוה. השבתת המאפיין הזה יכולה לפתור את מצב ה-OOM.
הפעלת שיפורים בזמן יצירת האשכול
אתם יכולים להשתמש במסוף, ב-Google Cloud CLI וב-Dataproc API כדי להפעיל את שיפורי הביצועים של Managed Service for Apache Spark כשאתם יוצרים אשכול של Managed Service for Apache Spark עם גרסאות אימג' 2.0.69+, 2.1.17+, 2.2.0+ וגרסאות אימג' מאוחרות יותר. Google Cloud
המסוף
- במסוף Google Cloud , פותחים את הדף Create cluster.
- לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
- עורכים את ההתאמה האישית והגדרות אחרות.
- בקטע Cluster properties, מוסיפים את המאפיינים הבאים:
- כדי להפעיל את התכונות של Spark לשיפור האופטימיזציה:
- לוחצים על + הוספת נכסים.
- בוחרים באפשרות spark ברשימה Prefix.
- מזינים
spark.dataproc.enhanced.optimizer.enabledבשדה מפתח ו-trueבשדה ערך.
- כדי להפעיל את שיפורי הביצועים של Spark:
- לוחצים על + הוספת נכסים.
- בוחרים באפשרות spark ברשימה Prefix.
- מזינים
spark.dataproc.enhanced.execution.enabledבשדה מפתח ו-trueבשדה ערך.
- כדי להפעיל את התכונות של Spark לשיפור האופטימיזציה:
- ממלאים את שאר השדות של האשכול ולוחצים על Create cluster.
gcloud
מריצים את הפקודה הבאה של gcloud dataproc clusters create באופן מקומי בחלון הטרמינל או ב-Cloud Shell.
gcloud dataproc clusters create CLUSTER_NAME \ --project=PROJECT_ID \ --region=REGION \ --image-version=IMAGE \ --properties=PROPERTIES
הערות:
- CLUSTER_NAME: שם האשכול, שחייב להיות ייחודי בפרויקט. השם צריך להתחיל באות קטנה באנגלית, ויכול לכלול עד 51 אותיות קטנות, מספרים ומקפים. הוא לא יכול להסתיים במקף. אפשר להשתמש שוב בשם של אשכול שנמחק.
- PROJECT_ID: הפרויקט שרוצים לשייך לאשכול.
- REGION: האזור ב-Compute Engine שבו האשכול ימוקם, למשל
us-central1.- אפשר להוסיף את הדגל האופציונלי
--zone=ZONEכדי לציין אזור בתוך האזור שצוין, כמוus-central1-a. אם לא תציינו אזור, התכונה מיקום אוטומטי של אזור ב-Managed Service for Apache Spark תבחר אזור באזור שצוין.
- אפשר להוסיף את הדגל האופציונלי
- IMAGE: הכלי לאופטימיזציה של Managed Service for Apache Spark והשיפורים בביצועים זמינים בגרסאות
2.0.69+ו-2.1.17+של Managed Service for Apache Spark ובגרסאות מאוחרות יותר. אם לא תציינו את הדגל הזה, Managed Service for Apache Spark יבחר את גרסת המשנה האחרונה של קובץ האימג' של Managed Service for Apache Spark שמוגדרת כברירת מחדל לאשכול (ראו גרסת ברירת המחדל של קובץ האימג' של Managed Service for Apache Spark). PROPERTIES:
- כדי להפעיל את שיפורי האופטימיזציה של Spark, צריך לציין:
spark:spark.dataproc.enhanced.optimizer.enabled=true- כדי להפעיל את שיפורי הביצועים של Spark, מציינים:
spark:spark.dataproc.enhanced.execution.enabled=true- כדי להפעיל את האופטימיזציה של Spark ואת שיפורי הביצוע, מציינים:
spark:spark.dataproc.enhanced.optimizer.enabled=true,spark:spark.dataproc.enhanced.execution.enabled=true
API
מציינים את
SoftwareConfig.propertiesהבאים כחלק מבקשתclusters.create:- כדי להפעיל את שיפורי האופטימיזציה של Spark, צריך לציין:
"spark:spark.dataproc.enhanced.optimizer.enabled": "true"- כדי להפעיל את שיפורי הביצועים של Spark, מציינים:
"spark:spark.dataproc.enhanced.execution.enabled": "true"- כדי להפעיל את האופטימיזציה של Spark ושיפורי הביצוע, מציינים:
"spark:spark.dataproc.enhanced.optimizer.enabled": "true","spark:spark.dataproc.enhanced.execution.enabled": "true"
הפעלה או השבתה של שיפורים בזמן שליחת המשימה
אתם יכולים להשתמש במסוף Google Cloud , ב-Google Cloud CLI וב-Dataproc API כדי להפעיל או להשבית את שיפורי הביצועים של Spark במשימת Spark שנשלחה ל-Managed Service for Apache Spark.
המסוף
- פותחים את הדף Jobs במסוף Google Cloud .
- בדף Jobs, לוחצים על Submit job וגוללים לקטע Properties של המשימה.
- כדי להפעיל את שיפורי האופטימיזציה של Spark:
- לוחצים על + הוספת נכסים. מוסיפים את הערך "spark.dataproc.enhanced.optimizer.enabled" בשדה Key ואת הערך "true" בשדה Value.
- כדי להפעיל את שיפורי הביצועים של Spark:
- לוחצים על + הוספת נכסים.
- מוסיפים את הערך "spark.dataproc.enhanced.execution.enabled" בשדה Key ואת הערך "true" בשדה Value.
- כדי להפעיל את שיפורי האופטימיזציה של Spark:
- ממלאים את שאר השדות של שליחת המשימה או מאשרים אותם, ולוחצים על Submit.
gcloud
מריצים את הפקודה הבאה של gcloud dataproc jobs submit באופן מקומי בחלון הטרמינל או ב-Cloud Shell.
gcloud dataproc jobs submit SPARK_JOB_TYPE \ --cluster=CLUSTER_NAME \ --region=REGION \ --properties=PROPERTIES
הערות:
- SPARK_JOB_TYPE: צריך לציין
spark,pyspark,spark-sqlאוspark-r. - CLUSTER_NAME: שם המשימה שבה המשימה תפעל.
- REGION: האזור שבו נמצא האשכול.
PROPERTIES:
- כדי להפעיל את שיפורי האופטימיזציה של Spark, צריך לציין:
spark.dataproc.enhanced.optimizer.enabled=true- כדי להפעיל את שיפורי הביצועים של Spark, מציינים:
spark.dataproc.enhanced.execution.enabled=true- כדי להפעיל את האופטימיזציה של Spark ואת שיפורי הביצוע, מציינים:
spark.dataproc.enhanced.optimizer.enabled=true,spark.dataproc.enhanced.execution.enabled=true
- SPARK_JOB_TYPE: צריך לציין
API
מציינים את הערכים הבאים של
propertiesעבור SparkJob, PySparkJob, SparkSqlJob או SparkRJob כחלק מבקשתjobs.submit:- כדי להפעיל את שיפורי האופטימיזציה של Spark, צריך לציין:
"spark.dataproc.enhanced.optimizer.enabled=true"- כדי להפעיל את שיפורי הביצועים של Spark, מציינים:
"spark.dataproc.enhanced.execution.enabled=true"- כדי להפעיל את האופטימיזציה של Spark ואת שיפורי הביצוע, מציינים:
"spark.dataproc.enhanced.execution.enabled=true,spark.dataproc.enhanced.optimizer.enabled=true"