שמירה במטמון של אשכול

שמירת אשכולות במטמון ב-Managed Service for Apache Spark מאפשרת לכם להאיץ את ביצוע המשימות על ידי אחסון נתונים ב-Cloud Storage שניגשים אליהם לעיתים קרובות באופן מקומי בצומתי אשכולות. המטמון המקומי הזה מקצר את זמן האחזור של הקריאה ומצמצם את בקשות ה-API של Cloud Storage לעומסי עבודה שחוזרים על עצמם.

כשמפעילים את השמירה במטמון של אשכול Managed Service for Apache Spark, האשכול שומר במטמון את הנתונים ב-Cloud Storage שהמשימות ב-Spark ניגשות אליהם לעיתים קרובות.

יתרונות

  • ביצועים משופרים: שמירה במטמון יכולה לשפר את ביצועי המשימות על ידי צמצום משך הזמן שנדרש לאחזור נתונים מהאחסון.
  • עלויות אחסון נמוכות יותר: מכיוון שנתונים בשימוש תכוף נשמרים במטמון בדיסק המקומי, מתבצעות פחות קריאות ל-API לאחסון כדי לאחזר נתונים.
  • התאמה למשימות Spark: כשמפעילים את השמירה במטמון באשכול, היא חלה על כל משימות Spark שמופעלות באשכול, גם אם הן נשלחו ל-Managed Service for Apache Spark וגם אם הן מופעלות באופן עצמאי באשכול.

מגבלות ודרישות

הפעלת שמירה במטמון של אשכולות

אפשר להפעיל את השמירה במטמון של האשכול כשיוצרים אשכול Managed Service for Apache Spark באמצעות מסוף Google Cloud ,‏ Google Cloud CLI או Dataproc API.

מסוףGoogle Cloud

  1. פותחים את הדף Create cluster במסוף Google Cloud .
  2. לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
  3. עורכים את התאמה אישית והגדרות אחרות.
  4. בחלונית שנפתחת, בקטע מאפייני אשכול, לוחצים על + הוספת מאפיינים.
  5. בוחרים באפשרות dataproc ברשימה Prefix, ואז מוסיפים את המפתח dataproc.cluster.caching.enabled ואת הערך true.

‫CLI של gcloud

מריצים את הפקודה gcloud dataproc clusters create באופן מקומי בחלון הטרמינל או ב-Cloud Shell באמצעות מאפיין האשכול dataproc:dataproc.cluster.caching.enabled=true.

דוגמה:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties dataproc:dataproc.cluster.caching.enabled=true \
    --num-master-local-ssds=2 \
    --master-local-ssd-interface=NVME \
    --num-worker-local-ssds=2 \
    --worker-local-ssd-interface=NVME \
    other args ...
  

‫API בארכיטקטורת REST

מגדירים את SoftwareConfig.properties כך שיכלול את מאפיין האשכול "dataproc:dataproc.cluster.caching.enabled": "true" כחלק מבקשת clusters.create.