שימוש בסלקטורים של אשכולות בתהליכי עבודה

במקום להריץ תהליך עבודה באשכול מנוהל, אתם יכולים להשתמש בבורר אשכולות כדי לבחור אשכול קיים לתהליך העבודה. בסיום תהליך העבודה, האשכול שנבחר לא נמחק.

הסלקטורים מציינים תווית משתמש אחת או יותר ב-Managed Service for Apache Spark. אשכולות באותו אזור של תהליך העבודה, שהתוויות שלהם תואמות לכל תוויות הבורר, יכולים להריץ משימות של תהליך העבודה. אם כמה אשכולות תואמים לבורר, Managed Service for Apache Spark יבחר את האשכול עם הכי הרבה זיכרון YARN פנוי.

הוספת בורר אשכולות לתבנית

אפשר להוסיף בורר אשכולות לתבנית של תהליך עבודה באמצעות Google Cloud CLI או Dataproc API.

פקודת gcloud

gcloud dataproc workflow-templates set-cluster-selector template-id \
    --region=region \
    --cluster-labels=name=value[[,name=value]...]

‫API בארכיטקטורת REST

אפשר לקרוא מידע נוסף בקטע WorkflowTemplatePlacement.ClusterSelector. השדה הזה מסופק כחלק מ-WorkflowTemplate שהושלם ונשלח עם בקשת workflowTemplates.create או workflowTemplates.update.

המסוף

אפשר לראות את התבניות הקיימות של תהליכי העבודה ואת תהליכי העבודה שנוצרו בדף Workflows של Managed Service for Apache Spark במסוף Google Cloud .

שימוש בתוויות שמוחלות באופן אוטומטי

כדי להפנות בורר אשכולות לאשכול קיים, אפשר להשתמש באחת מתוויות האשכולות הבאות שמוחלות באופן אוטומטי:

  • goog-dataproc-cluster-name
  • goog-dataproc-cluster-uuid

לדוגמה: 

gcloud dataproc workflow-templates set-cluster-selector template-id \
    --region=region \
    --cluster-labels=goog-dataproc-cluster-name=my-cluster

בחירה ממאגר אשכולות

אתם יכולים לאפשר ל-Managed Service for Apache Spark לבחור אשכול מתוך מאגר של אשכולות. אפשר להגדיר את מאגרי האשכולות באמצעות תוויות.

לדוגמה:

gcloud dataproc clusters create cluster-1 --labels cluster-pool=pool-1 \
    --region=region
gcloud dataproc clusters create cluster-2 --labels cluster-pool=pool-1 \
    --region=region
gcloud dataproc clusters create cluster-3 --labels cluster-pool=pool-2 \
    --region=region

אחרי שיוצרים את האשכול…

gcloud dataproc workflow-templates create my-template \
    --region=region
gcloud dataproc workflow-templates set-cluster-selector my-template \
    --region=region \
    --cluster-labels=cluster-pool=pool-1

תהליך העבודה יופעל ב-cluster-1 או ב-cluster-2, אבל לא ב-cluster-3.