שיפור של התאמה אוטומטית אופקית לעומס בצינורות עיבוד נתונים בסטרימינג

בפייפליינים זורמים עם נתוני קלט משתנים או בנפח גבוה, לעיתים קרובות צריך לאזן בין זמן האחזור של העיבוד לבין עלויות התפעול. למרות שב-Dataflow יש הגדרות ברירת מחדל להתאמה אופקית לעומס שמתאימות להרבה עומסי עבודה, יכול להיות שפעולת ברירת המחדל לא תתאים לדרישות הספציפיות שלכם. לדוגמה, יכול להיות שתרצו להפחית עלויות על ידי קבלת זמן אחזור ממוצע גבוה יותר, להגדיל את קנה המידה מהר יותר כדי להתמודד עם עלייה חדה בתנועה, או לאכוף מגבלות מחמירות על הקצאת ה-workers.

כוונון של התאמה אופקית לעומס מאפשר לכם להתאים אישית את האופן שבו Dataflow משנה את קיבולת ה-workers בתגובה לשינויים בדרישות של עומס העבודה. כדי לבצע אופטימיזציה של תפוקת הצינור, לשלוט בעלויות המחשוב ולעמוד ביעדי זמן האחזור הספציפיים, אתם יכולים לשנות את הפרמטרים של ההתאמה האוטומטית לעומס.

אופטימיזציה של התאמה אופקית לעומס

כדי לבצע אופטימיזציה של התאמה אוטומטית לעומס אופקית, אתם יכולים לשנות את הפרמטרים הבאים:

הגדרת טווח ההתאמה האוטומטית לעומס

כשיוצרים משימת סטרימינג חדשה, אפשר להגדיר את המספר הראשוני של ה-workers ואת המספר המקסימלי שלהם. כדי לעשות זאת, מציינים את אפשרויות צינור עיבוד הנתונים הבאות:

Java

  • ‫--numWorkers: המספר הראשוני של ה-workers שזמינים כשה-pipeline מתחיל לפעול
  • ‫--maxNumWorkers: המספר המקסימלי של ה-workers שזמינים לצינור עיבוד הנתונים

Python

  • ‫--num_workers: המספר הראשוני של ה-workers שזמינים כשה-pipeline מתחיל לפעול
  • ‫--max_num_workers: המספר המקסימלי של ה-workers שזמינים לצינור עיבוד הנתונים

המשך

  • ‫--num_workers: המספר הראשוני של ה-workers שזמינים כשה-pipeline מתחיל לפעול
  • ‫--max_num_workers: המספר המקסימלי של ה-workers שזמינים לצינור עיבוד הנתונים

במשימות סטרימינג שמשתמשות ב-Streaming Engine, הדגל --maxNumWorkers הוא אופציונלי. ערך ברירת המחדל הוא 100. במשימות סטרימינג שלא משתמשות ב-Streaming Engine, צריך להשתמש ב---maxNumWorkers כשהתאמה אוטומטית אופקית לעומס מופעלת.

הערך ההתחלתי של --maxNumWorkers קובע גם כמה Persistent Disks מוקצים למשימה. הצינורות פרוסים עם מאגר קבוע של Persistent Disks, במספר ששווה ל---maxNumWorkers. במהלך הסטרימינג, Persistent Disks מופצים מחדש כך שכל worker מקבל מספר שווה של דיסקים מצורפים.

אם מגדירים את --maxNumWorkers, צריך לוודא שהערך מספק מספיק דיסקים לצינור עיבוד הנתונים. כדאי להביא בחשבון את הצמיחה העתידית כשמגדירים את הערך הראשוני. למידע על הביצועים של Persistent Disk, קראו את המאמר הגדרת Persistent Disk ומכונות וירטואליות. ב-Dataflow החיוב הוא על שימוש בדיסק לאחסון מתמיד, ויש מכסות של Compute Engine, כולל מכסות של דיסק לאחסון מתמיד.

כברירת מחדל, המספר המינימלי של ה-workers הוא 1 למשימות סטרימינג שמשתמשות ב-Streaming Engine, ו-(maxNumWorkers/15), מעוגל כלפי מעלה, למשימות שלא משתמשות ב-Streaming Engine.

עדכון טווח ההתאמה לעומס (autoscaling)

במשימות שמשתמשות ב-Streaming Engine, אפשר לשנות את המספר המינימלי והמקסימלי של ה-workers בלי לעצור או להחליף את המשימה. כדי לשנות את הערכים האלה, צריך להשתמש בעדכון של משימה פעילה. מעדכנים את אפשרויות המשרה הבאות:

  • ‫--min-num-workers: המספר המינימלי של ה-workers.
  • ‫--max-num-workers: המספר המקסימלי של ה-workers.

gcloud

משתמשים בפקודה gcloud dataflow jobs update-options:

gcloud dataflow jobs update-options \
  --region=REGION \
  --min-num-workers=MINIMUM_WORKERS \
  --max-num-workers=MAXIMUM_WORKERS \
  JOB_ID

מחליפים את מה שכתוב בשדות הבאים:

  • ‫REGION: מזהה האזור של נקודת הקצה האזורית של המשימה
  • ‫MINIMUM_WORKERS: המספר המינימלי של מכונות Compute Engine
  • ‫MAXIMUM_WORKERS: המספר המקסימלי של מכונות Compute Engine
  • ‫JOB_ID: מזהה המשימה שרוצים לעדכן

אפשר גם לעדכן את --min-num-workers ואת --max-num-workers בנפרד.

REST

משתמשים ב-method‏ projects.locations.jobs.update:

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID?updateMask=runtime_updatable_params.max_num_workers,runtime_updatable_params.min_num_workers
{
  "runtime_updatable_params": {
    "min_num_workers": MINIMUM_WORKERS,
    "max_num_workers": MAXIMUM_WORKERS
  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud של משימת Dataflow
  • ‫REGION: מזהה האזור של נקודת הקצה האזורית של המשימה
  • ‫JOB_ID: מזהה המשימה שרוצים לעדכן
  • ‫MINIMUM_WORKERS: המספר המינימלי של מכונות Compute Engine
  • ‫MAXIMUM_WORKERS: המספר המקסימלי של מכונות Compute Engine

אפשר גם לעדכן את min_num_workers ואת max_num_workers בנפרד. מציינים אילו פרמטרים לעדכן בפרמטר השאילתה updateMask, וכוללים את הערכים המעודכנים בשדה runtimeUpdatableParams של גוף הבקשה. בדוגמה הבאה מעדכנים את min_num_workers:

PUT https://dataflow.googleapis.com/v1b3/projects/my_project/locations/us-central1/jobs/job1?updateMask=runtime_updatable_params.min_num_workers
{
  "runtime_updatable_params": {
    "min_num_workers": 5
  }
}

במשימות שלא משתמשות ב-Streaming Engine, אפשר להחליף את המשימה הקיימת בערך מעודכן של maxNumWorkers.

אם מעדכנים משימת סטרימינג שלא משתמשת ב-Streaming Engine, במשימה המעודכנת מושבתת כברירת מחדל ההתאמה האופקית לעומס. כדי להשאיר את ההתאמה האוטומטית לעומס (automatic scaling) מופעלת, צריך לציין את --autoscalingAlgorithm ו---maxNumWorkers בשביל המשימה המעודכנת.

הגדרת הרמז לניצול משאבי ה-worker

ב-Dataflow, המערכת משתמשת בניצול הממוצע של המעבד (CPU) כאינדיקטור להחלת התאמה אוטומטית לעומס (autoscaling) אופקית. כברירת מחדל, Dataflow מגדיר יעד של 0.8 לניצול המעבד (CPU). אם הניצולת חורגת מהטווח הזה, יכול להיות ש-Dataflow יוסיף או יסיר עובדים.

כדי לקבל יותר שליטה על ההתנהגות של ההתאמה האוטומטית לעומס, אתם יכולים להגדיר את יעד ניצול המעבד (CPU) לערך בטווח [0.1, 0.9].

  • אם רוצים להשיג זמני אחזור נמוכים יותר בשיא, צריך להגדיר ערך נמוך יותר לניצול המעבד. ערך נמוך יותר מאפשר ל-Dataflow להרחיב אופקית בהתאם לעומס (scale out) בצורה אגרסיבית יותר בתגובה לניצול גובר של משאבי ה-worker, ולצמצם את ההתאמה לעומס (downscale) בצורה שמרנית יותר כדי לשפר את היציבות. ערך נמוך יותר גם מספק יותר מרווח כשהצינור פועל במצב יציב, וכתוצאה מכך בדרך כלל זמן האחזור של הזנב נמוך יותר. (זמן האחזור של הזנב מודד את זמני ההמתנה הארוכים ביותר לפני עיבוד רשומה חדשה).

  • כדאי להגדיר ערך גבוה יותר אם רוצים לחסוך במשאבים ולשמור על עלויות נמוכות יותר כשיש עלייה חדה בתנועה. ערך גבוה יותר מונע הגדלת קנה מידה מוגזמת, על חשבון זמן אחזור גבוה יותר.

כדי להגדיר את רמז הניצול כשמריצים משימה שהיא לא תבנית, מגדירים את worker_utilization_hint service option. במשימה של תבנית, צריך לעדכן את רמז הניצול במקום זאת, כי אפשרויות השירות לא נתמכות.

בדוגמה הבאה אפשר לראות איך משתמשים ב-worker_utilization_hint:

Java

--dataflowServiceOptions=worker_utilization_hint=TARGET_UTILIZATION

מחליפים את TARGET_UTILIZATION בערך בטווח [0.1, 0.9].

Python

--dataflow_service_options=worker_utilization_hint=TARGET_UTILIZATION

מחליפים את TARGET_UTILIZATION בערך בטווח [0.1, 0.9].

המשך

--dataflow_service_options=worker_utilization_hint=TARGET_UTILIZATION

מחליפים את TARGET_UTILIZATION בערך בטווח [0.1, 0.9].

בצינורות עיבוד נתונים חדשים, מומלץ לבצע בדיקה בעומסים מציאותיים באמצעות הגדרת ברירת המחדל. לאחר מכן, בודקים את התנהגות ההתאמה האוטומטית לעומס כפי שהיא חלה על הצינור, ומבצעים התאמות לפי הצורך.

ההנחיה לניצול היא רק גורם אחד ש-Dataflow משתמש בו כשהוא מחליט אם לשנות את קנה המידה של ה-workers. גורמים אחרים, כמו צבר משימות ומפתחות זמינים, יכולים לשנות את ערך הרמז. בנוסף, ההצעה היא לא יעד קשיח. המידרוג האוטומטי מנסה לשמור על ניצול המעבד בטווח של ערך הרמז, אבל מדד הניצול המצטבר עשוי להיות גבוה או נמוך יותר. מידע נוסף מופיע במאמר היוריסטיקה של התאמה אוטומטית לעומס (scaling) בסטרימינג.

עדכון הטיפ לגבי ניצול התקציב

כדי לעדכן את ה-utilization hint בזמן שהמשימה פועלת, מבצעים עדכון תוך כדי ריצה באופן הבא:

gcloud

משתמשים בפקודה gcloud dataflow jobs update-options:

gcloud dataflow jobs update-options \
  --region=REGION \
  --worker-utilization-hint=TARGET_UTILIZATION \
  JOB_ID

מחליפים את מה שכתוב בשדות הבאים:

  • ‫REGION: מזהה האזור של נקודת הקצה האזורית של המשימה
  • ‫JOB_ID: מזהה המשימה שרוצים לעדכן
  • ‫TARGET_UTILIZATION: ערך בטווח [0.1, 0.9]

כדי לאפס את הטיפ לניצול לערך ברירת המחדל, משתמשים בפקודת gcloud הבאה:

gcloud dataflow jobs update-options \
  --unset-worker-utilization-hint \
  --region=REGION \
  --project=PROJECT_ID \
  JOB_ID

REST

משתמשים ב-method‏ projects.locations.jobs.update:

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID?updateMask=runtime_updatable_params.worker_utilization_hint
{
  "runtime_updatable_params": {
    "worker_utilization_hint": TARGET_UTILIZATION
  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud של משימת Dataflow.
  • ‫REGION: מזהה האזור של נקודת הקצה האזורית של המשימה.
  • ‫JOB_ID: המזהה של המשימה שרוצים לעדכן.
  • ‫TARGET_UTILIZATION: ערך בטווח [0.1, 0.9]

הגדרת רמז למקביליות של ה-worker

כדי לטפל בהתאמה אוטומטית לעומס (autoscaling) עם פעולות ארוכות שפחות מסתמכות על מעבדים (CPU), כמו עומסי עבודה שדורשים הרבה משאבי למידת מכונה (ML), אתם יכולים להגדיר את הרמז למקביליות של ה-worker באמצעות רמזים למשאבים של Apache Beam. הרמזים האלה מעבירים את ההתאמה האוטומטית לעומס למצב אחר, שמותאם לעומסי עבודה שדורשים שימוש אינטנסיבי ב-GPU או לטרנספורמציות עם זמן עיבוד ארוך.

בדוגמה הבאה מוסבר איך לצרף רמז למקביליות לטרנספורמציה:

Java

pcoll.apply(MyCompositeTransform.of(...)
  .setResourceHints(
      ResourceHints.create()
          .withMaxActiveBundlesPerWorker(TARGET_PARALLELISM_PER_WORKER)))

מחליפים את הערך TARGET_PARALLELISM_PER_WORKER בערך שמתאים לתרחיש לדוגמה. כאן מוסבר איך לבחור ערך התחלתי טוב.

Python

pcoll | MyPTransform().with_resource_hints(
  max_active_bundles_per_worker="TARGET_PARALLELISM_PER_WORKER")

מחליפים את הערך TARGET_PARALLELISM_PER_WORKER בערך שמתאים לתרחיש לדוגמה. כאן מוסבר איך לבחור ערך התחלתי טוב.

בחירת ערך הרמז להקבלה של ה-worker

בתרחישים לדוגמה של למידת מכונה, ערך התחלתי טוב שווה למספר המודלים שפועלים במקביל בכל worker. הערך הזה מוגבל על ידי הקיבולת של המאיצים ב-worker וגודל המודל.

בתרחישים אחרים, צינור עיבוד הנתונים מוגבל על ידי הזיכרון או המעבד (CPU). בצינורות עיבוד נתונים שמוגבלים על ידי הזיכרון, משתמשים במגבלת הזיכרון כדי לחשב את העיבוד המקביל המקסימלי. בפייפליינים שמוגבלים על ידי המעבד (CPU), מומלץ להשאיר את מדיניות ברירת המחדל של התאמה אוטומטית לעומס (autoscaling), במקום לספק רמז למקביליות.

אפשר לשנות את הערך כדי להתאים אותו לצורכי העיבוד של שלבים אחרים, כמו כתיבה ל-sink. אם מגדילים את הערך ב-1 או ב-2 כשהמקביליות של המודל היא 2, זה עוזר לזהות את זמן העיבוד המהיר יותר של הכתיבה לכיור, כי זה נותן לו יותר מרווח כדי להביא בחשבון את העיבוד שנעשה בשלבים אחרים. אם הצינור לא כולל ערבוב והטרנספורמציות מוזגו לשלב אחד, אין צורך לשנות את הערך של טרנספורמציות אחרות.

אפשר גם לשנות את הערך הזה כדי לדמות את ההשפעות של עיכובים מקובלים בצבר המשימות. לדוגמה, אם אתם מוכנים לעיכוב של עד 10 דקות וזמן העיבוד הממוצע של המודל הוא דקה אחת, אתם יכולים להגדיל את הערך ב-1, בהנחה שמספר ה-workers המקסימלי מוגדר ל-10.

היוריסטיקות של התאמה אוטומטית לעומס (autoscaling) שדורשות שימוש אינטנסיבי ב-GPU

בהגדרה שדורשת שימוש אינטנסיבי ב-GPU, שמצוינת באמצעות הגדרת רמז למקביליות, המערכת של Dataflow מביאה בחשבון כמה גורמים במהלך ההתאמה האוטומטית לעומס. הגורמים האלה כוללים:

  • המקשים הזמינים. מפתחות הם היחידה הבסיסית של מקביליות ב-Dataflow.
  • מספר החבילות הפעילות המקסימלי לכל עובד. הערך הזה מציין את המספר האידיאלי המקסימלי של עיבודים מקבילים ב-worker.

הרעיון הכללי מאחורי החלטות לגבי התאמה לעומס הוא לחשב את מספר ה-workers שנדרשים כדי לטפל בעומס הנוכחי, כפי שמצוין על ידי המפתחות הזמינים. לדוגמה, אם יש 100 מפתחות זמינים לעיבוד והמקביליות המקסימלית לכל worker היא 10, כדאי שיהיו 10 workers בסך הכול.

אם הצינור מורכב וכולל גם עומס עבודה כבד שדורש GPU וגם טרנספורמציות רבות שדורשות CPU, מומלץ להפעיל התאמה נכונה. כך השירות יכול להבחין היטב בין עבודה שדורשת הרבה משאבי מעבד (CPU) לבין עבודה שדורשת הרבה משאבי GPU, ואז לשנות את הגודל של כל מאגר עובדים בהתאם.

הגדרת רמת זמן האחזור

ב-Dataflow Horizontal Autoscaling, משך הזמן של ה-backlog משמש כדי לקבוע מתי לשנות את מספר ה-workers. כברירת מחדל, משך הזמן של צבר המשימות ב-Dataflow הוא פחות מ-15 שניות, וזה מתאים לעומסי עבודה בזמן אמת אבל יכול להוביל לעלויות גבוהות יותר של משאבים.

במשימות סטרימינג שמשתמשות ב-Streaming Engine, אפשר להגדיר את סף הצבר על ידי בחירה ברמת זמן אחזור. רמת זמן אחזור ממפה את משך הזמן של יעד הצבר, ומאפשרת להגדיר את הרגישות של ההתאמה האוטומטית לעומס למשך הזמן של הצבר. החלטה על התאמה אוטומטית לעומס מתקבלת רק כשמשך הזמן של ה-backlog חורג מהרמה שבחרתם למשך כמה דקות.

בטבלה הבאה מתוארות רמות זמן האחזור הזמינות:

רמת זמן האחזור זמן צבר ההזמנות המשוער המותר תרחיש השימוש המיועד
low_latency פחות מ-15 שניות העדיפות היא להרחבה מהירה כדי לצמצם את צבר המשימות. ערך ברירת המחדל שנבחר אם לא צוינה רמה
medium_latency פחות מ-2 דקות איזון בין זמן אחזור לבין עלויות המשאבים.
high_latency פחות מ-10 דקות העדיפות היא לחסוך בעלויות, ולכן המערכת מאפשרת הצטברות של בקשות ממתינות. מתאים לעומסי עבודה שלא מושפעים מעיכובים.

כדי להגדיר את רמת זמן האחזור כשיוצרים משימה, מגדירים את enable_latency_tier_lightweight_update pipeline option:

--experiments=enable_latency_tier_lightweight_update=TIER

מחליפים את TIER באחת מרמות זמן האחזור הזמינות (לדוגמה, medium_latency).

עדכון רמת זמן האחזור

כדי לעדכן את רמת זמן האחזור בזמן שהמשימה פועלת, מבצעים עדכון תוך כדי ריצה באמצעות הפקודה gcloud dataflow jobs update-options:

gcloud dataflow jobs update-options \
  --region=REGION \
  --latency-tier=TIER \
  JOB_ID

מחליפים את מה שכתוב בשדות הבאים:

  • ‫REGION: מזהה האזור של נקודת הקצה האזורית של המשימה
  • ‫JOB_ID: מזהה המשימה שרוצים לעדכן
  • ‫TIER: רמת זמן האחזור הרצויה. אחד מהערכים הבאים: low_latency,‏ medium_latency או high_latency

כדי לאפס את רמת זמן האחזור ולחזור להתנהגות ברירת המחדל של זמן אחזור נמוך, משתמשים בפקודה הבאה:

gcloud dataflow jobs update-options \
  --unset-latency-tier \
  --region=REGION \
  JOB_ID

תזמון שינויים בהתאמה לעומס (autoscaling)

במשימות סטרימינג שמשתמשות ב-Streaming Engine, אתם יכולים להגדיר לוחות זמנים להתאמה אוטומטית לעומס כדי להחיל באופן אוטומטי שינויים בפרמטרים במהלך חלונות זמן חוזרים. התכונה הזו שימושית כדי לצפות שינויים צפויים בעומס העבודה – כמו הגדלת קנה המידה בשעות השיא של הפעילות העסקית או הקטנת קנה המידה בתקופות שבהן הפעילות העסקית לא בשיא – בלי לעדכן את המשימה באופן ידני בכל פעם. לכל משימה אפשר לציין עד 10 לוחות זמנים.

בלוח הזמנים להתאמה אוטומטית לעומס מציינים:

  • Schedule start: ביטוי crontab שקובע מתי לוח הזמנים מופעל.
  • משך זמן: משך הזמן בשניות שבו ההגדרות המותאמות אישית נשארות פעילות. הערך חייב להיות לפחות 5 דקות.
  • אזור זמן: אזור זמן אופציונלי ממסד הנתונים של אזורי הזמן (לדוגמה, America/New_York). ברירת המחדל היא UTC.
  • ‫Priority: עדיפות אופציונלית לתזמון, כאשר ערכים גדולים יותר מציינים עדיפות גבוהה יותר. לוחות זמנים עם עדיפות גבוהה יותר מופעלים קודם. אם לוח זמנים כבר פעיל כשמחילים לוח זמנים בעדיפות גבוהה יותר, לוח הזמנים בעדיפות הגבוהה יותר מבטל את לוח הזמנים הקיים. אם לשני לוחות זמנים יש אותה עדיפות, המערכת תחיל את לוח הזמנים ששונה לאחרונה.
  • שינוי פרמטרים: הגדרות ההתאמה האוטומטית לעומס שבהן צריך להשתמש במהלך חלון הזמן הפעיל, כולל מספר מינימלי של workers, מספר מקסימלי של workers ורמז לניצול workers.

כשהחלון המתוזמן מסתיים, Dataflow מחזיר באופן אוטומטי את התנהגות ההתאמה האוטומטית לעומס להגדרות ברירת המחדל של המשימה. אפשר להגדיר כמה לוחות זמנים למשימה אחת.

הגדרת לוח זמנים להתאמה אוטומטית לעומס בתחילת המשימה

כדי להגדיר לוח זמנים ראשוני להתאמה אוטומטית לעומס (automatic scaling) כשמפעילים משימת סטרימינג חדשה, מציינים את אפשרות הניסוי autoscaling_schedule בפייפליין, או כוללים את השדה runtimeUpdatableParams.schedules כשיוצרים משימה באמצעות ה-API בארכיטקטורת REST.

מציינים את הניסוי של autoscaling_schedule כמחרוזת מופרדת בנקודה-פסיק של צמדי key:value עם המאפיינים הבאים:

חובה:

  • ‫name: מזהה ייחודי של לוח הזמנים
  • ‫crontab: ביטוי crontab שמציין מתי התזמון מופעל
  • duration: משך הזמן בשניות שבו לוח הזמנים נשאר פעיל

אם רוצים:

  • ‫timezone: אזור הזמן ממסד הנתונים של אזורי הזמן (לדוגמה, America/New_York). ברירת המחדל היא UTC
  • ‫min_workers: המספר המינימלי של עובדים שצריך להקצות במהלך לוח הזמנים
  • ‫max_workers: המספר המקסימלי של ה-workers שיוקצו במהלך התזמון
  • ‫cpu_utilization_target: ניצול היעד של המעבד (CPU) של ה-worker במהלך התזמון, בטווח [0.1, 0.9]
  • ‫latency_tier: רמת זמן האחזור הרצויה (low_latency,‏ medium_latency או high_latency)
  • ‫priority: העדיפות של לוח הזמנים, כאשר ערכים גדולים יותר מציינים עדיפות גבוהה יותר

Java

--experiments=autoscaling_schedule="name=SCHEDULE_NAME;crontab=CRONTAB_EXPRESSION;duration=DURATION_SECONDS;timezone=TIMEZONE;min_workers=MINIMUM_WORKERS;max_workers=MAXIMUM_WORKERS;cpu_utilization_target=TARGET_UTILIZATION;latency_tier=LATENCY_TIER;priority=PRIORITY"

Python

--experiments=autoscaling_schedule="name=SCHEDULE_NAME;crontab=CRONTAB_EXPRESSION;duration=DURATION_SECONDS;timezone=TIMEZONE;min_workers=MINIMUM_WORKERS;max_workers=MAXIMUM_WORKERS;cpu_utilization_target=TARGET_UTILIZATION;latency_tier=LATENCY_TIER;priority=PRIORITY"

המשך

--experiments=autoscaling_schedule="name=SCHEDULE_NAME;crontab=CRONTAB_EXPRESSION;duration=DURATION_SECONDS;timezone=TIMEZONE;min_workers=MINIMUM_WORKERS;max_workers=MAXIMUM_WORKERS;cpu_utilization_target=TARGET_UTILIZATION;latency_tier=LATENCY_TIER;priority=PRIORITY"

REST

משתמשים ב-method‏ projects.locations.jobs.create וכוללים את האובייקט runtimeUpdatableParams.schedules בגוף הבקשה:

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs
{
"name": "JOB_NAME",
"environment": { ... },
"runtimeUpdatableParams": {
  "schedules": [
    {
      "name": "SCHEDULE_NAME",
      "crontab": "CRONTAB_EXPRESSION",
      "duration": "DURATION_SECONDSs",
      "timeZone": "TIMEZONE",
      "priority": PRIORITY,
      "parameters": {
        "minWorkerCount": MINIMUM_WORKERS,
        "maxWorkerCount": MAXIMUM_WORKERS,
        "cpuUtilizationTarget": TARGET_UTILIZATION,
        "latencyTarget": LATENCY_TIER
      }
    }
  ]
}
}

יצירה או עדכון של לוח זמנים להתאמה אוטומטית לעומס של משימה שפועלת

כדי ליצור או לעדכן לוח זמנים להתאמה אוטומטית לעומס של משימה שפועלת, מבצעים עדכון תוך כדי ריצה:

gcloud

משתמשים בפקודה gcloud dataflow jobs update-options עם הדגל --set-schedule:

gcloud dataflow jobs update-options \
  --region=REGION \
  --set-schedule=SCHEDULE_NAME \
  --autoscaling-schedule="CRONTAB_EXPRESSION" \
  --autoscaling-schedule-duration-seconds=DURATION_SECONDS \
  --autoscaling-schedule-timezone=TIMEZONE \
  --autoscaling-min-workers=MINIMUM_WORKERS \
  --autoscaling-max-workers=MAXIMUM_WORKERS \
  --autoscaling-worker-utilization-hint=TARGET_UTILIZATION \
  --autoscaling-latency-tier=LATENCY_TIER \
  --autoscaling-schedule-priority=PRIORITY \
  JOB_ID

מחליפים את מה שכתוב בשדות הבאים:

  • ‫REGION: מזהה האזור של נקודת הקצה האזורית של המשימה
  • ‫SCHEDULE_NAME: מזהה ייחודי של לוח הזמנים
  • ‫CRONTAB_EXPRESSION: ביטוי crontab שמציין מתי התזמון מופעל (לדוגמה, "0 0 * * FRI")
  • ‫DURATION_SECONDS: משך הזמן בשניות שבו לוח הזמנים פעיל (לדוגמה, 3600)
  • ‫TIMEZONE: אזור הזמן של לוח הזמנים ממסד הנתונים של אזורי הזמן (לדוגמה, America/New_York). אם לא מציינים אזור זמן, ברירת המחדל היא UTC.
  • ‫MINIMUM_WORKERS: המספר המינימלי של ה-workers שצריך להקצות במהלך לוח הזמנים
  • ‫MAXIMUM_WORKERS: המספר המקסימלי של ה-workers שיוקצו במהלך התזמון
  • ‫LATENCY_TIER: רמת זמן האחזור הרצויה (low_latency, medium_latency או high_latency)
  • ‫JOB_ID: מזהה המשימה שרוצים לעדכן

כשיוצרים לוח זמנים חדש, צריך לציין גם את --autoscaling-schedule וגם את --autoscaling-schedule-duration-seconds. כדי לשנות לוח זמנים קיים, מציינים את --set-schedule ורק את הפרמטרים שרוצים לעדכן.

REST

משתמשים ב-method‏ projects.locations.jobs.update:

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID?updateMask=runtimeUpdatableParams.schedules
{
  "runtimeUpdatableParams": {
    "schedules": [
      {
        "name": "SCHEDULE_NAME",
        "crontab": "CRONTAB_EXPRESSION",
        "duration": "DURATION_SECONDSs",
        "timeZone": "TIMEZONE",
        "priority": PRIORITY,
        "parameters": {
          "minWorkerCount": MINIMUM_WORKERS,
          "maxWorkerCount": MAXIMUM_WORKERS,
          "cpuUtilizationTarget": TARGET_UTILIZATION,
          "latencyTarget": LATENCY_TIER
        }
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud של משימת Dataflow
  • ‫REGION: מזהה האזור של נקודת הקצה האזורית של המשימה
  • ‫JOB_ID: מזהה המשימה שרוצים לעדכן
  • ‫SCHEDULE_NAME: מזהה ייחודי של לוח הזמנים
  • ‫CRONTAB_EXPRESSION: ביטוי crontab שמציין מתי התזמון מופעל
  • ‫DURATION_SECONDS: משך הזמן בשניות שבו לוח הזמנים פעיל (לדוגמה, 3600)
  • ‫TIMEZONE: אזור הזמן של התזמון ממסד הנתונים של אזורי הזמן (לדוגמה, America/New_York)
  • ‫MINIMUM_WORKERS: המספר המינימלי של ה-workers שצריך להקצות במהלך לוח הזמנים
  • ‫MAXIMUM_WORKERS: המספר המקסימלי של ה-workers שיוקצו במהלך התזמון
  • ‫TARGET_UTILIZATION: ערך בטווח [0.1, 0.9]

הסרה של לוח זמנים להתאמה אוטומטית לעומס

כדי להסיר לוח זמנים ספציפי להתאמה אוטומטית לעומס או להסיר את כל לוחות הזמנים ממשימה, מבצעים עדכון תוך כדי הפעלה:

gcloud

כדי להסיר לוח זמנים אחד, מציינים את הדגל --unset-schedule:

gcloud dataflow jobs update-options \
  --region=REGION \
  --unset-schedule=SCHEDULE_NAME \
  JOB_ID

כדי להסיר את כל התזמונים ממשימה, מציינים את הדגל --unset-schedules:

gcloud dataflow jobs update-options \
  --region=REGION \
  --unset-schedules \
  JOB_ID

REST

כדי להסיר את כל לוחות הזמנים, משתמשים ב-updateMask=runtimeUpdatableParams.schedules בשיטה projects.locations.jobs.update, ומשמיטים את לוח הזמנים מהמערך schedules או מספקים רשימה ריקה של schedules:

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID?updateMask=runtimeUpdatableParams.schedules
{
  "runtimeUpdatableParams": {
    "schedules": []
  }
}

לפתרון בעיות שקשורות ללוחות זמנים של התאמה אוטומטית לעומס, ראו פתרון בעיות בלוחות זמנים של התאמה אוטומטית לעומס.

היוריסטיקה של התאמה לעומס (autoscaling) בסטרימינג

בפייפליינים זורמים, המטרה של התאמה אוטומטית לעומס אופקית היא לצמצם את צבר המשימות תוך מקסום השימוש ב-worker והתפוקה, ולהגיב במהירות לעליות חדות בעומס.

במהלך ההתאמה האוטומטית לעומס (automatic scaling) של קנה המידה, Dataflow מביא בחשבון כמה גורמים, כולל:

  • Backlog. הזמן המשוער של צבר המשימות מחושב לפי התפוקה והבייטים של צבר המשימות שעדיין צריך לעבד ממקור הקלט. צינור עיבוד נתונים נחשב כבעל צבר משימות כשהזמן המשוער של צבר המשימות נשאר מעל לסף שהוגדר. כברירת מחדל, הסף הזה הוא 15 שניות. מידע נוסף זמין במאמר הגדרת רמת זמן האחזור.

  • ניצול יעד של המעבד (CPU). יעד ברירת המחדל לניצול ממוצע של המעבד (CPU) הוא 0.8. אפשר לשנות את הערך הזה.

  • המקשים הזמינים. מפתחות הם היחידה הבסיסית של מקביליות ב-Dataflow.

במקרים מסוימים, Dataflow משתמש בגורמים הבאים כדי לקבל החלטות לגבי התאמה אוטומטית לעומס. אם הגורמים האלה משמשים למשימה שלכם, תוכלו לראות את המידע הזה בכרטיסייה של מדדי ההתאמה האוטומטית לעומס.

  • בויסות מבוסס-מפתח, המערכת משתמשת במספר מפתחות העיבוד שהתקבלו במשימה כדי לחשב את המגבלה של ה-worker של המשתמש, כי כל מפתח יכול להיות מעובד רק על ידי worker אחד בכל פעם.

  • הפחתת קצב ההקטנה. אם Dataflow מזהה שהתקבלו החלטות לא יציבות לגבי התאמה אוטומטית לעומס, הוא מאט את קצב ההתאמה לעומס כדי לשפר את היציבות.

  • הגדלה מבוססת-מעבד (CPU) משתמשת בניצול גבוה של המעבד כקריטריון להגדלה.

  • במשימות סטרימינג שלא משתמשות ב-Streaming Engine, יכול להיות שמספר הדיסקים לאחסון מתמיד יגביל את ההתאמה לעומס. מידע נוסף זמין במאמר הגדרת טווח ההתאמה האוטומטית לעומס.

  • התאמה אוטומטית לעומס (automatic scaling) שדורשת הרבה משאבים של GPU, אם מפעילים אותה באמצעות הגדרת רמז למקביליות של ה-worker. מידע נוסף זמין במאמר היוריסטיקה של התאמה אוטומטית לעומס (autoscaling) של GPU.

הגדלת הרזולוציה. אם פייפליין זורם נשאר בצבר משימות עם מספיק מקביליות ב-workers למשך כמה דקות, Dataflow מגדיל את קנה המידה. ‫Dataflow מנסה לנקות את הצבר תוך כ-150 שניות מהרחבת ההתאמה לעומס, בהתאם לקצב העיבוד הנוכחי לכל worker. אם יש צבר משימות אבל ל-worker אין מספיק מקביליות ל-workers נוספים, הצינור לא יוגדל. (הגדלת מספר ה-workers מעבר למספר המפתחות שזמינים לעיבוד מקביל לא תעזור לעבד את הצבר מהר יותר).

הקטנת קנה מידה: כשהמידרוג האוטומטי מקבל החלטה להקטין את קנה המידה, צבר המשימות הוא הגורם בעל העדיפות הגבוהה ביותר. המידרוג האוטומטי שואף לצמצם את צבר המשימות בהתאם לרמת זמן האחזור. אם צבר המשימות יורד מספיק מתחת ליעד למשך כמה דקות, וניצול ה-worker הממוצע נמוך מיעד ניצול ה-CPU, ‏ Dataflow מצמצם את המשאבים. כל עוד צבר המשימות קביל, המידרוג האוטומטי מנסה לשמור על ניצול מעבד (CPU) קרוב ליעד ניצול המעבד (CPU). עם זאת, אם הניצול כבר קרוב מספיק ליעד, יכול להיות שהמידרוג האוטומטי ישאיר את מספר ה-workers ללא שינוי, כי לכל שלב של הקטנת קנה המידה יש עלות.

ב-Streaming Engine נעשה גם שימוש בטכניקה של התאמה אוטומטית לעומס לחיזוי, שמבוססת על צבר טיימרים. נתונים לא מוגבלים בפייפליין זורם מחולקים לחלונות שמקובצים לפי חותמות זמן. בסוף חלון, הטיימרים מופעלים לכל מפתח שעובר עיבוד באותו חלון. הפעלת הטיימר מציינת שתוקף החלון פג עבור מפתח נתון. מנוע הסטרימינג יכול למדוד את צבר הטיימרים ולחזות כמה טיימרים יופעלו בסוף החלון. באמצעות שימוש בצבר הטיימרים כאות, Dataflow יכול להעריך את כמות העיבוד שצריך להתרחש כשטיימרים עתידיים יופעלו. בהתאם לעומס העתידי המשוער, Dataflow מבצע התאמה אוטומטית מראש כדי לעמוד בביקוש הצפוי.

מדדים

כדי למצוא את מגבלות ההתאמה האוטומטית לעומס הנוכחיות של משימה, שולחים שאילתה למדדים הבאים:

  • ‫job/max_worker_instances_limit: המספר המקסימלי של ה-workers.
  • ‫job/min_worker_instances_limit: המספר המינימלי של ה-workers.

כדי לקבל מידע על ניצול ה-Worker, צריך לשלוח שאילתה על המדדים הבאים:

  • ‫job/aggregated_worker_utilization: ניצול העובדים המצטבר.
  • ‫job/worker_utilization_hint: הרמז הנוכחי לניצול ה-worker.

כדי לקבל תובנות לגבי ההתנהגות של המידרוג האוטומטי, שולחים שאילתה לגבי המדד הבא:

  • ‫job.worker_utilization_hint_is_actively_used: מציין אם המידרוג האוטומטי משתמש באופן פעיל בהנחיה לניצול משאבי ה-Worker. אם גורמים אחרים מבטלים את ההצעה כשהמדד הזה נדגם, הערך הוא false.
  • ‫job/horizontal_worker_scaling: מתאר את ההחלטות שהתקבלו על ידי מידרוג אוטומטי. המדד הזה מכיל את התוויות הבאות:
    • ‫direction: מציין אם המידרוג האוטומטי הגדיל או הקטין את קנה המידה, או לא ביצע שום פעולה.
    • ‫rationale: מציין את הנימוק להחלטה של ההתאמה האוטומטית של קנה המידה.

מידע נוסף זמין במאמר מדדי Cloud Monitoring. המדדים האלה מוצגים גם בתרשימי המעקב אחרי התאמה אוטומטית לעומס.

המאמרים הבאים