הפסקה והפעלה של אשכולות

אחרי שיוצרים אשכול, אפשר לעצור אותו ולהפעיל אותו מחדש כשצריך. עצירת אשכול לא פעיל מונעת חיובים, ומונעת את הצורך למחוק אשכול לא פעיל ואז ליצור אשכול עם אותה הגדרה מאוחר יותר.

הערות:

• התכונה של הפעלה ועצירה של אשכולות זמינה באשכולות שנוצרו עם קובצי אימג' שפורסמו בגרסאות הבאות או בגרסאות מאוחרות יותר:
  • 1.4.35-debian10/ubuntu18
  • 1.5.10-debian10/ubuntu18
  • 2.0.0-RC6-debian10/ubuntu18
• לא מומלץ לעצור צומתי אשכולות ספציפיים, כי יכול להיות שהסטטוס של מכונה וירטואלית שנעצרה לא יהיה מסונכרן עם הסטטוס של האשכול, מה שעלול לגרום לשגיאות.
• באשכולות שמשתמשים במכונות וירטואליות גמישות אי אפשר להשתמש בתכונה של הפעלה ועצירה.

הערה: כדי לתזמן עצירה של אשכול, ראו עצירה מתוזמנת של אשכול.

עצירת אשכול

כשעוצרים אשכול, כל המכונות הווירטואליות של Compute Engine באשכול נעצרות. לא משלמים על מכונות וירטואליות כשהן במצב עצירה. עם זאת, אתם ממשיכים לשלם על כל משאבי האשכול המשויכים, כמו דיסקים לאחסון מתמיד (persistent disk).

הערות:

• פעולות שפועלות: אם באשכול פועלות פעולות כמו עדכון או אבחון, בקשת העצירה תיכשל.
• משימות פעילות: אם באשכול יש משימות פעילות, בקשת העצירה תצליח: המכונות הווירטואליות ייעצרו והמשימות הפעילות ייכשלו.
• תגובת עצירה: כשבקשת העצירה מחזירה פעולת עצירה, האשכול יהיה במצב STOPPING, ולא תהיה אפשרות לשלוח משימות נוספות (בקשות SubmitJob ייכשלו).
• התאמה אוטומטית לעומס (scaling): אם עוצרים אשכול שמופעלת בו התאמה אוטומטית לעומס, המערכת של Managed Service for Apache Spark תפסיק את ההתאמה לעומס של האשכול. ההתאמה של גודל האשכול תתחדש אחרי שהאשכול יופעל מחדש. אם מפעילים התאמה אוטומטית לעומס באשכול שהופסק, מדיניות ההתאמה האוטומטית לעומס תיכנס לתוקף אחרי שהאשכול יופעל מחדש.

מעקב אחרי פעולת העצירה

אפשר להריץ את הפקודה gcloud dataproc operations describe operation-id כדי לעקוב אחרי פעולת העצירה הממושכת של האשכול. אפשר להשתמש בפקודה gcloud dataproc clusters describe cluster-name כדי לעקוב אחרי המעבר של סטטוס האשכול מ-RUNNING ל-STOPPING ואז ל-STOPPED.

מגבלות

• אי אפשר להפסיק:

  • אשכולות עם עובדים משניים
  • אשכולות עם כונני SSD מקומיים

• כשאשכול נעצר, אי אפשר:

  • עדכון האשכול
  • לשלוח משימות לאשכול
  • לגשת ל-notebooks שפועלים באשכול באמצעות שער הרכיבים של Managed Service for Apache Spark

הפעלת אשכול

• כשמפעילים מחדש אשכול שהופסק, פעולות האתחול לא מופעלות מחדש. פעולות אתחול פועלות רק בצמתים של אשכולות כשהאשכול נוצר, או כשמוסיפים צמתים כשהאשכול מוגדל.

• אחרי שפעולת ההפעלה מסתיימת, אפשר לשלוח מיד משימות לאשכול. עם זאת, יכול להיות עיכוב של כ-30 שניות בהפעלת המשימות, כדי לאפשר ל-HDFS ול-YARN להתחיל לפעול.

חשוב: כשמפעילים מחדש אשכול, המכונות הווירטואליות ומשאבים אחרים שלו מוקצים מחדש. הקצאת המשאבים תלויה בזמינות, ומחסור במלאי באזור מסוים עלול לגרום לכך שההפעלה מחדש של האשכול תיכשל. כדי לעזור בהקצאה מחדש, אפשר לשמור משאבים באשכול.

איך עוצרים ומפעילים אשכול

אפשר לעצור ולהפעיל אשכול באמצעות מסוף Google Cloud , ה-CLI של gcloud או Managed Service for Apache Spark API.

מסוףGoogle Cloud

1. לוחצים על שם האשכול בדף Clusters ב Google Cloud מסוף.
2. בדף הפרטים של האשכול שנפתח, לוחצים על STOP כדי לעצור את האשכול. כשתהיו מוכנים להמשיך את הפעולות באשכול, לחצו על START כדי להפעיל מחדש את האשכול.

‫CLI של gcloud

עצירת אשכול

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

הפעלת אשכול

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

‫API בארכיטקטורת REST

עצירת אשכול

שולחים בקשת clusters.stop.

הפעלת אשכול

שולחים בקשת clusters.start.