מכסות של אשכולות Managed Service for Apache Spark

בדף הזה מפורטות מגבלות המכסות של Managed Service for Apache Spark API, שנאכפות ברמת הפרויקט והאזור. המכסות מתאפסות כל 60 שניות (דקה אחת).

במאמר אסטרטגיות לזמינות משאבים ולאזורים מפורטות אסטרטגיות לאופטימיזציה של אשכולות, שיעזרו לכם להימנע מבעיות שקשורות למכסות ולזמינות של משאבים.

אם אתם מריצים עומסי עבודה של Managed Service for Apache Spark, קראו את המאמר מכסות של Managed Service for Apache Spark. חשוב: אם תנצלו את כל המכסות של Managed Service for Apache Spark, יכול להיות שלא תצליחו ליצור אצוות וסשנים. מידע נוסף זמין במאמר פתרון בעיות שקשורות לכשלים ביצירת סשנים ואצווה ב-Managed Service for Apache Spark.

טיפול בשגיאות שקשורות למכסות של Managed Service for Apache Spark: אם חורגים ממגבלת המכסה של Managed Service for Apache Spark, נוצרת השגיאה RESOURCE_EXHAUSTED (קוד HTTP‏ 429) ובקשת ה-API התואמת של Managed Service for Apache Spark נכשלת. עם זאת, מכיוון שהמכסה של Managed Service for Apache Spark בפרויקט מתרעננת כל 60 שניות, אתם יכולים לנסות שוב את הבקשה אחרי דקה אחת מהכישלון.

בטבלה הבאה מפורטים סוגי המכסות, מגבלות המכסות והשיטות שבהן הן חלות על Managed Service for Apache Spark API, באופן ספציפי וכברירת מחדל לכל פרויקט.

סוג המכסה	הגבלה	שיטות ה-API הרלוונטיות
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	‫CreateNodeGroup, ‏ DeleteNodeGroup, ‏ ResizeNodeGroup, ‏ RepairNodeGroup, ‏ UpdateLabelsNodeGroup, ‏ StartNodeGroup, ‏ StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	‫SubmitJob, ‏ UpdateJob, ‏ CancelJob, ‏ DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	‫CreateWorkflowTemplate, ‏ InstantiateWorkflowTemplate, ‏ InstantiateInlineWorkflowTemplate, ‏ UpdateWorkflowTemplate, ‏ DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7500	כל שאר הפעולות (בעיקר פעולות Get)

הגדלת מגבלות מכסת המשאבים: פותחים את הדףGoogle Cloud IAM & admin→Quotas ובוחרים את המשאבים שרוצים לשנות. כדי להתחיל את תהליך הגדלת המכסה, לוחצים על Edit Quotas בחלק העליון של הדף. אם המשאבים שאתם מנסים להגדיל לא מוצגים בדף והסינון הנוכחי הוא Quotas with usage, שנו את הסינון ל-All quotas באמצעות החלפת המצב בתפריט הנפתח Quota type.

בטבלה הבאה מפורטות מגבלות נוספות על המספר הכולל של פעולות ומשימות פעילות ברמת הפרויקט והאזור.

סוג המכסה	הגבלה	תיאור
ActiveOperationsPerProjectPerRegion	5,000	מגבלה על המספר הכולל של פעולות פעילות בו-זמנית מכל הסוגים בפרויקט אחד במסד נתונים אזורי אחד
ActiveJobsPerProjectPerRegion	5,000	מגבלה על המספר הכולל של משימות פעילות במצב NON_TERMINAL בפרויקט אחד במסד נתונים אזורי אחד

הגדלת המגבלות על המספר הכולל של פעולות ומשימות פעילות: פותחים כרטיס תמיכה של Google.

מכסות Google Cloud אחרות

אשכולות של Managed Service for Apache Spark משתמשים במוצרים אחרים של Google Cloud . למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Managed Service for Apache Spark. כדי להשתמש ב-Managed Service for Apache Spark, צריך להשתמש בשירותים מסוימים, כמו Compute Engine ו-Cloud Storage. שירותים אחרים, כמו BigQuery ו-Bigtable, יכולים להשתמש ב-Managed Service for Apache Spark באופן אופציונלי.

שירותי האשכול הנדרשים

כדי ליצור אשכולות של Managed Service for Apache Spark, צריך להשתמש בשירותים הבאים, שאוכפים את מגבלות המכסות.

Compute Engine

אשכולות של Managed Service for Apache Spark משתמשים במכונות וירטואליות של Compute Engine. המכסות של Compute Engine מחולקות למגבלות אזוריות וגלובליות. המגבלות האלה חלות על אשכולות שאתם יוצרים. לדוגמה, ביצירת אשכול עם צומת n1-standard-4 אחד (‎-m) ושני צומתי n1-standard-4 (‎-w) נעשה שימוש ב-12 מעבדי CPU וירטואליים (4 * 3). השימוש באשכול הזה נספר במסגרת מגבלת המכסה האזורית של 24 מעבדי CPU וירטואליים.

מכסות לתקופת ניסיון בחינם: אם אתם משתמשים בתקופת הניסיון בחינם של Compute Engine, לפרויקט שלכם תהיה מגבלה של 8 מעבדים (CPU). כדי להגדיל את המגבלה הזו, צריך להפעיל את החיוב בפרויקט.

משאבי ברירת המחדל של האשכולות

כשיוצרים אשכול Managed Service for Apache Spark עם הגדרות ברירת המחדל, נעשה שימוש במשאבים הבאים של Compute Engine.

משאב	שימוש
מעבדים וירטואליים (vCPU)	12
מכונות וירטואליות (VM)	3
דיסק אחסון מתמיד (persistent disk)	1,500GB

Cloud Logging

ב-Managed Service for Apache Spark, פלט הדרייבר ויומני האשכולות נשמרים ב-Cloud Logging. מכסת הרישום ביומן חלה על אשכולות של Managed Service for Apache Spark.

שירותי אשכול אופציונליים

אתם יכולים להשתמש בשירותים הבאים, שיש להם מגבלות מכסה, עם אשכולות של Managed Service for Apache Spark.

BigQuery

כשקוראים נתונים או כותבים נתונים ב-BigQuery, חלה המכסה של BigQuery.

Bigtable

כשקוראים נתונים מ-Bigtable או כותבים נתונים ל-Bigtable, חלה המכסה של Bigtable.

זמינות המשאבים ואסטרטגיות לאזורים

כדי לבצע אופטימיזציה של אשכולות לזמינות של משאבים ולצמצם שגיאות פוטנציאליות של חוסר זמינות, כדאי להשתמש באסטרטגיות הבאות:

• בחירת תחום אוטומטית (Auto Zone): כשיוצרים אשכולות, כדאי להשתמש בבחירת תחום אוטומטית (Auto Zone). כך Managed Service for Apache Spark יכול לבחור את האזור האופטימלי בתוך המיקום שציינתם, ולהגדיל את הסיכויים ליצירת אשכול מוצלחת.

• מכסות אזוריות: ודאו שהמכסות האזוריות שלכם ב-Compute Engine מספיקות, כי המכסות יכולות להיגמר גם עם מיקום אוטומטי של אזורים אם הקיבולת האזורית הכוללת לא מספיקה לבקשות שלכם.

• גמישות בסוגי המכונות: אם אתם נתקלים במחסור מתמשך במלאי של סוג מכונה מסוים, השתמשו בסוג מכונה אחר שזמין יותר לאשכול שלכם.