ל-Managed Service for Apache Spark יש מכסות API שנאכפות ברמת הפרויקט והאזור. המכסות מתאפסות כל 60 שניות (דקה אחת).

בטבלה הבאה מפורטים סוגי המכסות, מגבלות המכסות והשיטות שבהן הן חלות על Managed Service for Apache Spark API, באופן ספציפי וכברירת מחדל לכל פרויקט.

סוג המכסה הגבלה תיאור או שיטות API
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 ‫CancelOperation (המכסה של ביטול פעולות באצווה משותפת עם המכסה של ביטול פעולות באשכול).
BatchOperationRequestsPerMinutePerProjectPerRegion 200 ‫CreateBatch, ‏ DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion 200 ‫CreateSession, ‏ DeleteSession, ‏ TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion 7,500 GetBatch, ‏ ListBatches, ‏ GetSession, ‏ ListSessions
ActiveOperationsPerProjectPerRegion 5,000 מגבלה על המספר הכולל של פעולות פעילות בו-זמנית מכל הסוגים בפרויקט באזור מסוים.

מכסת ה-DCU של Managed Service for Apache Spark ללא שרת (serverless)

החל מגרסה 4.0 של סביבת זמן הריצה ללא שרת (serverless) של Managed Service for Apache Spark, מכסת יחידות המחשוב של הנתונים (DCU) בפרויקט (dataproc.googleapis.com/data_compute_units) מנהלת ומגבילה את השימוש במשאבי המחשוב של עומסי העבודה באצווה ושל הסשנים האינטראקטיביים ללא שרת (serverless) של Managed Service for Apache Spark, במקום מכסת Compute Engine (השימוש במכסת Compute Engine הבסיסית מופנה לפרויקט ייעודי של יצרן Managed Service for Apache Spark).

אפשר לראות ולשנות את מכסת ה-DCU בדף Google Cloud Quotas במסוף Dataproc API. אתם יכולים להפעיל את הכלי לשינוי המכסות כדי להגדיל את מכסת ה-DCU כשהשימוש שלכם מתקרב למגבלה.

חישוב צריכת ה-DCU

השימוש ב-DCU מחושב לכל צומת לפי צורת ה-VM, באמצעות אותה נוסחה כמו התמחור של DCU ב-Managed Service for Apache Spark ללא שרת:

  • ‫0.6 DCU לכל vCPU.
  • ‫0.1 DCU לכל GB של זיכרון, עד 8GB לכל vCPU.
  • ‫0.2 DCU לכל GB של זיכרון מעל 8GB לכל vCPU (זיכרון מורחב).
  • צמתים במסלול פרימיום נספרים כ-פי 1.5 מה-DCU של אותה צורה ברמה הרגילה.

יחידות ה-DCU של מאגר צמתים מעוגלות כלפי מעלה למספר השלם הקרוב ביותר:

DCUs = ceiling(nodes × DCUs per node)

דוגמה: צומת ברמה רגילה עם 4 מעבדי vCPU וזיכרון בנפח 16GB משתמש ב-4 × 0.6 + 16 × 0.1 = 4 יחידות DCU. אצווה עם מנהל התקן אחד ו-10 מבצעים בצורה הזו משתמשת ב-44 יחידות DCU. אותה קבוצה במסלול פרימיום משתמשת ב-66 יחידות DCU.

מגבלות

המגבלות הבאות חלות על מכסות DCU:

  • גרסאות סביבת זמן ריצה: מכסות ה-DCU חלות על גרסה 4.0 ואילך של סביבת זמן הריצה ללא שרת (serverless) של Managed Service for Apache Spark. עומסי עבודה שמשתמשים בגרסאות של סביבות זמן ריצה שקדמו ל-4.0 לא צורכים מכסת DCU, וממשיכים לצרוך את מכסת Compute Engine של הפרויקט.
  • מכסות שלא נתמכות: מכסות של GPU, הזמנות ומכסות גלובליות של Compute Engine לא נתמכות במודל המכסות של DCU.

מכסות Google Cloud אחרות

ב-Managed Service for Apache Spark, אצוות משתמשות במוצרים אחרים של Google Cloud . למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Managed Service for Apache Spark. כדי להשתמש ב-Managed Service for Apache Spark, צריך להשתמש בשירותים מסוימים, כמו Compute Engine ו-Cloud Storage. אפשר להשתמש בשירותים אחרים, כמו BigQuery ו-Bigtable, עם Managed Service for Apache Spark, אבל זה לא חובה.

שירותים נדרשים

כדי ליצור אצוות של Managed Service for Apache Spark, צריך להשתמש בשירותים הבאים, שאוכפים את מגבלות המכסות.

Compute Engine

בעומסי עבודה באצווה של Managed Service for Apache Spark אפשר לבחור מגוון משאבים של Compute Engine:

  • כדי לצמצם את בעיות הזמינות של מעבדים ודיסקים, Managed Service for Apache Spark תומך באפשרות חלופית בכמה משפחות של מכונות וסוגי דיסקים. לדוגמה, במסלול פרימיום, עומס עבודה באצווה יכול לחזור ל-N2 עם SSD מתמיד, ל-N2D עם SSD מקומי, ל-N2D עם Persistent Disk, ל-N4 עם Hyperdisk Balanced או ל-N4D עם Hyperdisk Balanced.

  • עומס עבודה של Batch נכשל אם אין לו מספיק מכסה כדי לצרוך את המשאבים של בחירת ברירת המחדל.

בטבלה הבאה מפורטות מכסות המשאבים של Compute Engine שחלות על עומסי עבודה באצווה ב-Managed Service for Apache Spark.

רמת המחשוב מכסה
רגילה CPUS
פרימיום
  • N2_CPUS
  • N2D_CPUS
  • ‫CPUS_PER_VM_FAMILY עם משפחת המכונות הווירטואליות N4
  • ‫CPUS_PER_VM_FAMILY עם משפחת המכונות הווירטואליות N4D
רמת הדיסק מכסה
רגילה DISKS_TOTAL_GB
פרימיום
  • DISKS_TOTAL_GB
  • ‫LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY עם משפחות של מכונות וירטואליות מסוג N2 ו-N2D
  • SSD-TOTAL-GB או Persistent Disk SSD (GB)
  • HDB-TOTAL-GB או Hyperdisk Balanced Capacity (GB)
מאיץ GPU מכסה
L4 NVIDIA_L4_GPUS
A100 40GB NVIDIA_A100_GPUS
A100 80GB NVIDIA_A100_80GB_GPUS

המכסות של Compute Engine מחולקות למגבלות אזוריות וגלובליות. המגבלות האלה חלות על אצוות שאתם יוצרים. לדוגמה, כדי להריץ אצווה של Spark עם 4 ליבות של מנהלי התקנים (spark.driver.cores=4) ושני מבצעים עם 4 ליבות לכל אחד (spark.executor.cores=4), אתם משתמשים ב-12 מעבדים וירטואליים (4 * 3). השימוש באצווה הזו נספר במגבלת המכסה האזורית של 24 מעבדים וירטואליים.

משאבי ברירת המחדל של Batch

כשיוצרים אצווה עם הגדרות ברירת המחדל, נעשה שימוש במשאבים הבאים של Compute Engine:

פריט משאבים בשימוש
מעבדים וירטואליים (vCPU) 12
מכונות וירטואליות (VM) 3
דיסק אחסון מתמיד (persistent disk) ‫1,200GiB

רישום ביומן

השירות המנוהל ל-Apache Spark שומר את הפלט של האצווה ואת היומנים ב-Cloud Logging. מכסת הרישום ביומן חלה על המשימות ב-Managed Service for Apache Spark.

Optional Services

השירותים הבאים, שיש להם מגבלות מכסה, יכולים לשמש באופן אופציונלי עם אצוות של Managed Service for Apache Spark.

BigQuery

כשקוראים נתונים או כותבים נתונים ב-BigQuery, חלה המכסה של BigQuery.

Bigtable

כשקוראים נתונים מ-Bigtable או כותבים נתונים ל-Bigtable, חלה המכסה של Bigtable.

זיהוי עומסי עבודה עם מגבלות של מכסות או כתובות IP

אתם יכולים להשתמש בשאילתות הבאות ב-Logging כדי לזהות עומסי עבודה ב-Managed Service for Apache Spark שהגיעו למכסה או שלא הצליחו לשנות את קנה המידה בגלל שנגמרו כתובות ה-IP.

שאילתת מכסה:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"