מכסות ומגבלות

במאמר הזה מפורטות המכסות שחלות על Knowledge Catalog (לשעבר Dataplex Universal Catalog).

המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .

מערכת המכסות ב-Cloud:

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

למשאבי Knowledge Catalog יש גם מגבלות מערכת. שאי אפשר לשנות.

ב-Knowledge Catalog יש מכסות על מספר בקשות ה-API שאפשר לשלוח בפרק זמן מסוים, ועל מספר המשאבים שאפשר ליצור בפרויקט. המכסות מגינות עליכם מפני קפיצות בלתי צפויות בשימוש ועומס יתר בשירותים. למה יש מכסות?

ככל שתשתמשו יותר ב-Knowledge Catalog, יכול להיות שתצטרכו להגדיל את המכסה. אם המכסה נמוכה מדי ולא מתאימה לצרכים שלכם, או אם אתם צופים עלייה בשימוש, אתם יכולים לבקש הגדלה של המכסה.

הסבר על סוגי בקשות ה-API

בקשות API בתכונות שונות של Knowledge Catalog, כמו ניהול משאבים, מטא-נתונים, משימות וסריקות נתונים, מסווגות לקטגוריות כלליות כדי לנהל את השימוש בשירות ולהגן עליו.

בקשות קריאה

בקשות קריאה הן פעולות שנועדו לאחזר מידע על משאבים קיימים, מטא-נתונים או היסטוריית ביצוע, בלי לשנות את ההגדרות או המצב. הפעולות האלה לא משנות את הנתונים ולא מפעילות משימות עיבוד חדשות.

פעולות של בקשות קריאה כוללות את Get, List ו-Describe. לדוגמה, הצגת ההגדרה של סריקת נתונים או הסטטוס של משימת סריקה היא בקשת קריאה.

בקשות כתיבה

בקשות כתיבה כוללות את כל הפעולות שיוצרות, מעדכנות או מוחקות הגדרות של משאבים, וגם את הפעולות שמשנות את מדיניות האבטחה. אלה פעולות שמשנות את מצב הסביבה.

פעולות של בקשות כתיבה כוללות את Create, Update, Delete, Cancel ו-SetIamPolicy. לדוגמה, הגדרה של סריקת איכות נתונים או עדכון של סריקת פרופיל נתונים קיימת הן בקשות כתיבה.

בקשות להרצה

בקשות הפעלה מתייחסות באופן ספציפי להפעלה פעילה של משאב שהוגדר מראש. בניגוד לבקשת כתיבה (שעשויה ליצור לוח זמנים חוזר), בקשת הרצה משמשת לעיתים קרובות להפעלה על פי דרישה של הלוגיקה שהוגדרה.

לדוגמה, הפעלה ידנית של סריקת נתונים היא בקשת הפעלה.

מכסות לבקשות Dataplex API

Dataplex API אוכף מכסות על בקשות לניהול משאבים ולחיפוש ב-Knowledge Catalog ברמות שונות, בלי קשר למקור שלהן. זה כולל בקשות שמגיעות ישירות מקריאות ל-API, מספריות לקוח, מ-Google Cloud CLI וממסוף Google Cloud .

המכסות הבאות חלות על בקשות ל-Knowledge Catalog:

מכסה ברירת מחדל
בקשות קריאה של רשומות והיבטים לכל פרויקט, לכל אזור, לדקה 6,000
בקשות כתיבה של רשומות והיבטים לכל פרויקט, לכל אזור, לדקה 1,500
בקשות קריאה של סוגי היבטים, סוגי רשומות וקבוצות של רשומות, לכל פרויקט, לכל משתמש, לכל אזור, לדקה 100
בקשות קריאה של סוגי היבטים, סוגי רשומות וקבוצות של רשומות, לכל פרויקט, לכל אזור, לדקה 200
בקשות כתיבה של סוגי היבטים, סוגי רשומות וקבוצות של רשומות לכל פרויקט, לכל משתמש, לכל אזור, לדקה 10
בקשות כתיבה של סוגי היבטים, סוגי רשומות וקבוצות של רשומות, לכל פרויקט, לכל אזור, לדקה 20
בקשות קריאה למילוני מונחים ארגוניים לדקה, לכל פרויקט ולכל אזור 500
בקשות קריאה למילוני מונחים ארגוניים לפרויקט, למשתמש, לאזור ולדקה 200
בקשות כתיבה למילוני מונחים ארגוניים לכל פרויקט, לכל אזור, לדקה 250
בקשות כתיבה למילוני המונחים הארגוניים, לכל פרויקט, לכל משתמש, לכל אזור, לדקה 100
בקשות קריאה לקישורי רשומות לכל פרויקט, לכל אזור, לדקה 1000
בקשות קריאה לקישורי רשומות לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 400
בקשות כתיבה לקישורי רשומות לכל פרויקט, לכל אזור, לדקה 500
בקשות כתיבה לקישורי רשומות לכל פרויקט, לכל משתמש, לכל אזור, לדקה 200
בקשות חיפוש לכל פרויקט, לכל משתמש, לדקה 900
בקשות חיפוש לכל פרויקט בכל דקה 1,200
בקשות חיפוש לארגון לדקה 2,400
בקשות חיפוש לכל ארגון ביום 345,600
בקשות קריאה למשימות של מטא-נתונים לכל פרויקט, לכל אזור, לדקה 400
בקשות קריאה למשימות של מטא-נתונים לכל פרויקט, לכל משתמש, לכל אזור, לדקה 200
בקשות כתיבה למשימות של מטא-נתונים לכל פרויקט, לכל אזור, לדקה 20
בקשות כתיבה למשימות של מטא-נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 10
בקשות קריאה לסריקות נתונים לכל פרויקט, לכל אזור, לדקה 1,200
בקשות קריאה לסריקות נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 600
בקשות כתיבה לסריקות נתונים לכל פרויקט, לכל אזור, לדקה 200
בקשות כתיבה לסריקות נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 100
הפעלת בקשות לסריקות נתונים בכל פרויקט, בכל אזור, בכל דקה 60
הרצת בקשות לסריקות נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 30
מספר ההפעלות היומיות הכולל של סריקות פרופיל נתונים לנתונים לא מובְנים בטבלאות אובייקטים ב-BigQuery לכל פרויקט 140
כמות המטא-נתונים שמיוצאים על ידי משימות לייצוא מטא-נתונים, לכל ארגון ביום ‫10GB

כמות המטא-נתונים שנסרקים לייצוא על ידי משימות ייצוא של מטא-נתונים, לכל ארגון ביום

המכסה הזו מעריכה את הנפח הכולל של המטא-נתונים שקיימים בארגון, בפרויקטים או בקבוצות הרשומות שנכללים בהיקף של משימת הייצוא של המטא-נתונים.

 ‫100GB

לכל בקשה של Knowledge Catalog שמופיעה בטבלה הבאה, המכסה נאכפת גם ברמת הפרויקט וגם ברמת המשתמש בפרויקט.

מכסה דוגמאות
בקשות קריאה לניהול משאבים קבלת אגם, הצגת רשימת אזורים
בקשות כתיבה לניהול משאבים יצירת אגם, מחיקת נכס
בקשות GET למטא-נתונים קבלת ישות, קבלת מחיצה
בקשות להצגת רשימה של מטא-נתונים הצגת רשימה של ישויות, הצגת רשימה של מחיצות
בקשות כתיבה של מטא-נתונים עדכון ישות, מחיקת מחיצה
בקשות קריאה למשאבים של משימות ועבודות קבלת משימה, הצגת רשימת משרות
בקשות כתיבה למשאבים של משימות ועבודות יצירת משימה, ביטול משימה
בקשות להגדרת מדיניות IAM הגדרת מדיניות IAM

מכסות לבקשות Data Lineage API

‫Data Lineage API אוכף מכסות על:

  • בקשות קריאה שמחזירות רק את הנתונים
  • בקשות כתיבה שיוצרות או משנות את הנתונים
  • יצירת Open Lineage

המכסות הבאות חלות על בקשות לשושלת נתונים:

מכסה ערך ברירת המחדל
בקשות קריאה (SearchLinks,‏ BatchSearchLinkProcesses,‏ Get*,‏ List*) לכל פרויקט, לכל אזור (לדוגמה, us-central1) לדקה 2,000
בקשות קריאה (SearchLinks,‏ BatchSearchLinkProcesses,‏ Get*,‏ List*) לכל פרויקט, לכל מספר אזורים (us,‏ eu,‏ asia) לדקה 1,000
בקשות כתיבה (Create*,‏ Update*,‏ Delete*) לכל פרויקט בכל אזור (לדוגמה, us-central1) לדקה 12,000
בקשות כתיבה (Create*,‏ Update*,‏ Delete*) לכל פרויקט במספר אזורים (us,‏ eu,‏ asia) לדקה 6,000
בקשות OpenLineage (ProcessOpenLineageRunEvent) לפרויקט לכל אזור (לדוגמה, us-central1) לדקה 2,000
בקשות OpenLineage‏ (ProcessOpenLineageRunEvent) לכל פרויקט בכל אזור (us,‏ eu,‏ asia) לדקה 1,000

מכסות לבקשות Dataplex API למוצרי נתונים

‫Dataplex API אוכף הגבלת קצב של יצירת בקשות על פעולות של מטא-נתונים ועל בקשות למחזור חיים של מוצרי נתונים ונכסי נתונים. המגבלות האלה חלות גם אם הבקשות מגיעות ממסוף Google Cloud , מ-Google Cloud CLI, מספריות לקוח או מקריאות ישירות ל-API.

המכסות הבאות חלות על בקשות למוצרי נתונים ולנכסי נתונים:

מכסה ערך ברירת המחדל
בקשות קריאה למוצרי נתונים לכל פרויקט, לכל אזור, לדקה 500
בקשות קריאה למוצרי נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 250
יצירה ומחיקה של בקשות למוצרי נתונים לכל פרויקט, לכל אזור, לדקה 250
יצירה ומחיקה של בקשות למוצרי נתונים לכל פרויקט, לכל משתמש, לכל אזור, לדקה 125
בקשות עדכון למוצרי נתונים לכל פרויקט לדקה 10
בקשות עדכון למוצרי נתונים לכל פרויקט לכל משתמש לדקה 5
בקשות קריאה לנכסי נתונים לכל פרויקט, לכל אזור, לדקה 500
בקשות קריאה לנכסי נתונים לכל פרויקט, לכל משתמש, לכל אזור, לדקה 250
בקשות כתיבה לנכסי נתונים לכל פרויקט, לכל אזור, לדקה 30
בקשות כתיבה לנכסי נתונים לכל פרויקט, לכל משתמש, לכל אזור, לדקה 15

מכסות ומגבלות למשימות העשרה ב-Knowledge Studio

‫Dataplex API אוכף מכסות של קצב ומכסות של משאבים על משימות העשרה של Knowledge Studio (משאבי AgentTask) ועל הפעלות של משימות (משאבי AgentRun).

המכסות הבאות חלות על משימות העשרה ב-Knowledge Studio:

מכסה ערך ברירת המחדל
בקשות קריאה למשאבים של משימות העשרה (כמו Get ו-List למשימות ולהפעלות) לכל פרויקט, לכל אזור, לדקה 1,200
בקשות כתיבה למשאבים של משימות העשרה (כמו Create, Update ו-Delete) לכל פרויקט, לכל אזור, לדקה 60
הפעלת בקשות למשאבים של משימות העשרה לכל פרויקט, לכל אזור, לדקה 20
המספר המקסימלי של משימות העשרה (AgentTask משאבים) לכל פרויקט בכל אזור 100

מכסות ומגבלות לתובנות מנתונים

התכונה "תובנות מנתונים" משתמשת ב-Data Analytics API עם Gemini (geminidataanalytics.googleapis.com) כדי למדוד את צריכת הטוקנים של הקלט והפלט. כברירת מחדל, מכסות הטוקנים היומיות מוגדרות ללא הגבלה, כך שכל הסריקות של התובנות פועלות ללא הפרעה.

כדי לשלוט בעלויות בפרויקט ב- Google Cloud , אדמינים יכולים לעקוב אחרי צריכת הטוקנים היומית ולהגדיר מגבלות יומיות בהתאמה אישית על טוקנים בתשלום לקלט ועל טוקנים בתשלום לפלט. למידע נוסף על מעקב אחרי השימוש בטוקנים לתובנות מנתונים, קראו את המאמר מעקב אחרי השימוש בטוקנים לתובנות מנתונים.

מכסות זמינות של אסימונים

מכסות האסימונים הבאות חלות על תובנות מנתונים:

מכסה שירות שם המדד חלון ההיקף והאיפוס מגבלת ברירת המחדל
‫Paid input tokens per day per project for Knowledge Catalog Insights ‫Data Analytics API עם Gemini (geminidataanalytics.googleapis.com) geminidataanalytics.googleapis.com/cost_control/kc_insights/paid_input_tokens לכל פרויקט, לכל יום (מתאפס מדי יום בחצות לפי שעון החוף המערבי בארה"ב, 00:00 PT) ללא הגבלה
‫Paid output tokens per day per project for Knowledge Catalog Insights ‫Data Analytics API עם Gemini (geminidataanalytics.googleapis.com) geminidataanalytics.googleapis.com/cost_control/kc_insights/paid_output_tokens לכל פרויקט, לכל יום (מתאפס מדי יום בחצות לפי שעון החוף המערבי בארה"ב, 00:00 PT) ללא הגבלה

בדיקה וניהול של מכסות טוקנים יומיות

כדי לראות את השימוש הנוכחי בטוקנים, לעיין בתרשימי שימוש ולהגדיר או לאפס את המכסות היומיות של הטוקנים, נכנסים לדף Quotas & System Limits במסוףGoogle Cloud ומסננים לפי Service: Data Analytics API with Gemini.

הוראות מפורטות וההרשאות הנדרשות מופיעות במאמרים הבאים בנושא מכסות ב-Cloud:

מכסות למשאבים

מכסת המשאבים נאכפת ברמת הפרויקט לסוגי המשאבים הבאים: אגם, אזור, נכס, משימה על פי דרישה, משימה חוזרת. אפשר לבדוק את השימוש הנוכחי במכסה של Knowledge Catalog בדף Quotas במסוף Google Cloud .

שליחת בקשה להגדלת המכסה

  1. נכנסים לדף Quotas במסוף Google Cloud .

    לפתיחת הדף Quotas

  2. בוחרים את המכסה שרוצים לשנות.

  3. לוחצים על More actions > Edit quota**.

  4. מזינים את ערך המכסה החדש וכותבים תיאור לבקשה.

  5. לוחצים על הבא.

  6. מזינים את הפרטים ליצירת קשר.

  7. לוחצים על Submit request.

כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . איך שולחים בקשה לשינוי המכסות

יחסי תלות של מכסות

יכול להיות שהשימוש ב-Knowledge Catalog יהיה כרוך במוצרים אחרים של Google Cloud . לדוגמה, כדי לגלות נתונים צריך להפעיל את Cloud Storage API או את BigQuery API כדי ליצור אינטראקציה עם המשאבים הבסיסיים. למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Knowledge Catalog.

דפי מכסות של מוצרים אחרים שאפשר להשתמש בהם עם Knowledge Catalog:

זו רשימה חלקית בלבד.

מגבלות

המגבלות הבאות חלות על Knowledge Catalog:

הגבלה ערך
גודל הבקשה להזנת נתונים והיבטים (כולל היבט הסכימה) ‫2MB
אורך מזהה הרשומה ‫4,000 תווים
האורך של שם שמוגדר במלואו ברשומה ‫4,000 תווים
אורך השם המוצג של מקור הרשומה ברשומה ‫500 תווים
אורך התיאור של מקור הרשומה ברשומה ‫2,000 תווים
אורך המשאב של מקור הרשומה ברשומה ‫4,000 תווים
אורך מערכת המקור של הרשומה ברשומה 64 תווים
אורך פלטפורמת המקור של הרשומה ברשומה 64 תווים
אורך תוויות המקור של הרשומה ברשומה ‫128 תווים לכל מפתח וערך
גודל תוכן ה-JSON בהיבט (חוץ מהיבטים של סכימה ופרופיל נתונים) 120KB
גודל תוכן ה-JSON בהיבט של פרופיל נתונים ‫1MB
הגודל הכולל של רשומה ‫5MB
מספר ההיבטים המקסימלי ברשומה 10,000
אורך השם המוצג של סוג הרשומה, סוג ההיבט וקבוצת הרשומות 256
אורך התיאור של סוג הרשומה, סוג ההיבט וקבוצת הרשומות 1,024
אורך שם השדה בתבנית של סוג היבט 63
מספר מקסימלי של סוגי היבטים נדרשים בסוג רשומה 20
מספר הערכים המקסימלי של enum בתבנית של סוג היבט 1,024
מספר הפריטים המקסימלי בתוצאות החיפוש ב-Knowledge Catalog ‫500 (מצב חיפוש של מילות מפתח בלבד במסוף Google Cloud או ב-semanticSearch=false כשמשתמשים ב-API)

‫100 (כל שאר מקרי החיפוש)
מספר מקסימלי של סריקות נתונים לכל פרויקט בכל אזור 1,000
המספר המקסימלי של מוצרי נתונים לכל פרויקט בכל אזור 1,000
המספר המקסימלי של נכסי נתונים לכל מוצר נתונים 50
מספר מקסימלי של תגי מדיניות לכל טקסונומיה 100