במאמר הזה מוסבר איך להשתמש ב-Cloud Monitoring כדי לעקוב אחרי תקינות השירות של Knowledge Catalog (לשעבר Dataplex Universal Catalog), לשפר את הביצועים ולקבל תובנות לגבי פלטפורמת הנתונים. ניטור פרואקטיבי עוזר לוודא את המהימנות של אפליקציות נתונים ולקבל החלטות מושכלות לגבי הקצאת משאבים וניהול עלויות.
מידע על העלויות מופיע במאמר תמחור של Monitoring.
מידע נוסף על שמירת נתוני מדדים זמין במאמר מכסות ומגבלות ב-Monitoring.
תרחישים לדוגמה
אתם יכולים להשתמש במדדים של Knowledge Catalog ב-Cloud Monitoring כדי לתמוך בתרחישים הבאים:
- הבטחת האמינות של פייפליין הנתונים: מעקב אחרי שיעורי ההצלחה והכישלון של משימות ב-Knowledge Catalog, כמו הכנסת נתונים או משימות שקשורות לאיכות הנתונים. כדי למזער את זמן ההשבתה של עומסי עבודה קריטיים, כדאי להגדיר התראות לגבי כשלים או משכי זמן חריגים.
- אופטימיזציה של הביצועים: אפשר לעקוב אחרי משך העבודות ומדדי השימוש במשאבים כדי לזהות צווארי בקבוק בביצועים של עומסי העבודה של עיבוד הנתונים, איכות הנתונים וגילוי הנתונים, ולפתור אותם.
- ניהול עלויות: מעקב אחרי צריכת המשאבים ב-Knowledge Catalog כדי לזהות הזדמנויות לאופטימיזציה של העלויות, לאכוף אמצעי בקרה על התקציב ולהבטיח ניצול יעיל של המשאבים.
- שמירה על משילות מידע: עוקבים אחרי מדדים שקשורים לגילוי מטא-נתונים ולהעשרת הקטלוג כדי לוודא שנכסי הנתונים נסרקים ומתויגים בהתאם למדיניות המשילות.
איך זה עובד
Knowledge Catalog משולב עם Cloud Monitoring, שאוסף מדדים, אירועים ומטא-נתונים משירותי Knowledge Catalog. המדדים האלה מספקים תובנות לגבי תחומים כמו סטטוס ההרצה של העבודות, השימוש ב-API ומצב המשאבים. אפשר לנתח את המדדים האלה באמצעות כלים ב-Cloud Monitoring, כמו Metrics Explorer, לוחות בקרה מותאמים אישית והתראות. הכלים האלה מאפשרים לכם לראות את ההתנהגות של השירות, לזהות מגמות בביצועים וליצור מדיניות התראות שתשלח לכם התראות כשהביצועים חורגים מספים מוגדרים או כשמתרחשים כשלים.
גישה למדדי שירות בניטור
מדדי משאבי השירות של Knowledge Catalog מופעלים באופן אוטומטי בשירותי Knowledge Catalog. כדי לראות את המדדים האלה, משתמשים ב-Monitoring.
אפשר לגשת אל Monitoring דרך מסוףGoogle Cloud או באמצעות Monitoring API.
אם אין לכם אפשרות לראות את הגרפים של המעקב או ליצור התראות, יכול להיות שאתם צריכים הרשאות נוספות למעקב.
המסוף
נכנסים לדף Metrics explorer במסוף Google Cloud .
בתפריט Select a metric בוחרים משאב
Cloud Dataplex.בוחרים קטגוריית מדדים ואז בוחרים מדד מהרשימה.
כדי להציג מידע על מדד, מעבירים את הסמן מעל שם המדד.
לוחצים על אישור.
אופציונלי: בוחרים מסננים, מקבצים לפי תוויות מדדים, מבצעים צבירות ובוחרים אפשרויות לתצוגת התרשים.
REST
כדי לתעד ולרשום מדדים שמוגדרים על ידי ביטוי filter, צריך להשתמש בשיטה timeSeries.list של Monitoring.
כדי לשלוח בקשת API ולהציג את התגובה, משתמשים בתבנית Try this API בדף ה-API.
מדדים של שירות Knowledge Catalog ב-Monitoring
המדדים של שירות Knowledge Catalog מאפשרים לעקוב אחרי תקינות השירות.
יצירת לוח בקרה של Monitoring בהתאמה אישית
אתם יכולים ליצור לוח בקרה מותאם אישית של Monitoring שבו מוצגים תרשימים של מדדי שירות נבחרים מתוך Knowledge Catalog. מידע נוסף על יצירת מרכז שליטה זמין במאמר יצירה וניהול של מרכזי בקרה בהתאמה אישית. כשבוחרים מדד לווידג'ט בלוח הבקרה, בוחרים משאב Cloud Dataplex ואז בוחרים מדד של Knowledge Catalog.
שימוש בהתראות של Monitoring
אתם יכולים ליצור התראה ב-Monitoring שתשלח לכם הודעה כשמדד של שירות או של משימה ב-Knowledge Catalog חוצה סף מסוים.
יצירת התראה
כדי ליצור התראה, פועלים לפי ההוראות במאמר יצירת כללי מדיניות התראות על סמך סף מדד.
כשבוחרים סדרת זמן למעקב, בוחרים Cloud Dataplexמשאב ואז בוחרים מדד של Knowledge Catalog.
הצגת ההתראות
כשמתקבלת התראה בעקבות תנאי של סף מדד, המערכת של Monitoring יוצרת אירוע ואירוע תואם.
כדי לראות אירוע:
נכנסים לדף Alerting במסוף Google Cloud .
אם הגדרתם מנגנון התראה במדיניות ההתראות, כמו התראה באימייל או ב-SMS, מערכת Monitoring תשלח גם התראה על האירוע.
מידע נוסף על התראות זמין במאמר אירועים של התראות שמבוססות על מדדים.