התראות על צינורות עיבוד נתונים ב-Cloud Data Fusion מאפשרות לכם לעקוב אחרי סטטוס הביצוע ולנטר את תקינות תהליך העבודה. ההתראות האלה עוזרות לזהות כשלים בצינור עיבוד הנתונים באופן מיידי.
אתם יכולים להגדיר התראות באמצעות שני שירותים שונים, בהתאם לשלב הפריסה. ההתראות של Cloud Data Fusion מוגדרות במהלך התכנון של צינור עיבוד הנתונים באצווה, ואי אפשר להוסיף או לערוך אותן אחרי הפריסה. לעומת זאת, אתם יכולים ליצור התראות מבוססות-יומנים באמצעות Cloud Monitoring במסוף Google Cloud בכל שלב – לפני או אחרי פריסת צינור עיבוד הנתונים.
לפני שמתחילים
צריך מכונה של Cloud Data Fusion. מידע נוסף זמין במאמר יצירת מכונה ציבורית.
הוספת התראה ב-Cloud Data Fusion
פותחים את המכונה.
במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.
כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).
עוברים לדף Studio שבו מתכננים את צינור עיבוד הנתונים.
לוחצים על Configure > Pipeline alerts > Add.
בוחרים את ההתראה ומגדירים אותה. מידע נוסף על הגדרת התראות זמין במאמר התראות על צינורות עיבוד נתונים באצווה.
אחרי שמגדירים את ההתראה, לוחצים על Validate כדי לבדוק אם יש שגיאות, ואז לוחצים על Confirm.
יצירת התראה ב-Monitoring
מפעילים את Cloud Logging במכונה של Cloud Data Fusion.
-
נכנסים לדף Logs Explorer במסוף Google Cloud .
בדף הזה אפשר לאחסן, לשלוח שאילתות, לעדכן ולמחוק נתונים.
מזינים את השאילתה הבאה:
resource.type="cloud_dataproc_cluster" logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs" resource.labels.project_id="PROJECT_ID" severity=ERROR jsonPayload.message=~"Pipeline '.*' failed."מחליפים את
PROJECT_IDבמזהה הפרויקט.לוחצים על יצירת התראה ומגדירים את ההתראה.
התראה נוצרת רק כשצינור עיבוד הנתונים פועל באשכול של Managed Service for Apache Spark ונכשל. אם לא הצלחתם ליצור אשכול ב-Managed Service for Apache Spark, לא תופיע התראה.
המאמרים הבאים
- עיינו בדפי העזר של CDAP OS בנושא התראות על צינורות עיבוד נתונים באצווה.