יצירת התראות של צינורות עיבוד נתונים

התראות על צינורות עיבוד נתונים ב-Cloud Data Fusion מאפשרות לכם לעקוב אחרי סטטוס הביצוע ולנטר את תקינות תהליך העבודה. ההתראות האלה עוזרות לזהות כשלים בצינור עיבוד הנתונים באופן מיידי.

אתם יכולים להגדיר התראות באמצעות שני שירותים שונים, בהתאם לשלב הפריסה. ההתראות של Cloud Data Fusion מוגדרות במהלך התכנון של צינור עיבוד הנתונים באצווה, ואי אפשר להוסיף או לערוך אותן אחרי הפריסה. לעומת זאת, אתם יכולים ליצור התראות מבוססות-יומנים באמצעות Cloud Monitoring במסוף Google Cloud בכל שלב – לפני או אחרי פריסת צינור עיבוד הנתונים.

לפני שמתחילים

צריך מכונה של Cloud Data Fusion. מידע נוסף זמין במאמר יצירת מכונה ציבורית.

הוספת התראה ב-Cloud Data Fusion

  1. פותחים את המכונה.

    1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

    2. כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).

      כניסה לדף Instances

  2. עוברים לדף Studio שבו מתכננים את צינור עיבוד הנתונים.

  3. לוחצים על Configure > Pipeline alerts > Add.

  4. בוחרים את ההתראה ומגדירים אותה. מידע נוסף על הגדרת התראות זמין במאמר התראות על צינורות עיבוד נתונים באצווה.

  5. אחרי שמגדירים את ההתראה, לוחצים על Validate כדי לבדוק אם יש שגיאות, ואז לוחצים על Confirm.

יצירת התראה ב-Monitoring

  1. מפעילים את Cloud Logging במכונה של Cloud Data Fusion.

  2. יצירת התראה מבוססת-יומן.

    1. נכנסים לדף Logs Explorer במסוף Google Cloud .

      כניסה לדף Logs Explorer

      בדף הזה אפשר לאחסן, לשלוח שאילתות, לעדכן ולמחוק נתונים.

    2. מזינים את השאילתה הבאה:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      מחליפים את PROJECT_ID במזהה הפרויקט.

    3. לוחצים על יצירת התראה ומגדירים את ההתראה.

התראה נוצרת רק כשצינור עיבוד הנתונים פועל באשכול של Managed Service for Apache Spark ונכשל. אם לא הצלחתם ליצור אשכול ב-Managed Service for Apache Spark, לא תופיע התראה.

המאמרים הבאים