מעקב אחרי יומנים של Knowledge Catalog

במאמר הזה מוסבר איך לגשת ליומנים של Knowledge Catalog (לשעבר Dataplex Universal Catalog), לשלוח אליהם שאילתות ולפרש אותם באמצעות Cloud Logging. גישה ליומנים של משימות ושירותים ב-Knowledge Catalog מאפשרת לכם לפתור בעיות ולעקוב אחרי פעילויות של ניהול נתונים, כולל חיפוש נתונים מבוסס-AI וסריקה של איכות הנתונים.

הערה: מידע על פעולות אדמיניסטרטיביות ויומני גישה לנתונים מופיע בדף רישום ביומן ביקורת.

ריכוז היומנים ב-Logging מאפשר לכם לנתח את ביצועי העבודות, להגדיר התראות על כשלים או אנומליות ולנתב את היומנים לשירותים אחרים Google Cloud כמו BigQuery לצורך שמירה וניתוח לטווח ארוך.

כדי להבין את העלויות, אפשר לעיין במחירון של Google Cloud Observability.

מידע נוסף על שמירת יומנים זמין במאמר תקופות שמירה של יומנים.

כדי להשבית את כל היומנים או להחריג יומנים מ-Logging, אפשר לעיין במאמר בנושא מסנני החרגה.

הוראות לניתוב יומנים מ-Logging אל Cloud Storage,‏ BigQuery או Pub/Sub מופיעות במאמר סקירה כללית על ניתוב ואחסון.

תרחישים לדוגמה

רישום ביומן של Knowledge Catalog תומך בתרחישי שימוש בתחומים שונים:

• פתרון בעיות בצינורות נתונים: כשמשימה של Knowledge Catalog לעיבוד נתונים נכשלת, יומני process מספקים הודעות שגיאה מפורטות שעוזרות למהנדסי נתונים לזהות ולפתור בעיות במשימות Spark או במשימות מותאמות אישית.
• מעקב אחרי איכות הנתונים: חברה שמספקת שירותים פיננסיים יכולה לעקוב אחרי יומני data_quality_scan_rule_result כדי לעקוב אחרי מגמות של איכות הנתונים לאורך זמן, לקבל התראות על ירידה באיכות של נכסי נתונים קריטיים ולספק לרואי חשבון הוכחות לבדיקות של איכות הנתונים לצורך עמידה בדרישות הרגולטוריות.
• מעקב אחרי העשרת המטא-נתונים: חברה קמעונאית שמשתמשת במשימות ייבוא של מטא-נתונים כדי להעשיר את הקטלוג שלה יכולה להשתמש ביומני metadata_job כדי לוודא שהייבוא מסתיים בהצלחה ושהמערכת מעבדת את כל פריטי המטא-נתונים בצורה נכונה.
• ביקורת על גילוי נתונים: ארגונים יכולים להשתמש ביומנים של discovery כדי לעקוב אחרי האופן והזמן שבהם מתגלים ונרשמים מקורות נתונים חדשים ב-Knowledge Catalog, וכך לספק נתיב ביקורת לתהליכי צירוף נתונים.

איך פועל רישום ביומן ב-Knowledge Catalog

‫Knowledge Catalog שולח יומנים של פעולות שירות והפעלות של משימות אל Cloud Logging. כל רשומה ביומן מכילה פרטים על הפעולה או העבודה, כמו הסטטוס, שעת ההתחלה ושעת הסיום, המשאבים המשויכים (כמו סריקת נתונים או משימה) והתוצאה. סוגים שונים של פעולות, כמו סריקת נתונים, גילוי, ייבוא מטא-נתונים ועיבוד נתונים, יוצרים סוגים שונים של יומנים שאפשר להריץ עליהם שאילתות באמצעות logName או שפת השאילתות של רישום ביומן ב-Logging.

אפשר לגשת ליומנים האלה ולנתח אותם באמצעות Logs Explorer במסוףGoogle Cloud , או לנתב אותם ליעדים אחרים כמו קטגוריות של Cloud Storage או טבלאות של BigQuery כדי לבצע ניתוח נוסף.

סוגי יומנים ב-Knowledge Catalog

Knowledge Catalog מפרסם את יומני השירות הבאים ב-Cloud Logging.

סוג יומן הביקורת	שם יומן הביקורת	שאילתה אחת (logName)	תיאור היומן
יומני אירועים של סריקת נתונים	dataplex.googleapis.com/data_scan	logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)	יומני אירועים ברמת המשימה למשימות סריקה של נתונים (גם סריקות של איכות הנתונים וגם סריקות של פרופיל הנתונים) שמציינים את מצב המשימה, התוצאות והסטטיסטיקות
יומני תוצאות של כללים לסריקת איכות נתונים	dataplex.googleapis.com/data_quality_scan_rule_result	logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)	תוצאות מפורטות של הערכה ברמת הכלל לכל כלל שהוערך במשימת סריקה של איכות הנתונים
יומני Discovery	dataplex.googleapis.com/discovery	logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)	התקדמות ועדכונים של Discovery לגבי נכסים באזור
יומני משימות של מטא-נתונים	dataplex.googleapis.com/metadata_job	logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job)	יומנים לגבי משימות ייבוא של מטא-נתונים ופריטים לייבוא בקובץ ייבוא המטא-נתונים
יומני תהליכים	dataplex.googleapis.com/process	logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)	הפעלות של משימות שנובעות ממשימות עיבוד נתונים

גישה ליומני שירות של Knowledge Catalog

כדי לגשת ל-Logging, משתמשים ב-Logs Explorer בGoogle Cloud מסוף, בפקודות gcloud logging או ב-Logging API. אפשר להשתמש בשפת השאילתות של רישום ביומן כדי ליצור שאילתות מפורטות.

הרשאות IAM נדרשות

כדי להציג את היומנים ולהריץ עליהם שאילתות, צריך לקבל את התפקיד Logs Viewer (roles/logging.viewer) או הרשאות שוות ערך בפרויקט.

צפייה ביומנים במסוף Google Cloud

1. במסוף Google Cloud , נכנסים לדף Observability > Logging > Logs explorer.

   כניסה לדף Logs Explorer

2. מגדירים את המסננים Resource ו-Log name על סמך הטבלה הבאה:

   סוג יומן הביקורת	בחירת משאבים	בחירת שם היומן
   אירועים של סריקת נתונים	Audited Resource > Service: Cloud Dataplex	dataplex.googleapis.com/data_scan
   תוצאות של כללי סריקה של איכות הנתונים	Audited Resource > Service: Cloud Dataplex	dataplex.googleapis.com/data_quality_scan_rule_result
   יומני Discovery	אזור Cloud Dataplex	dataplex.googleapis.com/discovery
   יומני עבודות של מטא-נתונים	Cloud Dataplex Metadata Job	dataplex.googleapis.com/metadata_job
   עיבוד יומנים	Cloud Dataplex Task	dataplex.googleapis.com/process

   הערה: יכול להיות שתצטרכו ללחוץ על החלה אחרי בחירת המשאב כדי שהשמות המתאימים של היומנים יהיו זמינים בתפריט הנפתח.

3. (אופציונלי) בוחרים מסנני משנה ספציפיים (כמו מזהה משימה ספציפי) כדי לצמצם את השאילתה.

4. לוחצים על אישור ואז על הפעלת השאילתה.

דוגמאות לסינון יומנים

אתם יכולים להשתמש בשפת השאילתות של Logging בכלי לעריכת שאילתות ב-Logs Explorer או ב-Google Cloud CLI. בדוגמאות הבאות אפשר לראות איך לקרוא יומנים באמצעות ה-CLI של gcloud.

דוגמה: קריאה של אירועים של סריקת נתונים

כדי לקרוא את הרשומות ביומן האירועים של סריקות איכות נתונים או פרופיל נתונים, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

דוגמה: קריאת רשומות ביומן של תהליך

כדי לקרוא את הרשומות ביומן של התהליך, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

דוגמאות למטענים ייעודיים (payloads) של יומנים

בדוגמאות הבאות אפשר לראות את מבני מטען ה-JSON הייעודי (payload) לסוגים שונים של יומנים ב-Knowledge Catalog. הדוגמאות האלה יעזרו לכם להבין את מבנה היומנים וליצור מסנני יומנים.

יומני אירועים של סריקת נתונים

ב-Knowledge Catalog, סריקות נתונים כוללות גם סריקות של איכות הנתונים וגם סריקות של פרופיל הנתונים. כשמריצים משימת סריקת נתונים מכל סוג שהוא, מתקבל ביומן הרישום של Knowledge Catalog סיכום של הביצוע הכולל של המשימה.data_scan

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן אירועים לסריקה של איכות הנתונים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומנים של תוצאות של כללים לסריקת איכות נתונים

כשמריצים סריקה של איכות הנתונים, Knowledge Catalog יוצר יומן אירועים של סריקת נתונים ויומן נפרד של תוצאות כלל סריקת איכות הנתונים עבור כל כלל שנבדק בעבודה.

כל רשומה ביומן data_quality_scan_rule_result מכילה מידע על הכלל הספציפי, כולל הגדרת הכלל, ממד ההערכה, הסטטוס ומספר השורות.

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן תוצאות של כלל לסריקת איכות נתונים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני Discovery

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן גילוי:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני משימות של מטא-נתונים

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן עבודות של מטא-נתונים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני תהליכים

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן תהליכים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

הגדרת התראות שמבוססות על יומנים

אתם יכולים להגדיר התראות מבוססות-יומן כדי לקבל הודעה בכל פעם שמתרחשים אירועים ספציפיים ב-Knowledge Catalog (למשל, סריקה של איכות הנתונים שנכשלה).

כדי ליצור התראות שמבוססות על יומנים, צריך להיות לכם התפקיד Logs Configuration Writer (roles/logging.configWriter) או Monitoring AlertPolicy Editor (roles/monitoring.alertPolicyEditor), או הרשאות שוות ערך.

1. מריצים שאילתה ב-Logs Explorer שמכוונת לתנאי הכשל (לדוגמה: resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true).
2. מעל חלונית תוצאות השאילתה, לוחצים על יצירת התראה.
3. בחלונית Create log-based alert, מזינים שם ותיאור למדיניות ההתראות.
4. לוחצים על הבא ומגדירים את ערוצי ההתראות.
5. לוחצים על Save.

מידע נוסף מפורט במאמר יצירת התראות שמבוססות על יומנים.

המאמרים הבאים

• מידע נוסף על Cloud Logging
• מידע נוסף על מעקב אחרי קטלוג הידע