רישום ביומן הביקורת של Data Lineage API

יומני הביקורת של Cloud ל-Data Lineage API מאפשרים לעקוב אחרי פעולות ניהול וגישה לנתונים במשאבים, כדי לעזור לכם לעקוב אחרי שינויים בגישה ובהגדרות. אתם יכולים לשלוח שאילתות ליומנים האלה ב-Logs Explorer ולבדוק אילו שיטות של Data Lineage API יוצרות יומני ביקורת של Cloud.

במאמרים הבאים אפשר לקרוא מידע נוסף על יומני הביקורת של Cloud:

שם השירות

כדי לצפות ביומני הביקורת של Data Lineage API:

  1. במסוף Google Cloud , נכנסים לדף Logs Explorer:

    כניסה לדף Logs Explorer

  2. מעתיקים את השאילתה הבאה ומדביקים אותה בשדה Query של Logs Explorer, ואז לוחצים על Run query.

        protoPayload.serviceName="datalineage.googleapis.com"

קודי Method לפי סוג ההרשאה

לכל הרשאה ב-IAM יש מאפיין type עם enum שיכול להיות אחד מארבעת הערכים הבאים: ADMIN_READ,‏ ADMIN_WRITE,‏ DATA_READ או DATA_WRITE. כשקוראים ל-method, נוצר יומן ביקורת של Data Lineage API שהקטגוריה שלו תלויה במאפיין type של ההרשאה שנדרשת לביצוע ה-method. ה-methods שבשבילן צריך הרשאה ב-IAM עם הערכים DATA_READ‏, DATA_WRITE או ADMIN_READ במאפיין type יוצרות יומני ביקורת של Data Access. ה-methods שבשבילן צריך הרשאה ב-IAM עם הערכים ADMIN_WRITE במאפיין type יוצרות יומני ביקורת של Admin Activity.

ה-methods של ה-API ברשימה הבאה שמסומנות ב-(LRO) הן פעולות ממושכות. בדרך כלל, ה-methods האלה יוצרות שתי רשומות ביומן הביקורת: אחת כשהפעולה מתחילה ואחת כשהיא מסתיימת. אתם יכולים לקרוא מידע נוסף במאמר בנושא יומני ביקורת של פעולות ממושכות.
סוג ההרשאה Methods
ADMIN_READ google.longrunning.Operations.GetOperation
DATA_READ google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.GetConfig
google.cloud.datacatalog.lineage.v1.Lineage.BatchSearchLinkProcesses
google.cloud.datacatalog.lineage.v1.Lineage.GetLineageEvent
google.cloud.datacatalog.lineage.v1.Lineage.GetProcess
google.cloud.datacatalog.lineage.v1.Lineage.GetRun
google.cloud.datacatalog.lineage.v1.Lineage.ListLineageEvents
google.cloud.datacatalog.lineage.v1.Lineage.ListProcesses
google.cloud.datacatalog.lineage.v1.Lineage.ListRuns
google.cloud.datacatalog.lineage.v1.Lineage.SearchLineageStreaming
google.cloud.datacatalog.lineage.v1.Lineage.SearchLinks
DATA_WRITE google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.UpdateConfig
google.cloud.datacatalog.lineage.v1.Lineage.CreateLineageEvent
google.cloud.datacatalog.lineage.v1.Lineage.CreateProcess
google.cloud.datacatalog.lineage.v1.Lineage.CreateRun
google.cloud.datacatalog.lineage.v1.Lineage.DeleteLineageEvent
google.cloud.datacatalog.lineage.v1.Lineage.DeleteProcess (LRO)
google.cloud.datacatalog.lineage.v1.Lineage.DeleteRun (LRO)
google.cloud.datacatalog.lineage.v1.Lineage.ProcessOpenLineageRunEvent
google.cloud.datacatalog.lineage.v1.Lineage.UpdateProcess
google.cloud.datacatalog.lineage.v1.Lineage.UpdateRun

יומני ביקורת של ממשק ה-API

במאמר העזרה בנושא ניהול הזהויות והרשאות הגישה (IAM) ל-Data Lineage API מוסבר איך מתבצעת הבדיקה של ההרשאות לכל method ואילו הרשאות נבדקות.

google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService

יומני הביקורת הבאים משויכים ל-methods ששייכות ל-google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.

GetConfig

  • Method:‏ google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.GetConfig
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.configs.get - DATA_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.GetConfig"

UpdateConfig

  • Method:‏ google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.UpdateConfig
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.configs.update - DATA_WRITE
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.UpdateConfig"

google.cloud.datacatalog.lineage.v1.Lineage

יומני הביקורת הבאים משויכים ל-methods ששייכות ל-google.cloud.datacatalog.lineage.v1.Lineage.

BatchSearchLinkProcesses

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.BatchSearchLinkProcesses
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.locations.searchLinks - DATA_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.BatchSearchLinkProcesses"

CreateLineageEvent

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.CreateLineageEvent
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.events.create - DATA_WRITE
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.CreateLineageEvent"

CreateProcess

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.CreateProcess
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.processes.create - DATA_WRITE
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.CreateProcess"

CreateRun

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.CreateRun
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.runs.create - DATA_WRITE
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.CreateRun"

DeleteLineageEvent

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.DeleteLineageEvent
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.events.delete - DATA_WRITE
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.DeleteLineageEvent"

DeleteProcess

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.DeleteProcess
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.processes.delete - DATA_WRITE
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: פעולה ממושכת
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.DeleteProcess"

DeleteRun

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.DeleteRun
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.runs.delete - DATA_WRITE
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: פעולה ממושכת
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.DeleteRun"

GetLineageEvent

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.GetLineageEvent
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.events.get - DATA_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.GetLineageEvent"

GetProcess

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.GetProcess
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.processes.get - DATA_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.GetProcess"

GetRun

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.GetRun
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.runs.get - DATA_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.GetRun"

ListLineageEvents

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ListLineageEvents
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.events.list - DATA_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ListLineageEvents"

ListProcesses

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ListProcesses
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.processes.list - DATA_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ListProcesses"

ListRuns

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ListRuns
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.runs.list - DATA_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ListRuns"

ProcessOpenLineageRunEvent

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ProcessOpenLineageRunEvent
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.locations.processOpenLineageMessage - DATA_WRITE
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ProcessOpenLineageRunEvent"

SearchLineageStreaming

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.SearchLineageStreaming
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.locations.searchLinks - DATA_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: סטרימינג של RPC
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.SearchLineageStreaming"
  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.SearchLinks
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.locations.searchLinks - DATA_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.SearchLinks"

UpdateProcess

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.UpdateProcess
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.processes.update - DATA_WRITE
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.UpdateProcess"

UpdateRun

  • Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.UpdateRun
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.runs.update - DATA_WRITE
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.UpdateRun"

google.longrunning.Operations

יומני הביקורת הבאים משויכים ל-methods ששייכות ל-google.longrunning.Operations.

GetOperation

  • Method:‏ google.longrunning.Operations.GetOperation
  • סוג יומן הביקורת: גישה לנתונים
  • הרשאות:
    • datalineage.operations.get - ADMIN_READ
  • ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  • סינון לפי ה-method: ‏ protoPayload.methodName="google.longrunning.Operations.GetOperation"

אילו methods לא יוצרות יומני ביקורת

יכולות להיות כמה סיבות שב-method מסוימת לא נוצרים יומני ביקורת:

  • מדובר ב-method שיש בה נפח גבוה של יומנים, שיצירה שלהם עלולה לגרור עלויות גבוהות של אחסון ויצירה.
  • הערך של הביקורת נמוך.
  • כבר יש יומן ביקורת או יומן פלטפורמה אחרים שמכסים את ה-method.

ה-methods הבאות לא יוצרות יומני ביקורת:

  • google.longrunning.Operations.CancelOperation
  • google.longrunning.Operations.DeleteOperation
  • google.longrunning.Operations.ListOperations
  • google.longrunning.Operations.WaitOperation