רשומות ביומן הניתוב

אתם יכולים להשתמש ב-Cloud Logging כדי לנתב רשומות ביומן משירותי Google Cloud , מהאפליקציות שלכם ומספקי שירותי ענן אחרים ליעדים לאחסון, לניתוח ולייצוא לצד שלישי.

כברירת מחדל, Cloud Logging מנתב את כל רשומות היומן לקטגוריות של יומנים בפרויקט, בתיקייה או בארגון שבהם הן נוצרו. עם זאת, אתם יכולים להגדיר כיורי יומנים כדי לנתב את נתוני היומנים לקטגוריות בהתאמה אישית או ל-Pub/Sub. ‫Pub/Sub תומך בייצוא הנתונים לכלים של צד שלישי.

ניתוב לעומת ייצוא של רשומות ביומן

ניתוב הוא התהליך של העברת רשומות ביומן שהתקבלו בפרויקט, בתיקייה או בארגון ב- Google Cloud ליעד. יעד הוא שירות שמעבד את רשומות היומן שהתקבלו ומבצע פעולה. לדוגמה, אפשר לנתב רשומות ביומן לקטגוריית יומנים. היעד הזה סורק את רשומות היומן כדי לאתר מידע על שגיאות, ואז כותב אותן באחסון.

ייצוא הוא התהליך של העברת רשומות ביומן מ- Google Cloud למיקום חיצוני. לדוגמה, אפשר לנתב רשומות ביומן ל-Pub/Sub ואז לייצא אותן לכלים של צד שלישי.

ב-Cloud Logging, רשומות ביומן מנותבות ליעדים באמצעות כיורי יומנים. כברירת מחדל, הרשומות ביומן מנותבות לאחד משני קטגוריות היומנים בפרויקט, בתיקייה או בארגון ב-Google Cloud . אתם יכולים ליצור sink ביומן כדי לנתב את נתוני היומנים ליעדים אחרים. אפשר גם לשנות את אחד מה-sink ביומן שנוצרו על ידי המערכת. במאמר הזה נתאר את האפשרויות האלה.

ב-Logs Explorer אתם יכולים להוריד לאחסון המקומי רשומות ביומן שמאוחסנות בקטגוריות של יומנים. עם זאת, אפשרות ההורדה מוגבלת ל-10,000 רשומות ביומן. כדי לייצא את רשומות היומן מ-Google Cloud, מגדירים sink ביומן לניתוב רשומות היומן הנכנסות ל-Pub/Sub, ואז מייצאים את הנתונים האלה מ- Google Cloud.

מידע על נתבי יומנים

לכל פרויקט, חשבון לחיוב, תיקייה וארגון ב- Google Cloud יש נתב יומנים, שמנהל את זרימת רשומות היומן דרך כיורים ברמת המשאב. הנתב של יומני הרישום גם מנהל את הזרימה של רשומת היומן דרך כיורים שנמצאים בהיררכיית המשאבים של הרשומה. הכיורים קובעים איך רשומות ביומן מנותבות ליעדים.

נתב היומנים שומר רשומת יומן באופן זמני. התנהגות זו מונעת שיבושים זמניים והפסקות שעלולים להתרחש כש<b>רשומה ביומן</b> עוברת דרך כיורים. אחסון זמני לא מגן מפני שגיאות בהגדרות.

האחסון הזמני של נתב היומנים נפרד מהאחסון לטווח ארוך יותר שמספקות קטגוריות הרישום ביומן.

רשומות יומן נכנסות עם חותמות זמן שחורגות מתקופת השמירה של היומנים בעבר או שחורגות מ-24 שעות בעתיד נמחקות.

מידע על כיורי יומנים

כש-sink ביומן מקבל רשומה ביומן, הוא קובע אם להתעלם מהרשומה או לנתב אותה ליעד של ה-sink. כדי לקבל את ההחלטה הזו, ה-sink ביומן משווה בין רשומת היומן לבין המסננים שלו. היעד של הכיור יכול להיות פרויקט, מיקום אחסון או שירות כמו Pub/Sub. לדוגמה, כיור יכול לנתב רשומות ביומן לקטגוריית יומנים.

כיורי יומנים שייכים למשאב נתון ב- Google Cloud : פרויקטים, חשבונות לחיוב, תיקיות וארגונים. Google Cloud המשאבים האלה מכילים גם כמה sinks ביומן. כשמשאב מקבל רשומת יומן, כל sink ביומן של המשאב הזה מעריך אותה באופן עצמאי. כתוצאה מכך, כמה sinks ביומן יכולים לנתב את אותה רשומה ביומן.

כברירת מחדל, נתוני היומן מאוחסנים בפרויקט שבו הנתונים נוצרו. עם זאת, יש כמה סיבות שבגללן אולי תרצו לשנות את ההגדרה הזו:

  • כדי לרכז את האחסון של נתוני היומן.
  • כדי לאחד את נתוני היומן עם נתונים עסקיים אחרים.
  • כדי לארגן את נתוני היומן בצורה שמועילה לכם.
  • כדי להעביר את היומנים בסטרימינג לאפליקציות אחרות, למאגרים אחרים או לצדדים שלישיים. לדוגמה, יכול להיות שתרצו לייצא את היומנים מ- Google Cloud כדי שתוכלו לראות אותם בפלטפורמה של צד שלישי. כדי לייצא את רשומות היומן, צריך ליצור sink ביומן שמנתב את רשומות היומן ל-Pub/Sub.

אם ה-sink ביומן לא מוגדר נכון, רשומות ביומן לא מנותבות. אם הכיור לא מוגדר נכון, נכתבות רשומות ביומן שמדווחות על פרטי השגיאה. בנוסף, נשלחת הודעת אימייל לאנשי הקשר החיוניים של המשאב. מידע נוסף זמין במאמר פתרון בעיות: הצגת שגיאות.

אי אפשר להשתמש ב-sink ביומן כדי לנתב רשומות ביומן באופן רטרואקטיבי. כלומר, אי אפשר לנתב באמצעות sink ביומן רשומת יומן שהתקבלה לפני שה-sink נוצר. באופן דומה, אם כיור מוגדר באופן שגוי, הוא מנתב רק רשומות ביומן שמגיעות אחרי שפותרים את שגיאת ההגדרה.

תמיכה בארגונים ובתיקיות

כדי לנהל את נתוני היומן בארגון או בתיקייה, אתם יכולים:

  • אפשר ליצור כיורים נצברים, שמנתבים רשומות ביומן של ארגון או תיקייה ושל הצאצאים שלהם, ליעד שצוין על ידי הכיור. יש שני סוגים של כיורים נצברים:

    • כיורים נצברים שלא מיירטים
    • יירוט של כיורים נצברים

    כיורים מיירטים יכולים לשנות את אופן הניתוב של משאבים שנמצאים נמוך יותר בהיררכיה. כיורים ללא יירוט לא משפיעים על הניתוב של משאבים אחרים. כשכיור מיירט במשאב תואם לרשומה ביומן, הרשומה לא נשלחת לכיורים במשאבי הצאצא, למעט במקרה שבו הרשומה ביומן נשלחת תמיד לsink ביומן _Required במשאב שממנו מגיעה הרשומה ביומן.

  • אתם יכולים לקבוע את הגדרות ברירת המחדל של המשאבים ב-Cloud Logging, כדי לציין את ההגדרות של הכיור _Default שנוצר על ידי המערכת למשאבים חדשים בארגון או בתיקייה. לדוגמה, אפשר להשתמש בהגדרות האלה כדי להשבית את הכיור _Default או לציין את המסננים בכיור הזה.

דוגמאות לניתוב

בקטע הזה מוסבר איך רשומת יומן שמקורה בפרויקט יכולה לעבור דרך הכיורים בהיררכיית המשאבים שלו.

דוגמה: אין כיורים נצברים

אם אין sinks נצברים בהיררכיית המשאבים של רשומה ביומן, רשומה ביומן נשלחת ל-sinks ביומן בפרויקט שממנו מגיעה רשומה ביומן. כיור ברמת הפרויקט מנתב את רשומת היומן ליעד של הכיור, אם רשומת היומן תואמת למסנן ההכללה של הכיור אבל לא תואמת לאף אחד ממסנני ההחרגה של הכיור.

דוגמה: קיים כיור נתונים נצבר שלא מיירט

נניח שבהיררכיית המשאבים של רשומת יומן קיים כיור נתונים נצברים שלא מיירט. אחרי שהנתב של היומנים שולח את הרשומה ביומן לכיור המצטבר שלא מוגדר ליירוט, קורים הדברים הבאים:

  1. הכיור המצטבר ללא יירוט מנתב את רשומת היומן ליעד של הכיור כשרשומת היומן תואמת למסנן ההכללה, אבל לא תואמת לאף מסנן החרגה.

  2. הנתב של היומנים שולח את הרשומה ביומן ל-sink ביומן בפרויקט שבו נוצרה הרשומה ביומן.

    כיור ברמת הפרויקט מנתב את רשומת היומן ליעד של הכיור, אם רשומת היומן תואמת למסנן ההכללה של הכיור אבל לא תואמת לאף אחד ממסנני ההחרגה של הכיור.

דוגמה: קיים כיור מצטבר ליירוט

נניח שקיים כיור נתונים מצטבר מיירט בהיררכיית המשאבים של רשומה ביומן. אחרי שהנתב של היומנים שולח את הרשומה ביומן לכיור המצטבר שמיירט, קורה אחד מהדברים הבאים:

  • הרשומה ביומן תואמת למסנן ההכללה אבל לא תואמת לאף מסנן החרגה:

    1. רשומת היומן מנותבת ליעד של ה-sink המצטבר שקולט את הרשומות.
    2. רשומת היומן נשלחת לכיור _Required בפרויקט שבו נוצרה רשומת היומן.

  • הרשומה ביומן לא תואמת למסנן ההכללה או שהיא תואמת לפחות למסנן החרגה אחד:

    1. הרשומה ביומן לא מנותבת על ידי ה-sink המצטבר שמיירט.

    2. הנתב של היומנים שולח את הרשומה ביומן ל-sink ביומן בפרויקט שבו נוצרה הרשומה ביומן.

      כיור ברמת הפרויקט מנתב את רשומת היומן ליעד של הכיור, אם רשומת היומן תואמת למסנן ההכללה של הכיור אבל לא תואמת לאף אחד ממסנני ההחרגה של הכיור.

מסננים של sink ביומן

כל sink ביומן מכיל מסנן הכללה אחד ויכול להכיל כמה מסנני החרגה. המסננים האלה קובעים אם ה-sink ביומן ינתב רשומה ביומן ליעד של ה-sink. אם לא תציינו מסננים, כל רשומת יומן תנותב ליעד של הכיור.

רשומת יומן מנותבת על ידי sink ביומן לפי הכללים הבאים:

  • אם רשומת היומן לא תואמת למסנן ההכללה, היא לא מנותבת. אם לא מציינים מסנן הכללה ב-sink, כל רשומת יומן תואמת למסנן הזה.

  • אם רשומת היומן תואמת למסנן ההכללה ולפחות למסנן החרגה אחד, היא לא מנותבת.

  • אם רשומת היומן תואמת למסנן ההכללה ולא תואמת לאף מסנן החרגה, היא מנותבת ליעד של ה-sink.

המסננים ב-sink ביומן מוגדרים באמצעות שפת השאילתות של Logging.

אי אפשר להשתמש במסנני החרגה כדי להפחית את צריכת המכסה של entries.write API או את מספר הקריאות ל-entries.write API. מסנני ההחרגה מופעלים אחרי שרשומות ביומן מתקבלות על ידי Logging API.

כיורי יומנים שנוצרו על ידי המערכת

לכל פרויקט, חשבון לחיוב, תיקייה וארגון ב- Google Cloud , מערכת Cloud Logging יוצרת שני כיורים של יומנים, אחד בשם _Required והשני בשם _Default. מסנני ההכללה וההחרגה של אובייקטי ה-sink האלה מבטיחים שכל רשומת יומן שמקורה במשאב תנותב על ידי אחד מאובייקטי ה-sink האלה. שני ה-sinks מנתבים את נתוני היומן לקטגוריית יומנים שנמצאת באותו משאב כמו ה-sink ביומן.

בהמשך הקטע מפורט מידע על המסננים והיעדים של ה-sink ביומן שנוצרו על ידי המערכת.

‫sink ביומן של _Required

ה-sink ביומן _Required במשאב מנתב קבוצת משנה של יומני ביקורת אל קטגוריית היומנים _Required של המשאב. בכיור הזה לא צוינו מסנני החרגה, ומסנן ההכללה הוא:

LOG_ID("cloudaudit.googleapis.com/activity") OR
LOG_ID("externalaudit.googleapis.com/activity") OR
LOG_ID("cloudaudit.googleapis.com/system_event") OR
LOG_ID("externalaudit.googleapis.com/system_event") OR
LOG_ID("cloudaudit.googleapis.com/access_transparency") OR
LOG_ID("externalaudit.googleapis.com/access_transparency")

ה-sink ביומן _Required תואם רק לרשומות ביומן שמקורן במשאב שבו מוגדר ה-sink ביומן _Required. לדוגמה, נניח ש-sink ביומן מנתב רשומה ביומן הפעילות מפרויקט A לפרויקט B. מכיוון שרשומת היומן לא נוצרה בפרויקט B, ה-sink ביומן _Required בפרויקט B לא מנתב את רשומת היומן הזו לקטגוריית היומנים _Required.

אי אפשר לשנות או למחוק את ה-sink ביומן _Required.

‫sink ביומן של _Default

ה-sink ביומן _Default במשאב מנתב את רשומות היומן לקטגוריית היומנים _Default של המשאב. מסנן ההכללה של ה-sink הזה ריק, ולכן הוא תואם לכל רשומות היומן. עם זאת, מסנן ההחרגה מוגדר באופן הבא:

NOT LOG_ID("cloudaudit.googleapis.com/activity") AND
NOT LOG_ID("externalaudit.googleapis.com/activity") AND
NOT LOG_ID("cloudaudit.googleapis.com/system_event") AND
NOT LOG_ID("externalaudit.googleapis.com/system_event") AND
NOT LOG_ID("cloudaudit.googleapis.com/access_transparency") AND
NOT LOG_ID("externalaudit.googleapis.com/access_transparency")

אפשר לשנות ולהשבית את ה-sink ביומן _Default. לדוגמה, אתם יכולים לערוך את ה-sink ביומן _Default ולשנות את היעד. אפשר גם לשנות מסננים קיימים ולהוסיף מסנני החרגה.

יעדי Sink

היעד של הכיור יכול להיות במשאב שונה מהכיור. לדוגמה, אתם יכולים להשתמש ב-sink ביומן כדי לנתב רשומות ביומן מפרויקט אחד לקטגוריית יומנים שמאוחסנת בפרויקט אחר.

אפשר להשתמש ביעדים הבאים:

פרויקטGoogle Cloud

בוחרים ביעד הזה כשרוצים שהכיורים של היומנים בפרויקט היעד ינתבו מחדש את רשומות היומן, או כשיוצרים כיור מצטבר ליירוט. הכיורים של היומנים בפרויקט היעד יכולים לנתב מחדש את רשומות היומן לכל יעד נתמך, חוץ מאשר לפרויקט.

ה-sink ביומן שנוצר על ידי המערכת בפרויקט היעד לא כולל רשומות ביומן שמנותבות לקטגוריה ביומן _Required בפרויקט המקור. לדוגמה, אם אתם מנתבים את יומני פעילות הניהול לפרויקט אחר, גם ה-sink ביומן _Required וגם ה-sink ביומן _Default בפרויקט היעד לא כוללים את הרשומות האלה ביומן. כדי לאחסן את רשומות היומן האלה, בפרויקט היעד מעדכנים את ה-sink ביומן _Default או יוצרים sink ביומן בהתאמה אישית.

קטגוריה ביומן
בוחרים את היעד הזה כשרוצים לאחסן את נתוני היומן במשאבים שמנוהלים על ידי Cloud Logging. אפשר להציג ולנתח נתוני יומנים שמאוחסנים בקטגוריות של יומנים באמצעות שירותים כמו מציג היומנים.
נושא Pub/Sub
בוחרים את היעד הזה כשרוצים לייצא את נתוני היומן מ-Google Cloud ואז להשתמש בשילוב עם צד שלישי. רשומות ביומן מעוצבות כ-JSON ואז מנותבות לנושא Pub/Sub.

הגבלות על יעדי מודעות

בקטע הזה מתוארות המגבלות הספציפיות ליעדים:

  • כשמגדירים יעד לכיור, צריך לספק את הנתיב המלא ולהשתמש בנקודת הקצה הגלובלית של השירות. אין תמיכה בנקודות קצה אזוריות של שירותים (REPs), כמו pubsub.LOCATION.rep.googleapis.com.

  • אי אפשר לנתב יומנים לנושא Pub/Sub שאוכף הגבלות על נתונים במעבר. רישום ביומן לא יכול להבטיח שבקשות הפרסום מגיעות מאזור מותר, מה שגורם לשגיאות בהגדרות של topic_region_not_allowed וליומנים שנמחקו.

  • המגבלות הבאות חלות כשהיעד של ה-sink ביומן הוא פרויקט ב- Google Cloud :

    • יש מגבלה של דילוג אחד.
    • ה-sink ביומן _Required בפרויקט היעד מנתב את רשומות היומן לקטגוריית היומן _Required של הפרויקט כשרשומות היומן תואמות למסנן של ה-sink ומקורן בפרויקט היעד.
    • ה-sink ביומן _Default בפרויקט היעד מנתב רשומות ביומן שתואמות למסנן ההכללה שלו ולא תואמות לאף מסנן החרגה. ה-sink ביומן _Default לא כולל רשומות מסוימות ביומן. לדוגמה, הכיור הזה לא מנתב רשומות ביומן של פעילות אדמין ואירועי מערכת. אפשר לשנות את הכיור הזה.
    • רק כיורים נצברים שנמצאים בהיררכיית המשאבים של רשומת יומן מעבדים את הרשומה.

    לדוגמה, נניח שהיעד של sink ביומן בפרויקט A הוא פרויקט B. במקרה כזה, הכללים הבאים חלים:

    • בגלל המגבלה של דילוג אחד, כיורי היומנים בפרויקט B לא יכולים לנתב מחדש רשומות ביומן לפרויקט Google Cloud אחר.
    • קטגוריית היומנים _Required של הפרויקט B מאחסנת רק רשומות ביומן שמקורן בפרויקט B. בקטגוריית היומנים הזו לא מאוחסנות רשומות ביומן שמקורן במשאב אחר, כולל כאלה שמקורן בפרויקט A.
    • אם לפרויקט A ולפרויקט B יש היררכיות משאבים שונות, רשומת יומן שמועברת על ידי sink ביומן בפרויקט A לפרויקט B לא נשלחת ל-sinks המצטברים בהיררכיית המשאבים של פרויקט B.
    • אם לפרויקט A ולפרויקט B יש את אותה היררכיית משאבים, רשומות ביומן נשלחות לכיורים המצטברים בהיררכיה הזו. אם רשומת יומן לא נתפסת על ידי כיור נתונים נצבר, הנתב של היומן שולח את הרשומה לכיורי הנתונים בפרויקט A.

שיטות מומלצות

כשאתם מנהלים את אחסון היומנים, אתם יכולים לנהל את ה-sinks ביומן. לדוגמה, אם מוחקים את היעד של ה-sink ביומן, צריך למחוק גם את ה-sink ביומן.

במאמרים הבאים מפורטות שיטות מומלצות לשימוש בניתוב לצורך משילות מידע (data governance) או לתרחישים נפוצים:

דוגמאות: ריכוז של אחסון היומנים

בקטע הזה מוסבר איך להגדיר אחסון מרכזי. אחסון מרכזי מספק מקום אחד לשליחת שאילתות לגבי נתוני יומנים, וכך מפשט את השאילתות כשמחפשים מגמות או חוקרים בעיות. מבחינת אבטחה, יש לכם גם מיקום אחסון אחד, שיכול לפשט את המשימות של מנתחי האבטחה.

אם אתם מרכזים את אחסון היומנים, כדאי לשקול אם להוסיף מנעול למניעת מחיקה לפרויקט שבו מאוחסנים נתוני היומנים. מנעול למניעת מחיקה יכול למנוע מחיקה בטעות של פרויקט. מידע נוסף זמין במאמר הגנה על פרויקטים באמצעות שעבודים.

ריכוז של אחסון היומנים לפרויקטים בתיקייה

נניח שאתם מנהלים תיקייה ורוצים לרכז את האחסון של רשומות היומן. במקרה כזה, אפשר לבצע את הפעולות הבאות:

  1. בתיקייה, אתם יוצרים פרויקט בשם CentralStorage.
  2. יוצרים כיור נתונים מצטבר ליירוט בתיקייה, ומגדירים אותו לניתוב של כל רשומות היומן. הגדרתם את היעד של הכיור לפרויקט בשם CentralStorage.

כשמגיעה רשומת יומן שמקורה בתיקייה או באחד ממשאבי הצאצא שלה, רשומת היומן נשלחת לכיור המצטבר המיירט שיצרתם. הכיור הזה מנתב את רשומות היומן לפרויקט שנקרא CentralStorage. ה-sink ביומן בפרויקט הזה מעבדים את הרשומות ביומן:

  • ה-sink ביומן _Default מנתב אל קטגוריית היומנים _Default את כל רשומות היומן שתואמות למסנן של ה-sink. קטגוריית היומנים הזו היא מיקום האחסון המרכזי שלכם.

  • ה-sink ביומן _Required מנתב לקטגוריית היומנים _Required את רשומות היומן שתואמות למסננים של ה-sink, שמקורן בפרויקט CentralStorage. קטגוריית היומנים הזו היא לא מיקום אחסון מרכזי. עם זאת, אתם יכולים לאחסן את כל נתוני היומנים במקום אחד. לדוגמה, קראו את המאמר אחסון יומני ביקורת במיקום מרכזי.

אחרי שהעיבוד של ה-sink המצטבר מסתיים, רשומת היומן נשלחת ל-_Required sink ביומן במשאב שבו נוצרה רשומת היומן. כשהרשומה ביומן תואמת למסנן ב-sink ביומן _Required, הרשומה מנותבת למאגר היומנים _Required של המשאב. לכן, כל פרויקט Google Cloud בתיקייה מאחסן רשומות ביומן בקטגוריית היומנים _Required שלו.

ריכוז של אחסון היומנים של קבוצת פרויקטים

אתם יכולים גם לאחסן רשומות ביומן במיקום אחד כשאין לכם ארגון או תיקייה. לדוגמה, אתם יכולים:

  1. יוצרים פרויקט בשם CentralStorage.
  2. בכל פרויקט, חוץ מהפרויקט CentralStorage, עורכים את ה-sink ביומן _Default ומגדירים את היעד לפרויקט CentralStorage.

יכול להיות שאתם תוהים למה בדוגמה הקודמת היעד של ה-sink ביומן _Default מוגדר כפרויקט, ולא כקטגוריית היומנים _Default באותו פרויקט. הסיבות העיקריות הן פשטות ועקביות. כשמנתבים רשומות ביומן לפרויקט, ה-sinks ביומן בפרויקט היעד קובעים אילו רשומות ביומן יאוחסנו ואיפה הן יאוחסנו. כלומר, אתם מרכזים את פונקציונליות הסינון והיעד. אם רוצים לשנות את רשומות היומן שנשמרות או את המיקום שבו הן נשמרות, צריך לשנות רק את ה-sinks ביומן בפרויקט אחד.

אחסון מרכזי של יומני ביקורת

אתם יכולים לאחסן באופן מרכזי רשומות ביומן שתואמות ל_Required sink ביומן. כדי לאחסן את רשומות היומן האלה באופן מרוכז, אתם יכולים לבצע אחת מהפעולות הבאות:

  • יוצרים כיורי יומן שמנתבים רשומות יומן שתואמות ל-sink ביומן _Required לקטגוריית יומנים מרכזית.

  • מגדירים את ה-sink ביומן כמו בשתי הדוגמאות הקודמות, ואז מוסיפים בפרויקט היעד sink ביומן שמנתב רשומות ביומן שתואמות ל-sink ביומן _Required לקטגוריית יומנים. אפשר גם לערוך את המסננים ב-sink ביומן _Default.

לפני שאתם מיישמים אסטרטגיה כזו, כדאי לעיין בהנחיות בנושא תמחור.

המאמרים הבאים

כדי לנתב ולאחסן נתונים של Cloud Logging, אפשר להיעזר במסמכים הבאים: