ניתוב יומנים ליעדים נתמכים

כיורי יומנים ב-Cloud Logging מאפשרים לנתב רשומות ביומן מהפרויקט ב- Google Cloud ליעדים נתמכים לצורך אחסון לטווח ארוך, ניתוח או סטרימינג. כדי להעביר את היומנים, כל כיור כותב ליעד מורשה, כמו קטגוריית יומנים או נושא Pub/Sub.

כיור מבצע פעולת כתיבה, ולכן צריך לתת לו הרשאה לכתוב ביעד. כשהיעד הוא קטגוריית יומנים באותו פרויקט של הכיור, הכיור מקבל הרשאה באופן אוטומטי. בכל שאר היעדים, צריך לצרף את הכיור לחשבון שירות שקיבל את ההרשאות הנדרשות לכתיבת נתונים ביעד.

כשנדרש חשבון שירות, Cloud Logging יוצר ומנהל אותו באופן אוטומטי. עם זאת, יכול להיות שתצטרכו לשנות את ההרשאות שניתנו לחשבון השירות. אתם לא חייבים להשתמש בחשבון השירות שנוצר על ידי Logging. אתם יכולים ליצור ולנהל חשבון שירות שמשמש כיעדים בכמה פרויקטים. מידע נוסף מופיע במאמר הגדרת sink ביומן עם חשבונות שירות בניהול המשתמש.

סקירה כללית

במאמר הזה מוסבר איך ליצור sink ואיך להגדיר את האפשרויות שמופיעות כשמשתמשים במסוף Google Cloud , ב-Google Cloud CLI או ב-API.

כיורים שייכים למשאב נתון ב- Google Cloud : פרויקט ב- Google Cloud , חשבון לחיוב, תיקייה או ארגון. כשהמשאב מקבל רשומת יומן, כל כיור במשאב מעבד את רשומת היומן. אם רשומה ביומן תואמת למסננים של הכיור, היא מנותבת ליעד של הכיור.

בדרך כלל, כיורים מנתבים רק את רשומות היומן שמקורן במשאב. עם זאת, בתיקיות ובארגונים אפשר ליצור כיורים נצברים. הכיורים האלה מנתבים רשומות ביומן שמקורן בתיקייה או בארגון, וגם במשאבי הצאצא שלהם. במסמך הזה לא מוסבר על כיורים נצברים. מידע נוסף מופיע במאמר סקירה כללית על כיורים נצברים.

כדי ליצור ולנהל כיורים, אתם יכולים להשתמש במסוף Google Cloud , ב-Cloud Logging API וב-Google Cloud CLI. מומלץ להשתמש במסוף Google Cloud מהסיבות הבאות:

• אפשר להגדיר יעדי sink כחלק מהתהליך ליצירת sink.
• אתם יכולים לראות בתצוגה מקדימה אילו רשומות ביומן תואמות למסננים של הכיור.
• חלק משלבי ההרשאה פשוטים יותר.

מומלץ לבדוק את ההגדרות של ה-sink ביומן כשמבצעים שינויים באחסון היומנים. לדוגמה, אם מוחקים את היעד של sink ביומן, צריך למחוק גם את sink היומן התואם.

בקטע ניהול אובייקטי sink ביומן מוסבר איך לראות ולנהל את אובייקטי ה-sink ביומן.

יעדים נתמכים

הערה: כדי להשתמש בכלי ההמחשה והניתוח של Cloud Logging, צריך לאחסן את הרשומות ב-bucket של יומנים. קטגוריות היומנים האלה לא חייבות להיות באותו משאב שבו נוצרו רשומות היומן. לדוגמה, אתם יכולים להגדיר כיור נתונים נצברים כדי לנתב רשומות ביומן לפרויקט ב- Google Cloud , ואז להגדיר את כיורי הנתונים בפרויקט הזה כדי לנתב מחדש את הרשומות ביומן לקטגוריות מקומיות של יומנים.

היעד של הכיור יכול להיות במשאב שונה מהכיור. לדוגמה, אתם יכולים להשתמש ב-sink ביומן כדי לנתב רשומות ביומן מפרויקט אחד לקטגוריית יומנים שמאוחסנת בפרויקט אחר.

אפשר להשתמש ביעדים הבאים:

פרויקטGoogle Cloud

בוחרים ביעד הזה כשרוצים שהכיורים של היומנים בפרויקט היעד ינתבו מחדש את רשומות היומן, או כשיוצרים כיור מצטבר ליירוט. הכיורים של היומנים בפרויקט היעד יכולים לנתב מחדש את רשומות היומן לכל יעד נתמך, חוץ מאשר לפרויקט.

ה-sink ביומן שנוצר על ידי המערכת בפרויקט היעד לא כולל רשומות ביומן שמנותבות לקטגוריה ביומן _Required בפרויקט המקור. לדוגמה, אם אתם מנתבים את יומני פעילות הניהול לפרויקט אחר, גם ה-sink ביומן _Required וגם ה-sink ביומן _Default בפרויקט היעד לא כוללים את הרשומות האלה ביומן. כדי לאחסן את רשומות היומן האלה, בפרויקט היעד מעדכנים את ה-sink ביומן של _Default או יוצרים sink ביומן בהתאמה אישית.

הערה: זהו סוג היעד היחיד שבו רשומות ביומן מנותבות מחדש. לדוגמה, אם אתם מנתבים רשומות ביומן מפרויקט אחד לקטגוריה של יומנים בפרויקט אחר, הרשומות האלה לא מנותבות מחדש על ידי ה-sinks ביומן בפרויקט שבו מאוחסנת הקטגוריה של היומנים.

קטגוריה ביומן

בוחרים את היעד הזה כשרוצים לאחסן את נתוני היומן במשאבים שמנוהלים על ידי Cloud Logging. אפשר להציג ולנתח נתוני יומנים שמאוחסנים בקטגוריות של יומנים באמצעות שירותים כמו מציג היומנים.

נושא Pub/Sub

בוחרים את היעד הזה כשרוצים לייצא את נתוני היומן מ-Google Cloud ואז להשתמש בשילוב עם צד שלישי. רשומות ביומן מעוצבות כ-JSON ואז מנותבות לנושא Pub/Sub.

הגבלות על יעדי מודעות

בקטע הזה מתוארות המגבלות הספציפיות ליעדים:

• כשמגדירים יעד לכיור, צריך לספק את הנתיב המלא ולהשתמש בנקודת הקצה הגלובלית של השירות. אין תמיכה בנקודות קצה אזוריות של שירותים (REPs), כמו pubsub.LOCATION.rep.googleapis.com.

• אי אפשר לנתב יומנים לנושא Pub/Sub שאוכף הגבלות על נתונים במעבר. רישום ביומן לא יכול להבטיח שבקשות הפרסום מגיעות מאזור מותר, מה שגורם לשגיאות בהגדרות של topic_region_not_allowed וליומנים שנמחקו.

• המגבלות הבאות חלות כשהיעד של ה-sink ביומן הוא פרויקט ב- Google Cloud :

  • יש מגבלה של דילוג אחד.
  • ה-sink ביומן _Required בפרויקט היעד מנתב את רשומות היומן לקטגוריית היומן _Required של הפרויקט כשרשומות היומן תואמות למסנן של ה-sink ומקורן בפרויקט היעד.
  • ה-sink ביומן _Default בפרויקט היעד מנתב רשומות ביומן שתואמות למסנן ההכללה שלו ולא תואמות לאף מסנן החרגה. ה-sink ביומן _Default לא כולל רשומות מסוימות ביומן. לדוגמה, הכיור הזה לא מנתב רשומות ביומן של פעילות אדמין ואירועי מערכת. אפשר לשנות את הכיור הזה.
  • רק כיורים נצברים שנמצאים בהיררכיית המשאבים של רשומת יומן מעבדים את הרשומה.

  לדוגמה, נניח שהיעד של sink ביומן בפרויקט A הוא פרויקט B. במקרה כזה, הכללים הבאים חלים:

  • בגלל המגבלה של דילוג אחד, כיורי היומנים בפרויקט B לא יכולים לנתב מחדש רשומות ביומן לפרויקט Google Cloud אחר.
  • קטגוריית היומנים _Required של הפרויקט B מאחסנת רק רשומות ביומן שמקורן בפרויקט B. בקטגוריית היומנים הזו לא מאוחסנות רשומות ביומן שמקורן במשאב אחר, כולל כאלה שמקורן בפרויקט A.
  • אם לפרויקט A ולפרויקט B יש היררכיות משאבים שונות, רשומת יומן שמועברת על ידי sink ביומן בפרויקט A לפרויקט B לא נשלחת ל-sinks המצטברים בהיררכיית המשאבים של פרויקט B.
  • אם לפרויקט A ולפרויקט B יש את אותה היררכיית משאבים, רשומות ביומן נשלחות לכיורים המצטברים בהיררכיה הזו. אם רשומת יומן לא נתפסת על ידי כיור נתונים נצברים, הנתב של היומן שולח את הרשומה לכיורי הנתונים בפרויקט A.

לפני שמתחילים

ההוראות במסמך הזה מתארות איך ליצור ולנהל כיורים ברמת הפרויקט ב-Google Cloud . אתם יכולים להשתמש באותו תהליך כדי ליצור כיור שמנתב רשומות ביומן שמקורן בארגון, בתיקייה או בחשבון לחיוב.

כדי להתחיל, צריך לבצע את הפעולות הבאות:

1. מפעילים את Cloud Logging API, אם הוא עדיין לא מופעל.

   התפקידים שנדרשים כדי להפעיל ממשקי API

   כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, אתם יכולים לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים?

   להפעלת ה-API

2. מוודאים שבפרויקט Google Cloud יש רשומות ביומן שאפשר לראות ב-Logs Explorer.

3. כדי לקבל את ההרשאות שנדרשות ליצירה, לשינוי או למחיקה של כיור, בקשו מהאדמין להקצות לכם את התפקיד כתיבת הגדרות של יומנים (roles/logging.configWriter) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

   יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

   במדריך בקרת הגישה של Logging מוסבר איך נותנים תפקידים ב-IAM.

4. מוודאים שיש לכם משאב ביעד נתמך או שיש לכם אפשרות ליצור משאב כזה.

   כדי לנתב רשומות ביומן ליעד, היעד צריך להיות קיים לפני שיוצרים את ה-sink. אפשר ליצור את היעד בכלGoogle Cloud פרויקט בכל ארגון.

5. לפני שיוצרים sink, צריך לבדוק את המגבלות שחלות על היעד של ה-sink. מידע נוסף זמין בקטע מגבלות על היעדים במאמר הזה.

6. בוחרים את הממשק שבו רוצים להשתמש:

   המסוף

   כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים ולממשקי ה-API של Google Cloud , לא צריך להגדיר אימות.

   gcloud

   התקינו את ה-CLI של Google Cloud ואז היכנסו ל-CLI של gcloud באמצעות הזהות המאוחדת שלכם. אחרי שנכנסתם לחשבון, אתחלו את ה-CLI של Google Cloud באמצעות הפקודה הבאה:

   gcloud init

   הערה: אם התקנתם את ה-CLI של gcloud, השתמשו בפקודה gcloud components update כדי לבדוק אם הגרסה העדכנית מותקנת.

   REST

   כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.

   התקינו את ה-CLI של Google Cloud ואז היכנסו ל-CLI של gcloud באמצעות הזהות המאוחדת שלכם.

   מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .

יצירת sink

בקטע הזה מוסבר איך יוצרים sink בפרויקט ב- Google Cloud . אפשר ליצור עד 200 כיורים לכל פרויקט ב- Google Cloud . כדי לראות את המספר והנפח של רשומות היומן שמנותבות, אפשר להציג את המדדים של logging.googleapis.com/exports/.

משתמשים בשפת השאילתות של Logging כדי ליצור ביטוי סינון שתואם לרשומות ביומן שרוצים לכלול. אל תזינו מידע רגיש במסנני ה-sink. מסנני הכיור נחשבים לנתוני שירות.

כששאילתה מכילה כמה הצהרות, אתם יכולים לציין איך ההצהרות האלה מצטרפות, או להסתמך על Cloud Logging שמוסיף באופן משתמע את ההגבלה המשותפת, AND, בין ההצהרות. לדוגמה, נניח שתיבת דו-שיח של שאילתה או מסנן מכילה שתי הצהרות, resource.type = "gce_instance" ו-severity >= "ERROR". השאילתה בפועל היא resource.type = "gce_instance" AND severity >= "ERROR". ב-Cloud Logging אפשר להשתמש גם בהגבלות מופרדות, OR, וגם בהגבלות מחוברות, AND. כשמשתמשים בהצהרות OR, מומלץ לקבץ את הסעיפים בסוגריים.

הערה: רשומות ביומן שנשלחות לפרויקט לא מכילות מידע על קבוצת השגיאות. כלומר, אי אפשר לסנן את ה-sink ביומן לפי קבוצת שגיאות. זה גם אומר שנתוני היומן שנשלחים ליעדים לא מכילים מידע על קבוצות השגיאות. אם אתם מנתבים את היומנים ליעד של קטגוריית היומנים, היעד הזה מוסיף את המידע על קבוצת השגיאות לרשומות ביומן כשהוא מאחסן אותן בקטגוריית היומנים.

כדי ליצור sink:

המסוף

1. נכנסים לדף Log Router במסוף Google Cloud :

   נכנסים לדף Log Router.

   אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

2. בוחרים את הפרויקט Google Cloud שבו נוצרו רשומות היומן שרוצים לנתב.

   לדוגמה, אם רוצים לנתב את רשומות היומן של Data Access מהפרויקט Project-A לקטגוריית יומנים בפרויקט Project-B, בוחרים באפשרות Project-A.

3. לוחצים על Create sink.

4. בקטע Sink details, מזינים את הפרטים הבאים:

   • שם הכיור: מזינים מזהה לכיור. אחרי שיוצרים את הכיור, אי אפשר לשנות את השם שלו, אבל אפשר למחוק אותו וליצור כיור חדש.

   • ‫Sink description (אופציונלי): תיאור המטרה או תרחיש לדוגמה של הכיור.

5. בחלונית Sink destination, בוחרים את שירות הכיור ואת היעד באמצעות התפריט Select sink service. מבצעים את אחת מהפעולות הבאות:

   • כדי לנתב רשומות ביומן לשירות שנמצא באותו פרויקט ב-Google Cloud , בוחרים באחת מהאפשרויות הבאות:

     • קטגוריה של Cloud Logging: בוחרים או יוצרים קטגוריה של Logging.
     • נושא Pub/Sub: בוחרים או יוצרים את הנושא שיקבל את רשומות היומן המנותבות.
     הערה: אל תבחרו נושא Pub/Sub שאוכף הגבלות על נתונים במעבר. מכיוון ש-sink ביומן חייבים להשתמש בנקודות קצה גלובליות, ב-Logging אי אפשר להבטיח שבקשות הפרסום מגיעות מאזור מותר, מה שגורם לשגיאות בהגדרות של topic_region_not_allowed וליומנים שנמחקו.

   • כדי לנתב רשומות ביומן לפרויקט אחר ב- Google Cloud , בוחרים באפשרות Google Cloud project ומזינים את השם המלא של היעד:

     logging.googleapis.com/projects/DESTINATION_PROJECT_ID
     

   • כדי לנתב רשומות ביומן לשירות שנמצא בפרויקט אחר ב-Google Cloud :

     1. בוחרים באפשרות משאב אחר.
     2. מזינים את השם המלא של היעד. כאן מוסבר על התחביר של הפורמטים של נתיבי היעד.

6. מציינים את הרשומות ביומן שרוצים לכלול:

   1. עוברים לחלונית Choose logs to include in sink.

   2. בשדה Build inclusion filter, מזינים ביטוי סינון שתואם לרשומות ביומן שרוצים לכלול. למידע על התחביר, קראו את המאמר שפת השאילתות של Logging.

      אם לא מגדירים מסנן, כל רשומות היומן מהמשאב שנבחר מנותבות ליעד.

      לדוגמה, כדי לנתב את כל רשומות היומן של Data Access לקטגוריית Logging, אפשר להשתמש במסנן הבא:

      log_id("cloudaudit.googleapis.com/data_access") OR log_id("externalaudit.googleapis.com/data_access")
      

      האורך של מסנן לא יכול להיות יותר מ-20,000 תווים.

   3. כדי לוודא שהזנתם את המסנן הנכון, בוחרים באפשרות Preview logs. הכלי Logs Explorer ייפתח בכרטיסייה חדשה עם מסנן מאוכלס מראש.

7. (אופציונלי) מגדירים מסנן החרגה כדי להסיר חלק מרשומות היומן שנכללות:

   1. עוברים לחלונית Choose logs to filter out of sink.

   2. בשדה שם מסנן ההחרגה, מזינים שם.

   3. בשדה Build an exclusion filter, מזינים ביטוי סינון שתואם לרשומות ביומן שרוצים להחריג. אפשר גם להשתמש בפונקציה sample כדי לבחור חלק מרשומות היומן להחרגה.

      הערה: אם רוצים להשבית את מסנן ההחרגה כשיוצרים את הכיור, בוחרים באפשרות Disable אחרי שמזינים את ביטוי הסינון. אפשר לעדכן את הכיור מאוחר יותר כדי להפעיל את מסנן ההחרגה.

   אפשר ליצור עד 50 מסנני החרגה לכל כיור. שימו לב: האורך של מסנן לא יכול להיות יותר מ-20,000 תווים.

8. לוחצים על Create sink.

9. נותנים לחשבון השירות של הכיור הרשאה לכתוב רשומות ביומן ביעד של הכיור. מידע נוסף זמין במאמר הגדרת הרשאות יעד.

gcloud

כדי ליצור sink:

1. מריצים את הפקודה הבאה של gcloud logging sinks create:

   gcloud logging sinks create SINK_NAME SINK_DESTINATION
   

   לפני שמריצים את הפקודה, מחליפים את הערכים הבאים:

   • ‫SINK_NAME: השם של ה-sink ביומן. אי אפשר לשנות את השם של הכיור אחרי שיוצרים אותו.

   • ‫SINK_DESTINATION: השירות או הפרויקט שאליו רוצים לנתב את רשומות היומן. מגדירים את SINK_DESTINATION לנתיב המתאים, כמו שמתואר בקטע פורמטים של נתיבי יעד.

     לדוגמה, אם יעד ה-sink הוא נושא Pub/Sub, אז SINK_DESTINATION נראה כך:

     pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID
     

   אפשר גם להוסיף את האפשרויות הבאות:

   • ‫--log-filter : משתמשים באפשרות הזו כדי להגדיר מסנן שתואם לרשומות ביומן שרוצים לכלול בכיור. אם לא תספקו ערך למסנן ההכללה, המסנן הזה יתאים לכל רשומות היומן.
   • ‫--exclusion: משתמשים באפשרות הזו כדי להגדיר מסנן החרגה לרשומות ביומן שאתם לא רוצים שהכיור ינתב. אפשר גם להשתמש בפונקציה sample כדי לבחור חלק מרשומות היומן להחרגה. אפשר לחזור על האפשרות הזו וליצור עד 50 מסנני החרגה לכל sink.
   • ‫--description: משתמשים באפשרות הזו כדי לתאר את המטרה או את תרחיש השימוש של הכיור.

   לדוגמה, כדי ליצור sink לקטגוריית Logging, הפקודה יכולה להיראות כך:

   gcloud logging sinks create my-sink logging.googleapis.com/projects/myproject123/locations/global/buckets/my-bucket \
    --log-filter='logName="projects/myproject123/logs/matched"' --description="My first sink"
   

   מידע נוסף על יצירת כיורים באמצעות Google Cloud CLI זמין במאמרי העזרה של gcloud logging sinks.

2. אם התגובה לפקודה מכילה מפתח JSON עם התווית "writerIdentity", צריך לתת לחשבון השירות של הכיור הרשאה לכתוב ליעד של הכיור. מידע נוסף זמין במאמר הגדרת הרשאות יעד.

   אין צורך להגדיר הרשאות יעד כשהתגובה לא מכילה מפתח JSON עם התווית "writerIdentity".

REST

1. כדי ליצור כיור רישום ביומן בפרויקט ב- Google Cloud , משתמשים ב-projects.sinks.create ב-Logging API. באובייקט LogSink, מספקים את הערכים הנדרשים המתאימים בגוף הבקשה של ה-method:

   • ‫name: מזהה של המאגר. אחרי שיוצרים את הכיור, אי אפשר לשנות את השם שלו, אבל אפשר למחוק אותו וליצור כיור חדש.

   • ‫destination: השירות והיעד שאליהם רוצים לנתב את רשומות היומן. כדי לנתב רשומות ביומן לפרויקט אחר או ליעד שנמצא בפרויקט אחר, מגדירים את השדה destination לנתיב המתאים, כפי שמתואר בקטע פורמטים של נתיבי יעדים.

     לדוגמה, אם יעד ה-sink הוא נושא Pub/Sub, אז destination נראה כך:

     pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID
     

2. באובייקט LogSink, מספקים את המידע האופציונלי המתאים:

   • ‫filter : מגדירים את השדה filter כך שיתאים לרשומות ביומן שרוצים לכלול בכיור. אם לא מגדירים מסנן, כל רשומות היומן מהפרויקט ב-Google Cloud מנותבות ליעד. חשוב לזכור שהאורך של מסנן לא יכול להיות יותר מ-20,000 תווים.
   • ‫exclusions: מגדירים את השדה הזה כך שיתאים לרשומות ביומן שרוצים להחריג מהכיור. אפשר גם להשתמש בפונקציה sample כדי לבחור חלק מרשומות היומן להחרגה. אפשר ליצור עד 50 מסנני החרגה לכל כיור.
   • description: בשדה הזה מגדירים את המטרה או את תרחיש השימוש של הכיור.

3. מפעילים את projects.sinks.create כדי ליצור את המאגר.

4. אם התגובה מה-API מכילה מפתח JSON עם התווית "writerIdentity", צריך לתת לחשבון השירות של הכיור הרשאה לכתוב ביעד של הכיור. מידע נוסף זמין במאמר הגדרת הרשאות יעד.

   לא צריך להגדיר הרשאות יעד כשהתגובה מה-API לא מכילה מפתח JSON עם התווית "writerIdentity".

מידע נוסף על יצירת כיורים באמצעות Logging API זמין במאמרי העזרה של LogSink.

אם אתם מקבלים הודעות שגיאה, קראו את המאמר פתרון בעיות בניתוב ובכיורים.

פורמטים של נתיב היעד

כשמגדירים יעד לכיור, צריך לספק את הנתיב המלא ולהשתמש בנקודת הקצה הגלובלית של השירות. אין תמיכה בנקודות קצה אזוריות של שירותים (REPs), כמו pubsub.LOCATION.rep.googleapis.com.

בפורמטים הבאים של נתיבים, DESTINATION_PROJECT_ID מתייחס למזהה או למספר של פרויקט היעד:

• קטגוריית יומנים ב-Cloud Logging:

  logging.googleapis.com/projects/DESTINATION_PROJECT_ID/locations/LOCATION/buckets/BUCKET_NAME
  

• פרויקט Google Cloud אחר:

  logging.googleapis.com/projects/DESTINATION_PROJECT_ID
  

• נושא Pub/Sub:

  pubsub.googleapis.com/projects/DESTINATION_PROJECT_ID/topics/TOPIC_ID
  

הגדרת הרשאות ליעד

בקטע הזה מוסבר איך לתת ל-Logging את ההרשאות לניהול זהויות והרשאות גישה (IAM) כדי לכתוב רשומות ביומן ביעד של הכיור. לרשימה המלאה של התפקידים וההרשאות ב-Logging, קראו את המאמר בקרת גישה.

הערה: כדי לאבטח רשומות ביומן שנותבו מפני גישה לא מורשית, צריך להשתמש בתכונות של בקרת הגישה ביעד. אפשר לנתב באמצעות כיורים כל רשומה ביומן, כולל רשומות של יומני בקרת הרשאות גישה לנתונים.

כשיוצרים כיור, Cloud Logging יוצר חשבון שירות משותף למשאב, אלא אם חשבון השירות הנדרש כבר קיים. יכול להיות שחשבון השירות קיים כי אותו חשבון שירות משמש לכל המאגרים במשאב הבסיסי. משאב יכול להיות Google Cloud פרויקט, ארגון, תיקייה או חשבון לחיוב.

זהות הכותב של כיור היא המזהה של חשבון השירות שמשויך לאותו כיור. לכל הכיורים יש זהות כותב, חוץ מכיורים שכותבים למאגר יומנים באותו פרויקט ב- Google Cloud שבו נוצרו רשומות היומן. בהגדרה השנייה לא נדרש חשבון שירות, ולכן השדה writer identity של הכיור מופיע בתור None במסוף. ה-API והפקודות של Google Cloud CLI לא מדווחים על זהות הכותב.

ההוראות הבאות רלוונטיות לפרויקטים, לתיקיות, לארגונים ולחשבונות לחיוב:

המסוף

הערה: אם יצרתם את הכיור במסוף Google Cloud ויש לכם גישת בעלים ליעד, Cloud Logging אמור להגדיר את ההרשאות הנדרשות בשבילכם. אם לא, מבצעים את השלבים הבאים:

1. מוודאים שיש לכם גישת בעלים לפרויקט ב-Google Cloud שמכיל את היעד. אם אין לכם גישת בעלים ליעד של ה-sink, בקשו מ-Project Owner להוסיף את זהות הכותב כישות מורשית.

2. כדי לקבל את זהות הכותב של הכיור (כתובת אימייל) מהכיור החדש:

   1. נכנסים לדף Log Router במסוף Google Cloud :

      נכנסים לדף Log Router.

      אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

   2. בסרגל הכלים, בוחרים את הפרויקט שמכיל את הכיור.
   3. לוחצים על Menu ואז על View sink details. זהות הכותב מופיעה בחלונית Sink details.

3. אם הערך של השדה writerIdentity מכיל כתובת אימייל, ממשיכים לשלב הבא. כשהערך הוא None, לא צריך להגדיר הרשאות יעד ל-sink.

4. מעתיקים את זהות הכותב של המאגר ללוח.

   כתובת האימייל מזהה את חשבון המשתמש. הקידומת serviceAccount: מציינת את סוג החשבון.

5. נותנים לחשבון הראשי שצוין בזהות הכותב של ה-sink הרשאה לכתוב נתוני יומן ביעד:

   1. נכנסים לדף IAM במסוף Google Cloud :

      נכנסים לדף IAM.

      אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא IAM & Admin.

   2. בסרגל הכלים, מוודאים שהפרויקט שנבחר הוא הפרויקט שבו מאוחסן היעד או שהוא יעד הכיור. לדוגמה, אם היעד הוא קטגוריית יומנים, ודאו שבסרגל הכלים מוצג הפרויקט שבו מאוחסנת קטגוריית היומנים.

   3. לוחצים על מתן גישה.

   4. מקצים לחשבון המשתמש שצוין בזהות הכותב של ה-sink תפקיד ב-IAM, על סמך היעד של ה-sink ביומן:

      • לכל היעדים, צריך להקצות את התפקיד "כתיבה ביומן" (roles/logging.logWriter). באופן ספציפי, חשבון המשתמש צריך את ההרשאה logging.logEntries.route.
      • מקצים אחד מהתפקידים הבאים, בהתאם ליעד:
        • קטגוריית יומנים: מקצים את התפקיד כותב קטגוריית יומנים (roles/logging.bucketWriter).
        • נושא Pub/Sub: מקצים את התפקיד "פרסום הודעות ב-Pub/Sub" (roles/pubsub.publisher).

gcloud

1. מוודאים שיש לכם הרשאת בעלים בGoogle Cloud פרויקט שמכיל את היעד. אם אין לכם גישת בעלים ליעד של ה-sink, בקשו מ-Project Owner להוסיף את זהות הכותב כישות מורשית.

2. מאתרים את חשבון השירות בשדה writerIdentity בכיור:

   gcloud logging sinks describe SINK_NAME
   

3. מאתרים את הכיור שאת ההרשאות שלו רוצים לשנות. אם פרטי הכיור מכילים שורה עם writerIdentity, ממשיכים לשלב הבא. אם הפרטים לא כוללים שדה writerIdentity, אין צורך להגדיר הרשאות יעד לכיור.

   זהות הכותב של חשבון השירות נראית בערך כך:

   serviceAccount:service-123456789012@gcp-sa-logging.
   

4. מפעילים את הפקודה gcloud projects add-iam-policy-binding כדי לתת לזהות הכותב של הכיור הרשאה לכתוב נתוני יומן ביעד.

   לפני שמריצים את הפקודה הבאה, צריך להחליף את הערכים הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט. מציינים את הפרויקט שבו מאוחסן היעד של ה-sink ביומן. כשהיעד הוא פרויקט, מציינים את הפרויקט הזה.
   • ‫PRINCIPAL: מזהה של חשבון המשתמש שרוצים לתת לו את התפקיד. בדרך כלל, מזהי החשבונות הראשיים מופיעים בפורמט הבא: PRINCIPAL-TYPE:ID. לדוגמה, . רשימה מלאה של הפורמטים האפשריים של PRINCIPAL מופיעה במאמר מזהים של חשבונות משתמשים.

   • ‫ROLE: תפקיד ב-IAM. מקצים לזהות הכותב של ה-sink תפקיד IAM, בהתאם ליעד של ה-sink ביומן:

     • לכל היעדים, צריך להקצות את התפקיד "כתיבה ביומן" (roles/logging.logWriter). באופן ספציפי, חשבון המשתמש צריך את ההרשאה logging.logEntries.route.
     • מקצים אחד מהתפקידים הבאים, בהתאם ליעד:
       • קטגוריית יומנים: מקצים את התפקיד כותב קטגוריית יומנים (roles/logging.bucketWriter).
       • נושא Pub/Sub: מקצים את התפקיד "פרסום הודעות ב-Pub/Sub" (roles/pubsub.publisher).

   מריצים את הפקודה gcloud projects add-iam-policy-binding:

   gcloud projects add-iam-policy-binding PROJECT_ID --member=PRINCIPAL --role=ROLE
   

REST

מומלץ להשתמש במסוף Google Cloud או ב-Google Cloud CLI כדי להקצות תפקיד לחשבון השירות.

דוגמאות למסננים

הנה כמה דוגמאות למסננים שימושיים במיוחד כשיוצרים כיורים. במאמר שאילתות לדוגמה תוכלו למצוא דוגמאות נוספות שיכולות לעזור לכם ליצור מסנני הכללה ומסנני החרגה.

שחזור מסנן הכיור _Default

אם ערכתם את המסנן של הכיור _Default, יכול להיות שתרצו לשחזר את ההגדרות המקוריות של הכיור הזה. כשיוצרים את הכיור _Default, הוא מוגדר עם מסנן ההכללה הבא ומסנן החרגה ריק:

  NOT log_id("cloudaudit.googleapis.com/activity") AND NOT \
  log_id("externalaudit.googleapis.com/activity") AND NOT \
  log_id("cloudaudit.googleapis.com/system_event") AND NOT \
  log_id("externalaudit.googleapis.com/system_event") AND NOT \
  log_id("cloudaudit.googleapis.com/access_transparency") AND NOT \
  log_id("externalaudit.googleapis.com/access_transparency")

החרגת יומנים של קונטיינרים ו-Pod ב-Google Kubernetes Engine

הערה: אם תחריגו רשומות מסוימות ביומן של Google Kubernetes Engine, יכול להיות שלא תוכלו לזהות ולפתור בעיות באפליקציה. מידע נוסף זמין במאמר תמיכה.

כדי להחריג רשומות ביומן של קונטיינרים ו-Pod של Google Kubernetes Engine במערכת GKE namespaces, משתמשים במסנן הבא:

resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")

כדי להחריג רשומות ביומן של צומתי Google Kubernetes Engine עם ערכי log_id של מערכת GKE, משתמשים במסנן הבא:

resource.type = "k8s_node"
(log_id("container-runtime") OR
 log_id("docker") OR
 log_id("kube-container-runtime-monitor") OR
 log_id("kube-logrotate") OR
 log_id("kube-node-configuration") OR
 log_id("kube-node-installation") OR
 log_id("kubelet") OR
 log_id("kubelet-monitor") OR
 log_id("node-journal") OR
 log_id("node-problem-detector"))

תמיכה

ב-Cloud Logging אפשר להחריג רשומות ביומן ולמנוע את האחסון שלהן בקטגוריית יומנים, אבל כדאי לשקול לשמור רשומות ביומן שעוזרות לתמיכה. בעזרת רשומות היומן האלה תוכלו לזהות ולפתור בעיות באפליקציות.

לדוגמה, רשומות ביומן המערכת של GKE שימושיות לפתרון בעיות באפליקציות ובאשכולות של GKE, כי הן נוצרות לאירועים שמתרחשים באשכול. רשומות היומן האלה יכולות לעזור לכם לקבוע אם קוד האפליקציה או אשכול GKE הבסיסי גורמים לשגיאה באפליקציה. יומני המערכת של GKE כוללים גם את Kubernetes Audit Logging, שנוצר על ידי רכיב שרת ה-API של Kubernetes, וכולל שינויים שבוצעו באמצעות הפקודה kubectl ואירועים של Kubernetes.

המאמרים הבאים

• פתרון בעיות ביומני הניתוב

• הצגת יומנים ביעדי sink

• יצירת שאילתות באמצעות שפת השאילתות של Logging