ב-Google Cloud Observability, נתוני הטלמטריה מ-Cloud Logging, מ-Cloud Monitoring ומ-Cloud Trace מאוחסנים ומאורגנים במאגרי אחסון מובְנים. הבנת מודל האחסון עוזרת להגדיר את מיקום אחסון הנתונים, לאכוף מדיניות הצפנה ולחבר את הטלמטריה לשירותי ניתוח נתונים כמו BigQuery.
נתוני יומן
נתוני היומנים נמצאים בקטגוריות של יומנים, שהן מאגרים שמשמשים את Logging לאחסון נתוני היומנים. כשהמערכת יוצרתGoogle Cloud פרויקט, חשבון לחיוב, תיקייה או ארגון, Cloud Logging יוצר במשאב קטגוריות של יומנים בשמות _Required ו-_Default:
מיקום: המיקום של הקטגוריות האלה נבחר על ידי Cloud Logging, אלא אם צוין מיקום בהגדרות ברירת המחדל של המשאבים ב-Cloud Logging. אי אפשר לשנות את המיקום אחרי שיוצרים את הקטגוריות.
הצפנה: הקטגוריות האלה משתמשות ב-Google-owned and Google-managed encryption keys , אלא אם הגדרות ברירת המחדל של המשאבים ב-Cloud Logging מציינות מפתח הצפנה בניהול הלקוח (CMEK). אי אפשר לשנות את ההגדרה הזו אחרי שיוצרים את הקטגוריות.
כברירת מחדל, מיקום אחסון הנתונים של נתוני היומן הוא בפרויקט, בחשבון לחיוב, בתיקייה או בארגון ב- Google Cloud שמהם הנתונים מגיעים. עם זאת, אתם יכולים להגדיר את Logging כך שינתב את נתוני היומן מהמשאב שבו הם נוצרו למיקום אחר, כמו פרויקט אחר או קטגוריית יומנים מרכזית. מידע נוסף זמין במאמרים אחסון רשומות ביומן וניתוב רשומות ביומן.
ב-Cloud Logging אפשר להגדיר את האזור של נתוני היומנים:
- מדיניות הארגון יכולה להגביל את המיקומים של קטגוריות חדשות של יומנים, ולדרוש שקטגוריות של יומנים ישתמשו ב-CMEK.
בארגונים ובתיקיות, הגדרות ברירת המחדל של המשאבים ב-Cloud Logging מאפשרות לכם לקבוע את ההגדרות הבאות:
- המיקום של קטגוריות חדשות של יומני
_Requiredו-_Default - המפתח של Cloud Key Management Service להצפנת נתוני היומן
- ההגדרה של כיור ברירת המחדל
הצאצאים בהיררכיית המשאבים יורשים את ההגדרות האלה באופן אוטומטי, אלא אם גם הם מגדירים את הגדרות ברירת המחדל של המשאבים. לדוגמה, אם מגדירים הגדרות ברירת מחדל למשאבים של Cloud Logging בארגון, כל התיקיות והפרויקטים בהיררכיית המשאבים של הארגון יורשים באופן אוטומטי את ההגדרות האלה. עם זאת, אם הגדרתם את ברירת המחדל של הגדרות המשאבים ל-Cloud Logging בתיקייה באותו ארגון, המערכת תשתמש בהגדרות ברמת התיקייה.
הגדרות ברירת המחדל של המשאבים ב-Cloud Logging חלות רק על משאבים חדשים, ולא על משאבים קיימים. מידע נוסף זמין במאמר הגדרת ברירת המחדל של המשאבים ב-Cloud Logging.
- המיקום של קטגוריות חדשות של יומני
נתוני המדדים
נתוני המדדים נמצאים בפרויקט ב- Google Cloud שממנו הנתונים מגיעים.
למידע על מדיניות האחסון, קראו את המאמר מיקום אחסון הנתונים ב-Monitoring.
נתוני מעקב
נתוני המעקב מאוחסנים במערך נתונים שמנוהל על ידי קטגוריית הניטור שנקראת _Trace. כדי להכיל את קבוצת הנתונים, הקטגוריה _Trace צריכה להיות קיימת.
אפשר ליצור את הקטגוריה _Trace באופן אוטומטי או ידני:
יצירה אוטומטית: המערכת יוצרת את הקטגוריה באופן אוטומטי בתגובה לקבלת נתוני מעקב מאפליקציה או משירות Google Cloud . המערכת משתמשת בהגדרות ברירת המחדל הרלוונטיות לקטגוריות של ניראות כדי לקבוע את המיקום ואת מפתח ההצפנה של הקטגוריה. אם לא הגדרתם הגדרות ברירת מחדל, המערכת בוחרת מיקום נתמך והקטגוריה משתמשת בהצפנת ברירת המחדל של Google.
נתוני מעקב שנוצרו על ידי פונקציות Cloud Run, Cloud Run ו-App Engine לא גורמים למערכת ליצור את קטגוריית הניטור. טווחים מהשירותים האלה מאוחסנים רק כשקיים קטגוריית תצפית.
יצירה ידנית: אתם יכולים להשתמש ב-Observability API כדי ליצור את הקטגוריה
_Traceלפני שהפרויקט ב- Google Cloud מקבל נתוני מעקב. צריך לציין את המיקום של הקטגוריה. אתם יכולים לספק מפתח של Cloud Key Management Service:- אם תספקו מפתח, המערכת תשתמש בו כדי להצפין את הנתונים המאוחסנים.
- אם לא תספקו מפתח Cloud KMS, מפתח ההצפנה ייקבע לפי הגדרות ברירת המחדל שחלות על משאב ההורה של הקטגוריה. אם בהגדרות ברירת המחדל מצוין מפתח Cloud KMS, המפתח הזה מצפין את הנתונים המאוחסנים. אחרת, המערכת משתמשת בהצפנת ברירת המחדל של Google.
כשיוצרים את הקטגוריה _Trace, המערכת יוצרת גם מערך נתונים בשם Spans לקטגוריה, ותצוגה בשם _AllSpans במערך הנתונים. התצוגה הזו כוללת את כל הנתונים במערך הנתונים.
למידע נוסף, קראו את המאמרים הבאים:
מודל האחסון של Observability
מודל האחסון של Observability API מבוסס על הארכיטקטורה הבאה:
- קטגוריות של ניראות (observability)
קטגוריית ניראות היא ישות הניהול של מערכי הנתונים שבהם מאוחסנים הנתונים. קטגוריית תצפית נמצאת במיקום ספציפי ויש לה מדיניות שמירת נתונים. כששירות של Google Cloud משתמש ב-Observability API כדי לאחסן את הנתונים שלו, המערכת יוצרת קטגוריית ניראות על סמך שם השירות, קבוצת נתונים לאחסון הנתונים ותצוגה כדי לספק גישת קריאה לנתונים המאוחסנים. לדוגמה, בשירות Cloud Trace המערכת נותנת לקטגוריה שנוצרה על ידי המערכת את השם
_Trace, למערך הנתונים את השםSpansולתצוגה את השם_AllSpans. למידע נוסף על המבנה של קטגוריית תצפית, ראוBucket.כדי לקבוע את המיקום ואת מודל ההצפנה של קטגוריות חדשות של יכולת תצפית, Google Cloud Observability משתמש בהגדרות ברירת המחדל ובמדיניות הארגון. אם קטגוריית הניראות הקיימת לא עומדת בדרישות הרגולטוריות של הארגון, יכול להיות שתוכלו להקצות מחדש את קטגוריית הניראות.
- מערכי נתונים
מערך נתונים מאחסן נתונים. המערכת יוצרת באופן אוטומטי קבוצת נתונים אחת כשהיא יוצרת קטגוריית ניראות, שמנהלת את קבוצת הנתונים. לדוגמה, כשהמערכת יוצרת את הקטגוריה
_Trace, היא גם יוצרת מערך נתונים בשםSpansשבו מאוחסנים נתוני המעקב. במאמרDatasetמוסבר על המבנה של מערך נתונים.- תצוגות של מערכי נתונים
כל מערך נתונים מכיל תצוגה אחת או יותר. תצוגה מספקת גישת קריאה לקבוצת משנה של רשומות במערך הנתונים. המערכת יוצרת תצוגה אחת כשהיא יוצרת מערך נתונים. התצוגה הזו כוללת את כל הנתונים בקבוצת הנתונים. שם התצוגה תלוי בשירות. לדוגמה, בשירות Cloud Trace המערכת יוצרת תצוגה בשם
_AllSpansבמערך הנתוניםSpans. למידע נוסף על המבנה של תצוגה, ראוView.- קישורים לקבוצות נתונים
כל מערך נתונים יכול להכיל קישור אחד לכל היותר. כשיוצרים קישור למערך נתונים, המערכת יוצרת מערך נתונים מקושר ב-BigQuery. אחרי שהנתונים נשמרים, אפשר לשלוח שאילתות לגבי הנתונים במערך הנתונים באמצעות BigQuery או שירותים אחרים שמשתמשים ב-BigQuery API. למידע על המבנה של קישור, ראו
Link.המערכת לא יוצרת קישורים באופן אוטומטי בקבוצות נתונים.
לדוגמה, נתוני המעקב נמצאים במערך נתונים של Spans בתוך קטגוריית הניטור של _Trace. המערכת יוצרת תצוגת _AllSpans במערך הנתונים הזה, שכוללת את כל הטווחים שמאוחסנים.
מיקום אחסון הנתונים של קטגוריות ניראות
אם יש לכם דרישות תאימות או דרישות רגולטוריות לאחסן את הנתונים במיקומים ספציפיים או להשתמש במפתחות הצפנה בניהול הלקוח (CMEK), מומלץ להגדיר גם את מדיניות הארגון וגם את הגדרות ברירת המחדל של קטגוריות התצפית.
הגדרות ברירת המחדל של קטגוריות התצפית בארגונים, בתיקיות ובפרויקטים מאפשרות לכם להגדיר את הפרטים הבאים:
- מיקום האחסון שהוגדר כברירת מחדל.
- לכל מיקום, מפתח ברירת מחדל של Cloud Key Management Service.
המערכת משתמשת בהגדרות ברירת המחדל בשתי דרכים שונות:
כשהמערכת יוצרת באופן אוטומטי קטגוריית ניראות, היא משתמשת בהגדרות ברירת המחדל כדי לקבוע את המיקום ואת מפתח ההצפנה של הקטגוריה. אם לא הגדרתם ברירות מחדל, המערכת תבחר את המיקום והקטגוריה תשתמש בהצפנת ברירת המחדל של Google.
כשיוצרים קטגוריית תצפית באמצעות בקשת API, צריך לציין את המיקום. עם זאת, המערכת משתמשת באופן אוטומטי במפתח Cloud KMS שמוגדר בהגדרות ברירת המחדל כדי להצפין את הנתונים, אלא אם הארגומנטים של בקשת ה-API מציינים את המפתח.
ההורה של קטגוריית תצפית הוא תמיד פרויקט, לכן כשיוצרים קטגוריה, המערכת מחפשת קודם את הגדרות ברירת המחדל ברמת הפרויקט. אם גם הם לא קיימים, המערכת מחפשת הגדרות ברירת מחדל בפריטים שמעל להורה. לדוגמה, אם מגדירים הגדרות ברירת מחדל לתיקייה, ההגדרות האלה חלות על הצאצאים של התיקייה, חוץ מאלה שהוגדרו להם הגדרות ברירת מחדל.
אתם יכולים גם להשתמש במדיניות הארגון כדי להגביל את המיקומים של קטגוריות חדשות של נצפות, לדרוש שימוש במפתחות CMEK או להגביל את המפתחות של Cloud KMS שאפשר להשתמש בהם להצפנה. אם אתם מגדירים כללי מדיניות של הארגון שמחייבים שימוש במפתחות CMEK, אתם צריכים להגדיר את הגדרות ברירת המחדל של קטגוריות התצפית. אם לא תעשו זאת, ההקצאה של קטגוריות התצפית שנוצרו על ידי המערכת תיכשל.
מידע נוסף זמין במאמרים הבאים:מגבלות
אתם לא יכולים:
- לשנות או למחוק קטגוריות של ניראות.
- ליצור, למחוק או לשנות מערכי נתונים.
- ליצור, למחוק או לשנות תצוגות.
- אפשר להשתמש במסוף Google Cloud כדי להציג רשימה של קטגוריות, מערכי נתונים, תצוגות או קישורים.