סקירה כללית של מאגרי נתונים מצטברים

כיורים נצברים מאפשרים לאסוף ולנתב רשומות ביומן מכל המשאבים בתיקייה או בארגון ליעד נתמך. אתם יכולים להשתמש בכיורים נצברים כדי לאחסן את נתוני היומן במיקום מרכזי, ולקבוע אם משאבי הצאצא יאחסנו עותקים כפולים.

מידע על כיורים נצברים

כיור נתונים נצברים הוא כיור ברמת התיקייה או הארגון, שמנתב רשומות ביומן מהמשאב שבו מוגדר הכיור ומכל המשאבים הצאצאים שלו. בדומה לכיור ברמת הפרויקט, לכיור מצטבר יש יעד ומסנן שקובע אילו רשומות ביומן לנתב, אבל כיור ברמת הפרויקט מנתב רשומות ביומן רק מפרויקט אחד.

סוגים של כיורים נצברים

אתם יכולים ליצור שני סוגים של כיורים נצברים – מיירטים ולא מיירטים – בהתאם לשאלה אם אתם רוצים שרשומות היומן ינותבו גם למשאבי הצאצא. אם קיימים כיורים נצברים בהיררכיית המשאבים של רשומה ביומן, הנתב של היומן שולח את הרשומה ביומן קודם כל לכיורים האלה, וסוג הכיור קובע מה יקרה אחר כך:

יירוט של כיור מצטבר

כיור נתונים מצטבר מיירט מונע את הניתוב של רשומות ביומן לכיורי נתונים במשאבים צאצאים, חוץ מכיורי הנתונים של _Required במשאבים שמהם מגיעות הרשומות ביומן. כיור מצטבר ליירוט יכול להיות שימושי למניעת אחסון של עותקים כפולים של רשומות ביומן בכמה מקומות.

לדוגמה, נניח שאתם צריכים להפעיל את יומני הביקורת של גישה לנתונים למטרות ביקורת. כדי לפשט את הניתוח, אתם רוצים לאחסן את היומנים האלה במיקום מרכזי. עם זאת, מטעמי אבטחה ועלות, אתם רוצים גם למנוע את אחסון היומנים האלה ברמת הפרויקט. בתרחיש הזה, אתם יכולים ליצור sink מצטבר ליירוט.

כיור נתונים מצטברים ללא יירוט

כיור נתונים נצבר שלא מיירט לא משפיע על האופן שבו רשומות ביומן מנותבות לכיורי נתונים אחרים. כלומר, גם אם רשומת יומן תואמת למסנן של sink מצטבר שלא מיירט, רשומת היומן הזו מועברת לאובייקטי sink אחרים בהיררכיית המשאבים של רשומת היומן. כיור נתונים נצברים שלא מיירט מאפשר לכם לשמור על החשיפה של רשומות ביומן במשאבים שבהם הן נוצרו.

לדוגמה, אתם יכולים ליצור כיור נתונים נצברים שלא מיירט את הרשומות, ומנתב את כל רשומות היומן שנוצרו מהתיקיות שכלולות בארגון לקטגוריית יומנים מרכזית. רשומות היומן מאוחסנות בקטגוריית היומנים המרכזית. עם זאת, מכיוון שה-sink לא מיירט, הנתב של היומנים שולח גם רשומות ביומן ל-sinks ביומן במשאב שבו הן נוצרו.

דוגמאות לניתוב

בקטע הזה מוסבר איך רשומת יומן שמקורה בפרויקט יכולה לעבור דרך הכיורים בהיררכיית המשאבים שלו.

דוגמה: אין כיורים נצברים

אם אין sinks נצברים בהיררכיית המשאבים של רשומה ביומן, רשומה ביומן נשלחת ל-sinks ביומן בפרויקט שממנו מגיעה רשומה ביומן. כיור ברמת הפרויקט מנתב את רשומת היומן ליעד של הכיור, אם רשומת היומן תואמת למסנן ההכללה של הכיור אבל לא תואמת לאף אחד ממסנני ההחרגה של הכיור.

דוגמה: קיים כיור נתונים נצבר שלא מיירט

נניח שבהיררכיית המשאבים של רשומת יומן קיים כיור נתונים נצברים שלא מיירט. אחרי שהנתב של היומנים שולח את הרשומה ביומן לכיור המצטבר שלא מוגדר ליירוט, קורים הדברים הבאים:

  1. הכיור המצטבר ללא יירוט מנתב את רשומת היומן ליעד של הכיור כשרשומת היומן תואמת למסנן ההכללה, אבל לא תואמת לאף מסנן החרגה.

  2. הנתב של היומנים שולח את הרשומה ביומן ל-sink ביומן בפרויקט שבו נוצרה הרשומה ביומן.

    כיור ברמת הפרויקט מנתב את רשומת היומן ליעד של הכיור, אם רשומת היומן תואמת למסנן ההכללה של הכיור אבל לא תואמת לאף אחד ממסנני ההחרגה של הכיור.

דוגמה: קיים כיור מצטבר ליירוט

נניח שקיים כיור נתונים מצטבר מיירט בהיררכיית המשאבים של רשומה ביומן. אחרי שהנתב של היומנים שולח את הרשומה ביומן לכיור המצטבר שמיירט, קורה אחד מהדברים הבאים:

  • הרשומה ביומן תואמת למסנן ההכללה אבל לא תואמת לאף מסנן החרגה:

    1. רשומת היומן מנותבת ליעד של הכיור המצטבר המיירט.
    2. הרשומה ביומן נשלחת לכיור _Required בפרויקט שבו היא נוצרה.

  • הרשומה ביומן לא תואמת למסנן ההכללה או שהיא תואמת לפחות למסנן החרגה אחד:

    1. הרשומה ביומן לא מנותבת על ידי ה-sink המצטבר שמיירט.

    2. הנתב של היומנים שולח את הרשומה ביומן ל-sink ביומן בפרויקט שבו נוצרה הרשומה ביומן.

      כיור ברמת הפרויקט מנתב את רשומת היומן ליעד של הכיור כשרשומת היומן תואמת למסנן ההכללה של הכיור, אבל לא תואמת לאף אחד ממסנני ההחרגה של הכיור.

יעדים נתמכים לכיורים נצברים

בקטע הזה מפורטים היעדים שנתמכים בכיורים נצברים.

כיורים ליירוט

היעד של כיור נתונים מצטבר ליירוט חייב להיות פרויקט ב-Google Cloud .

הכיורים ביומן בפרויקט היעד מנתבים מחדש את רשומות היומן ליעדים שלהם. כל היעדים נתמכים, חוץ מפרויקטים. לדוגמה, יכול להיות שה-sink ביומן בפרויקט היעד ינתבו מחדש את הרשומות ביומן לקטגוריה ביומן.

כיורים שלא מיירטים

בקטע הזה מתוארים היעדים הנתמכים של כיורים נצברים ללא יירוט.

היעד של הכיור יכול להיות במשאב שונה מהכיור. לדוגמה, אתם יכולים להשתמש ב-sink ביומן כדי לנתב רשומות ביומן מפרויקט אחד לקטגוריית יומנים שמאוחסנת בפרויקט אחר.

אפשר להשתמש ביעדים הבאים:

פרויקטGoogle Cloud

בוחרים ביעד הזה כשרוצים שהכיורים של היומנים בפרויקט היעד ינתבו מחדש את רשומות היומן, או כשיוצרים כיור מצטבר ליירוט. הכיורים של היומנים בפרויקט היעד יכולים לנתב מחדש את רשומות היומן לכל יעד נתמך, חוץ מאשר לפרויקט.

ה-sink ביומן שנוצרו על ידי המערכת בפרויקט היעד לא כוללים רשומות ביומן שמנותבות לקטגוריה ביומן _Required בפרויקט המקור. לדוגמה, אם אתם מנתבים את יומני פעילות הניהול לפרויקט אחר, גם ה-sink ביומן _Required וגם ה-sink ביומן _Default בפרויקט היעד לא כוללים את הרשומות האלה ביומן. כדי לאחסן את רשומות היומן האלה, בפרויקט היעד מעדכנים את ה-sink ביומן _Default או יוצרים sink ביומן בהתאמה אישית.

קטגוריה ביומן
בוחרים את היעד הזה כשרוצים לאחסן את נתוני היומן במשאבים שמנוהלים על ידי Cloud Logging. אפשר להציג ולנתח נתוני יומנים שמאוחסנים בקטגוריות של יומנים באמצעות שירותים כמו מציג היומנים.
נושא Pub/Sub
בוחרים את היעד הזה כשרוצים לייצא את נתוני היומן מ-Google Cloud ואז להשתמש בשילוב עם צד שלישי. רשומות ביומן מעוצבות כ-JSON ואז מנותבות לנושא Pub/Sub.

שיטות מומלצות

מומלץ שהיעד של כיור נתונים נצברים יהיה פרויקט ב-Google Cloud . ביעד הזה, ה-sinks ביומן בפרויקט היעדGoogle Cloud מנתבים מחדש את הרשומות ביומן. הכיור _Required מנתב רק רשומות ביומן שתואמות למסנן שלו, ומקורן במשאב שבו הכיור מוגדר. לכן, אם רוצים לאחסן עותקים נוספים של רשומות ביומן שתואמות למסנן של ה-sink‏ _Required, צריך ליצור sink בהתאמה אישית ביומן או לשנות את המסנן של ה-sink‏ _Default ביומן.

כשיוצרים כיור ליירוט, מומלץ לבצע את הפעולות הבאות:

  • חשוב לבדוק אם משאבים צאצאים צריכים שליטה עצמאית על הניתוב של רשומות היומן שלהם. אם למשאב צאצא נדרשת שליטה עצמאית ברשומות יומן מסוימות, צריך לוודא שהכיור המיירט לא מנתב את רשומות היומן האלה.

  • הוסיפו פרטים ליצירת קשר לתיאור של כיור יירוט. זה יכול להיות שימושי אם מי שמנהל את כיור היירוט הוא לא מי שמנהל את הפרויקטים שרשומות היומן שלהם יורטו.

  • כדי לבדוק את הגדרת המאגר, קודם יוצרים מאגר נתונים מצטברים שלא מיירט את הנתונים, ומוודאים שרשומות היומן הנכונות מנותבות.

המאמרים הבאים