חיפוש בטבלאות נתונים
טבלאות נתונים הן מבני נתונים עם כמה עמודות שמאפשרים להזין נתונים משלכם ב-Google Security Operations. טבלאות נתונים יכולות לשמש כטבלאות חיפוש עם עמודות מוגדרות והנתונים מאוחסנים בשורות. אתם יכולים ליצור או לייבא טבלת נתונים לחשבון Google SecOps באמצעות ממשק האינטרנט של Google SecOps, באמצעות ה-API של טבלאות הנתונים או באמצעות שאילתת סקירה כללית של YARA-L 2.0.
הקצאת היקפים לטבלאות נתונים באמצעות בקרת גישה מבוססת-תפקיד (RBAC) לנתונים
כדי להשתמש בטבלאות נתונים, צריך להקצות להן היקפים באמצעות בקרת גישה מבוססת-תפקידים (RBAC) לנתונים. כשמקצים היקפים לטבלת נתונים, אפשר לקבוע אילו משתמשים ומשאבים יכולים לגשת אליה ולהשתמש בה. מידע נוסף זמין במאמר הגדרת RBAC לנתונים בטבלאות נתונים.
ניהול טבלאות נתונים באמצעות ממשק האינטרנט של Google SecOps
בקטעים הבאים מוסבר איך לנהל טבלאות נתונים באמצעות ממשק האינטרנט, כולל איך לגשת לטבלאות נתונים, להוסיף טבלת נתונים חדשה, לערוך את התוכן שלה, להוסיף שורות ולהסיר טבלת נתונים מהחשבון.
גישה לטבלאות הנתונים
כדי לגשת לדף Data Tables:
- בסרגל הצד, בוחרים באפשרות חקירה > טבלאות נתונים.
כדי למצוא טבלת נתונים ספציפית, מזינים את השם שלה בשדה חיפוש שבחלק העליון של סרגל הצד טבלאות נתונים.
הוספת טבלת נתונים חדשה
כשמוסיפים טבלת נתונים חדשה, אפשר להזין נתוני CSV באופן ידני, להדביק נתוני CSV או לייבא קובץ CSV או TSV לטבלת הנתונים.
ההגדרות הבאות הן קבועות ואי אפשר לשנות אותן אחרי ששומרים טבלת נתונים חדשה:
- כותרות של עמודות
- מיפוי נתונים
- מפתחות ראשיים
- שדות חוזרים
- מיפוי של שמות העמודות לשדות של הישויות
כדי להוסיף טבלת נתונים חדשה ל-Google SecOps:
בסרגל הצד, בוחרים באפשרות חקירה > טבלאות נתונים.
בחלק העליון של סרגל הצד Data Tables, לוחצים על Create.
בתיבת הדו-שיח יצירת טבלת נתונים חדשה, נותנים שם לטבלה ואם רוצים, מוסיפים תיאור.
מבצעים אחת מהפעולות הבאות:
- מזינים נתוני CSV באופן ידני או מדביקים נתוני CSV באזור טקסט (מצב עריכה).
- כדי לייבא נתונים מקובץ CSV או TSV לטבלת הנתונים:
- לוחצים על ייבוא קובץ.
- עוברים לקובץ ולוחצים על פתיחה. תיבת הדו-שיח ייבוא קובץ נפתחת.
- אם בחרתם קובץ TSV בשלב הקודם, מבצעים את הפעולות הבאות:
- ברשימה סוג התו המפריד, בוחרים באפשרות זיהוי אוטומטי או Tab.
- ברשימה התחלת הייבוא בשורה, מציינים את השורה בקובץ שממנה רוצים לייבא את הנתונים.
- לוחצים על ייבוא נתונים.
בוחרים במצב העריכה טבלה ומגדירים את הפרטים הבאים לפי הצורך:
לוחצים על Save. טבלת הנתונים החדשה מוצגת בסרגל הצד טבלאות נתונים, ואפשר להוסיף לה נתונים.
מיפוי סוגי נתונים לעמודות בטבלת נתונים
כשמוסיפים טבלת נתונים חדשה, אפשר למפות סוגי נתונים (מחרוזת, ביטוי רגולרי, CIDR או מספר) לעמודות בטבלת הנתונים.
אפשר למפות שדות נתונים בודדים לעמודת נתונים, ולמפות שדות נתונים חוזרים לעמודת נתונים באמצעות ממשק האינטרנט או ה-API, באופן הבא:
גם בממשק האינטרנט וגם ב-API, צריך להפריד בין הערכים של שדות הנתונים באמצעות קו אנכי (
|). בממשק האינטרנט, אם ערך כלשהו כולל קו אנכי (|), הוא נחשב כערך חוזר כברירת מחדל.בבקשות API, מגדירים את
repeated_valuesלערךtrue.
מידע נוסף זמין במאמר שדות חוזרים.
בדוגמה הבאה, העמודה Field_value בטבלת הנתונים מכילה ערכים של כמה שדות:
| Field_value | Field_name |
|---|---|
| altostrat.com | FQDN |
| 192.0.2.135 | קניין רוחני (IP) |
| צ'רלי | userid |
| לדוגמה | שם המארח |
הטבלה שלמעלה מחולקת לארבע עמודות, וכל עמודה ממופה לסוג שדה אחד בלבד לפני שאפשר להשתמש בה בכל אחד מתרחישי השימוש בטבלת הנתונים שמוצגים במסמך הזה.
| FQDN | קניין רוחני (IP) | מזהה משתמש | שם המארח |
|---|---|---|---|
| altostrat.com | 192.0.2.135 | צ'רלי | לדוגמה |
| … | … | … | … |
הגדרת עמודות מפתח
כשמוסיפים טבלת נתונים חדשה, אפשר להגדיר עמודות ספציפיות כעמודות מפתח.
סימון עמודה כעמודת מפתח מזהה באופן ייחודי את הערכים בעמודה הזו, מונע כפילויות בנתונים ומשפר את גילוי הנתונים לכללים ולחיפושים.
הגדרת עמודות לתמיכה בשדות חוזרים
כשמוסיפים טבלת נתונים חדשה, אפשר להגדיר עמודות ספציפיות לתמיכה בשדות חוזרים.
כשיוצרים את טבלת הנתונים, צריך להגדיר במפורש כ-repeated עמודות שמיועדות לאחסן שדות עם כמה ערכים או שדות חוזרים.
מיפוי שמות של עמודות לשדות של ישויות (אופציונלי)
כשמוסיפים טבלת נתונים חדשה, אפשר למפות את שמות העמודות של טבלת הנתונים לשדות של ישות.
בטבלת הנתונים לדוגמה הבאה, העמודות Userid ו-Role ממופות ל-entity.user.userid ול-entity.user.attribute.role.name, בהתאמה:
| Userid (מיפוי ל-entity.user.userid) |
אימייל | תפקיד (מיפוי אל entity.user.attribute.role.name) |
|---|---|---|
| תקע | jack123@gmail.com | אדמין |
| tony | tony123@gmail.com | מהנדס |
אפשר למפות עמודה בטבלת נתונים לשדה פרוטו של ישות באמצעות השדה mapped_column_path של המשאב DataTable.
בעמודות שאין בהן נתיב ישות מוגדר, כמו Email בטבלה לדוגמה, צריך לציין את סוג הנתונים באופן ידני. כמו ברשימות עזר, סוגי הנתונים שנתמכים בטבלאות נתונים הם number, string, regex ו-cidr.
אפשר לכלול בטבלת נתונים גם עמודות ממופות וגם עמודות לא ממופות, על ידי ציון תנאי join.
עמודות שלא מופו מאוחסנות בשדה additional של הישות שאליה מצטרפת הטבלה. הם מתווספים כצמדי מפתח/ערך, כאשר key הוא שם העמודה ו-value הוא הערך בשורה המתאימה.
הוספת שורה חדשה לטבלת נתונים
כדי להוסיף שורה חדשה, מבצעים את הפעולות הבאות:
- בכרטיסייה פרטים, בוחרים במצב העריכה טבלה.
- לוחצים לחיצה ימנית על שורה קיימת ובוחרים באפשרות הוספת שורה מעל.
- מזינים נתונים בשורה חדשה. השורה הראשונה נחשבת לכותרת הטבלה. חשוב להתאים כל פריט נתונים לעמודת הנתונים ולסוג הנתונים המתאימים.
- לוחצים על Save.
עריכת שורה בטבלת נתונים
כדי לערוך שורה:
- לוחצים על השדה שרוצים לשנות. השדה הופך לניתן לעריכה.
- מבצעים את השינויים הרצויים.
- לוחצים על Save.
חיפוש שורות בטבלת הנתונים
אתם יכולים לחפש מידע ספציפי בטבלת נתונים באמצעות ממשק האינטרנט. בכרטיסייה Details, מזינים מחרוזת חיפוש בשדה החיפוש ולוחצים על Search. יוצגו שורות שמכילות את מחרוזת החיפוש.
ניהול ה-TTL של שורות בטבלה
כדי לנהל את ערך משך החיים (TTL) של שורות בטבלה:
לוחצים על הצגת TTL לכל שורה. מוצגת עמודת TTL, שמציינת אם התוקף של כל שורה פג. אם התוקף לא פג, מוצג הזמן שנותר עד לתפוגה.
לוחצים על זמן ברירת המחדל של Default row expiration כדי להציג את תיבת הדו-שיח Update default row expiration ולשנות את ה-TTL של שורת הטבלה.
מזינים ערך TTL חדש בשעות או בימים. הערך המינימלי הוא שעה אחת. הערך המקסימלי הוא 365 ימים.
לוחצים על Save.
התנהגות של שינוי TTL ברמת השורה
השורות יורשות את ה-TTL שמוגדר ברמת הטבלה. אפשר גם להגדיר TTL ספציפי לשורות מסוימות, וה-TTL ברמת השורה מקבל קדימות על פני ברירת המחדל ברמת הטבלה. כשמוסיפים שורה חדשה, ה-TTL שלה מתחיל מרגע היצירה.
מחיקת שורה בטבלה
כדי למחוק שורה, לוחצים עליה לחיצה ימנית ובוחרים באפשרות מחיקת שורות.
כדי למחוק כמה שורות, בוחרים את כל השורות שרוצים להסיר. אחר כך לוחצים לחיצה ימנית על אחת מהשורות שנבחרו ובוחרים באפשרות מחיקת שורות.
הסרת טבלת נתונים
כדי להסיר טבלת נתונים:
בוחרים טבלת נתונים מהרשימה טבלאות נתונים בסרגל הצד.
לוחצים על Delete.
ניהול טבלאות נתונים באמצעות Chronicle API
אתם יכולים גם להשתמש במשאבי ה-REST שזמינים ב-Chronicle API כדי לנהל טבלאות נתונים ב-Google SecOps. ה-API יכול לשכפל את כל התכונות שזמינות בממשק האינטרנט, והוא כולל כמה תכונות נוספות שמאפשרות לנהל טבלאות נתונים עם ביצועים טובים יותר ובקנה מידה גדול יותר.
אלה משאבי ה-REST של טבלת הנתונים:
דוגמה: תחביר של מסנן
בדוגמה הבאה של Chronicle API מוסבר איך להשתמש בתחביר filter כדי לחפש את google.com בשורות של טבלת נתונים:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://staging-chronicle.sandbox.googleapis.com/v1alpha/projects/{$PROJECT}/locations/${REGION}/instances/${INSTANCE}/dataTables/${DATA_TABLE_NAME}/dataTableRows?filter=google.com"
שימוש בטבלאות נתונים ב-Google SecOps
אחרי שמוסיפים טבלאות נתונים למכונה של Google SecOps, אפשר להשתמש בהן כדי לסנן, לשפר ולהעשיר את הנתונים באמצעות שאילתות YARA-L. המסמך הזה כולל דוגמאות רבות לתחביר YARA-L, שאפשר לשלב ב-Google SecOps.
אתם יכולים להשתמש בטבלאות נתונים בשילוב עם שאילתות YARA-L גם בחיפוש וגם בכללים.
אפשר להשתמש בטבלאות נתונים בדרכים הבאות:
סינון נתונים של אירועים או ישויות ב-UDM באמצעות טבלת נתונים
אתם יכולים לסנן אירועים וישויות של נתוני טלמטריה ב-UDM על ידי השוואה שלהם לרשומות בטבלת נתונים.
שימוש בטבלת נתונים כרשימת הפניות עם כמה עמודות
אפשר להשתמש בטבלת נתונים כרשימת הפניות עם כמה עמודות. רשימת עזר יכולה לגשת לנתונים במאפיין אחד, אבל טבלאות נתונים מאפשרות לגשת לנתונים בכמה מאפיינים, וכך לסנן את הנתונים.
צירוף טבלת נתונים לאירוע או לישות
אתם יכולים לקשר אירועי UDM לטבלת נתונים באמצעות האופרטור שוויון (
=) להשוואות מבוססות-שורות. ההשוואה הזו מאפשרת לכם לסנן את הנתונים. השוואה מבוססת-שורות מקבלת את הערךtrueרק אם כל התנאים בהצהרה תואמים לשורה אחת בטבלת הנתונים.
סינון נתונים של אירועים וישויות ב-UDM באמצעות טבלת נתונים
אתם יכולים לסנן אירועים וישויות ב-UDM על ידי השוואה שלהם לרשומות בטבלת נתונים. מצרפים את טבלת הנתונים לאירוע או לישות ב-UDM באמצעות השוואות מבוססות-שורות או מבוססות-עמודות.
השוואות לפי שורות ולפי עמודות בטבלאות נתונים
| סוג ההשוואה | הלוגיקה של המפתח | אופרטורים נפוצים | תחביר לדוגמה | מתי משתמשים |
|---|---|---|---|---|
| מבוסס-שורות | כל התנאים חייבים להתאים באותה שורה | =, !=, >, >=, <, <= |
$e.field = %table.col_a |
כשהקשר בין ערכים של כמה עמודות באותה שורה חשוב. |
| מבוסס-עמודות | הערך חייב להופיע במקום כלשהו בעמודה | IN, IN regex, IN cidr |
$e.field IN %table.col_b |
כשבודקים אם ערך מסוים קיים בקבוצת ערכים בעמודה אחת. |
מקשרים אירועי UDM לטבלאות נתונים באמצעות שיטות השוואה מבוססות-שורות או מבוססות-עמודות:
השוואה מבוססת-שורות כדי לקשר אירועי UDM לטבלאות נתונים
כדי לקשר אירועי UDM לטבלאות נתונים באמצעות השוואה מבוססת-שורות, משתמשים באופרטורים של שוויון (
=,!=,>,>=,<,<=).לדוגמה:
$<udm_variable>.<field_path> = %<data_table_name>.<column_name>- אם אתם משתמשים בכמה הצהרות השוואה, כל השדות או התנאים צריכים להתאים לאותה שורה בטבלת הנתונים.
כדי להשתמש באופרטורים (כמו
not,!=,>,>=,<,<=) בשאילתה, צריך לכלול לפחות תנאיjoinאחד בין שדות UDM לבין שורות בטבלת הנתונים.מערכת Google SecOps מתייחסת לכל כלל עם טבלת נתונים
joinככלל עם כמה אירועים, שמחייב קטעmatchבהגדרת הכלל.
כדי לסנן נתונים לפי ערכים תואמים מאירועי UDM מול שורות בטבלת הנתונים, אפשר להשתמש בתחביר הצירוף הבא:
תחביר נכון של צירוף:
כללי זיהוי (left anti-join): כדי להחריג אירועים כששילוב ספציפי של כמה שדות תואם לאותה שורה בטבלת נתונים (anti-join), צריך לקשר את שדות האירועים לעמודות בטבלת הנתונים באמצעות שוויון (
=) בקטעevents, ולציין$e and #<data_table_name> = 0בקטעcondition. לחלופין, אפשר לכלול את#<data_table_name> >= 0בקטעconditionכדי שהקומפיילר יבצע איחוד חיצוני שמאלי (לדוגמה,$e and #<data_table_name> >= 0 and $match_count = 0כשסופרים שורות תואמות ב-outcomeבאמצעות$match_count = count(%<data_table_name>.<column_name>)). אם שורה כלשהי בטבלת הנתונים תואמת לכל העמודות המקושרות, מספר השורות גדול מאפס והכלל מחריג את האירוע. מידע נוסף זמין במאמר דוגמאות לצירוף אנטי-שמאלי (החרגה) בכללים.חיפוש ומרכזי בקרה:
- עם קטע
match(חיפוש ומרכזי בקרה נצברים): חוזרים עלleft joinבכל עמודה משולבת בקטעevents(לדוגמה,left join $e.field1 = %<data_table_name>.col1ו-left join $e.field2 = %<data_table_name>.col2), ומוסיפים את#<data_table_name> = 0בקטעcondition(או סופרים עמודה תואמת ב-outcomeומעריכים את$match_count = 0ב-condition). - בלי קטע
match(חיפוש ומרכזי בקרה בכמה שלבים ללא צבירת נתונים): מציבים את ההצהרות החוזרות שלleft joinב-stageבעל שם שמוציא עמודה של טבלת נתונים ב-outcome(לדוגמה,$matched_col = %<data_table_name>.<column_name>), מסננים לפי$<stage_name>.matched_col = ""בקטע הראשי שלevents(מחרוזות פלט של שלבים לא תואמים מוגדרות כברירת מחדל כמחרוזות ריקות ולא כ-null), ומקרינים את שדות השלבים הדרושים בקטע הראשי שלoutcome.
- עם קטע
תחביר צירוף שגוי:
אל תעטפו את
NOTסביב כמה תנאי שוויון שמבוססים על שורות (לדוגמה,NOT ($e.field1 = %table.col1 AND $e.field2 = %table.col2)). ההתאמה מתבצעת שורה אחר שורה מול טבלת הנתונים. אם שורה כלשהי לא עומדת בתנאי המשולב הפנימי, הערך שלNOTהואtrue, והאירוע עשוי להיכלל במקום להיות מוחרג.אל תשתמשו באופרטורים של אי-שוויון עצמאיים בכמה עמודות (לדוגמה,
$e.field1 != %table.col1 AND $e.field2 != %table.col2) בלי תנאי הצטרפות חיובי (=), כי זה גורם לשגיאת קומפילציה. גם כשמשלבים אותם עם צירוף חיובי בעמודה אחרת, אופרטורים של אי-שוויון מעריכים עמודות באותה שורה מצורפת ומתאימים בכל פעם ששורה מצורפת כלשהי שונה, במקום לוודא שאף שורה לא תואמת ל-tuple.חשוב לא להתבלבל בין השוואות שמבוססות על שורות לבין בדיקות חברות שמבוססות על עמודות (
not $e.field1 in %table.col1 and not $e.field2 in %table.col2). בדיקותinשמבוססות על עמודות מעריכות כל עמודה בנפרד בכל טבלת הנתונים, ולא כוללות אירוע אםfield1מופיע בשורה אחת ו-field2מופיע בשורה אחרת, גם אם שני הערכים אף פעם לא מופיעים ביחד באותה שורה.
כדי להשתמש בעמודה של טבלת נתונים מסוג
CIDRאוregexלהשוואה מבוססת-שורות, משתמשים בתחביר הבא:net.ip_in_range_cidr($e.principal.ip, %<data_table_name>.<column_name>) re.regex($e.principal.hostname, %<data_table_name>.<column_name>)
השוואה מבוססת-עמודות כדי לקשר אירועי UDM לטבלאות נתונים
כדי לקשר אירועי UDM לטבלאות נתונים באמצעות השוואה מבוססת-עמודות, משתמשים במילת המפתח
in.לדוגמה:
$<udm_variable>.<field_path> in %<data_table_name>.<column_name>כדי לסנן אירועים שבהם ערך השדה קיים בעמודה שצוינה (לדוגמה, רשימת חסימה או רשימת היתרים), משתמשים בתחביר הבא:
NOT (... IN %table.column)לדוגמה:
not ($evt_username in %my_data_table.username)כדי להשתמש בעמודה של טבלת נתונים מסוג
CIDRאוregexלהשוואה מבוססת-עמודה, משתמשים בתחביר הבא:$e.principal.ip in cidr %cidr_data_table.column_name $e.principal.hostname in regex %regex_data_table.column_nameכשמשווים בין עמודות בטבלאות נתונים שהן סוגי נתונים של CIDR או של ביטויים רגולריים, מילות המפתח
cidrו-regexהן אופציונליות.אפשר גם להשתמש באופרטור
notעם טבלאות נתונים.בשאילתה לדוגמה הבאה, מסננים רשומות שבהן כתובות ה-IP (
$e.principal.ip) לא תואמות לאף אחד מטווחי ה-CIDR שרשומים בעמודהbenign_ipב-cidr_data_table:not $e.principal.ip in %data_table.benign_ip
שימוש בטבלת נתונים כרשימת הפניות עם כמה עמודות
אתם יכולים להשתמש בטבלת נתונים כרשימת הפניות עם כמה עמודות. רשימת עזר יכולה לגשת לנתונים במאפיין אחד (עמודה אחת), אבל טבלאות נתונים תומכות בכמה עמודות, כך שאפשר לסנן נתונים ולגשת אליהם בכמה מאפיינים.
אתם יכולים לקשר אירועי UDM לטבלת נתונים באמצעות מילת המפתח in להשוואה מבוססת-עמודות, וכך להתאים ערכים בשדה UDM ספציפי לערכים בעמודה אחת של טבלת הנתונים.
בדוגמה הבאה, טבלת הנתונים badApps מכילה שתי עמודות: hostname ו-ip. השאילתה מתאימה לשני הערכים (ערך שמבוסס על שדה UDM וערך שמבוסס על טבלת הנתונים, שניהם מסוגי נתונים של מחרוזות) באופן עצמאי.
דוגמה לכלל:
rule udm_in_data_table { meta: description = "Use data table as multicolumn reference list" events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" $e.target.asset.asset_id = $assetid // Event hostname matches at least one value in table column hostname. $e.target.hostname in %badApps.hostname // Event IP matches at least one value in table column ip. $e.target.ip in %badApps.ip match: $assetid over 1h condition: $e }דוגמה לחיפוש:
events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" $e.target.asset.asset_id = $assetid // Event hostname matches at least one value in table column hostname. $e.target.hostname in %badApps.hostname // Event IP matches at least one value in table column ip. $e.target.ip in %badApps.ip
איחודים מבוססי-שורות בין טבלת נתונים לבין אירוע או ישות ב-UDM
אתם יכולים לקשר אירועי UDM לטבלת נתונים באמצעות אופרטורים של שוויון והשוואה (=, !=, >, >=,
<, <=) כדי לבצע השוואות על סמך שורות. הגישה הזו מאפשרת לסנן נתונים על ידי התאמת ערכים מאירועי UDM לשורות בטבלת הנתונים. אם אתם משתמשים בכמה הצהרות השוואה, כל השדות או התנאים צריכים להתאים לאותה שורה בטבלת הנתונים.
כדי להשתמש באופרטורים (כמו not, !=, >, >=, <, <=) בשאילתה, צריך לכלול לפחות תנאי join אחד בין שדות UDM לבין שורות בטבלת הנתונים.
מערכת Google SecOps מתייחסת לכל כלל עם טבלת נתונים join ככלל עם כמה אירועים, שדורש קטע match תואם בהגדרת הכלל.
כשמתבצעת הצטרפות, השורות בטבלת הנתונים המקושרת גלויות בחיפוש. מידע נוסף זמין במאמר הצגת שורות בטבלת נתונים בחיפוש Google.
אפשר להשתמש בפלייסהולדרים בטבלאות נתונים בקטע
eventשל שאילתה, אבל הם חייבים להיות מקושרים לאירוע UDM או לישות UDM.בדוגמה הבאה נעשה שימוש בעמודה של טבלת נתונים מסוג
string.השאילתה הזו ב-YARA-L בודקת אם אירוע של התחברות משתמש תואם לשורה ב-
example_table.- תנאי אחד הוא שהערך
user IDקיים ב-example_table. - כדי שהכלל יופעל, שני התנאים צריכים להתאים לאותה שורה ב-
example_table.
- תנאי אחד הוא שהערך
דוגמה לכלל:
// Check if user exists in a data table and is active in all user login events. rule udm_join_data_table { meta: description = "Join data table with UDM event" events: $e.metadata.event_type = "USER_LOGIN" $e.security_result.action = "ALLOW" $e.principal.user.userid = $userid // Event must match at least 1 row in the data table // where the uid in the data table row is the userid on the event // and the active date in the same data table row is before the event timestamp. %example_table.uid = $userid $e.principal.hostname = %example_table.hostname match: $userid over 1h condition: $e }דוגמה לחיפוש:
events: $e.metadata.event_type = "USER_LOGIN" $e.security_result.action = "ALLOW" $e.principal.user.userid = $userid // Event must match at least 1 row in the data table // where the uid in the data table row is the userid on the event // and the active date in the same data table row is before the event timestamp %example_table.uid = $userid $e.principal.hostname = %example_table.hostname
הדוגמה הבאה ממחישה איך טבלת נתונים ונתוני אירועים של UDM פועלים יחד.
בהתאם ללוגיקה בשאילתת YARA-L הקודמת, משתמש עם
user ID 32452מופיע בזיהוי בתורhostnameשל המשתמש מהמערכת, ותואם ל-hostnameבטבלת הנתונים.טבלת נתונים uid כותרת hostname 32452 משאבי אנוש host1 64452 כספים host2 46364 איטלקית host3 טבלת אירועי UDM principal מטא-נתונים security_result principal 32452 USER_LOGIN אישור host1 64589 USER_LOGIN אישור host9 87352 USER_LOGIN אישור host4
החרגת אירועים באמצעות anti-join מבוסס-שורות עם כמה עמודות
כדי להחריג אירועים רק כששילוב ספציפי של שדות תואם לאותה שורה בטבלת נתוני ההחרגה (left anti-join), צריך לקשר כל שדה אירוע לעמודה המתאימה בטבלת הנתונים בקטע events ולציין #<data_table_name> = 0 בקטע condition.
כלל הזיהוי לדוגמה הבא מחריג אירועים כשגם שם הכלל וגם שם המארח הראשי תואמים לאותה שורה ב-exclusion_table:
rule multi_column_row_exclusion {
meta:
author = "Google SecOps"
description = "Excludes events matching a specific rule and hostname combination in the same row of an exclusion data table."
events:
$e.metadata.event_type = "USER_LOGIN"
$e.security_result.rule_name = $rule_name
$e.principal.hostname = $hostname
// Both fields must match the SAME row in the exclusion data table
$rule_name = %exclusion_table.rule_name
$hostname = %exclusion_table.hostname
match:
$rule_name, $hostname over 5m
condition:
// Triggers only when the event exists and no matching combination row exists in the data table
$e and #exclusion_table = 0
}
דוגמאות נוספות לצירופים חיצוניים ולצירופים הפוכים מופיעות במאמר התאמת נתונים באמצעות צירופים חיצוניים.
כתיבת תוצאות משאילתות YARA-L בטבלאות נתונים
אתם יכולים לכתוב את התוצאות של שאילתות YARA-L בטבלת נתונים. בעזרת התכונה הזו, אתם יכולים ליצור טבלאות נתונים מנתוני Google SecOps ולהשתמש בטבלאות האלה כדי לסנן ולשפר נתונים אחרים.
אתם יכולים להשתמש בתחביר לכתיבת שאילתות ב-YARA-L כדי:
הגדרת תחביר YARA-L לכתיבת תוצאות של שאילתות בטבלאות נתונים.
אתם יכולים להשתמש בטבלאות נתונים למודיעין איומי סייבר, לתגובה לאירועים ולתרחישים אחרים שקשורים לאבטחה.
הנתונים צריכים להתאים לתחביר ולמוסכמות של YARA-L.
כתיבת זיהויים והתראות בטבלאות נתונים באמצעות YARA-L
אתם יכולים להשתמש בשאילתת YARA-L כדי לשלוח זיהויים והתראות לטבלאות נתונים.
באמצעות הפונקציה write_row, אפשר להחליף שורה בטבלת נתונים במפתח התואם בטבלת הנתונים באמצעות התוצאות מכלל. אם המפתח לא נמצא בטבלה, צריך להוסיף שורה חדשה.
מציינים את הפונקציה write_row בקטע הייצוא של שאילתת YARA-L. כתיבת נתונים בטבלת הנתונים חייבת להיות הפעולה האחרונה בשאילתה. כתוצאה מכך, משתני התוצאה נכתבים בטבלת הנתונים.
דוגמה
export: %<data_table_name>.write_row( data_table_column_x_name: <value>, data_table_column_y_name: <value>, ..., ..., data_table_column_z_name: <value> ) // depending on the key column(s), the rows will be updated for existing keys and appended for new keysדוגמה: ייצוא של תוצאות חיפוש לטבלת נתונים
events: $e.metadata.event_type = "USER_LOGIN" $e.security_result.action = "ALLOW" outcome: $user = $e.principal.user.userid $ip = $e.target.ip[0] // Assuming target.ip is an array $timestamp = $e.metadata.event_timestamp.seconds export: // Write to the data table named 'successful_logins' %successful_logins.write_row( user: $user, // Maps $user variable to 'user' column ip: $ip, // Maps $ip variable to 'ip' column first_seen: $timestamp // Maps $timestamp variable to 'first_seen' column )
שינוי טבלת נתונים באמצעות YARA-L
כך משנים טבלת נתונים באמצעות YARA-L:
TableName: ip_user_domain_table (עמודות המפתח של המפתח הראשי מוגדרות בזמן היצירה)
| כתובת IP | employee_id* | דומיין |
|---|---|---|
| 192.0.2.10 | Dana | altostrat.com |
| 192.0.2.20 | Quinn | altostrat.com |
| 192.0.2.30 | Lee | cymbalgroup.com |
* מציין את המפתח הראשי.
השאילתה הבאה מתעדת שילובים ייחודיים של principal.ip, principal.user.employee_id ו-target.domain. היא מסננת את התוצאות לפי השכיחות של target.domain:
דוגמה
events: $e.principal.ip = $principal_ip $e.principal.user.employee_id = $principal_user_employee_id $e.target.domain.name = $target_domain $e.target.domain.prevalence.day_count < 5 // To run this query as a rule, add Condition Section here // condition:$e
תוצאות השאילתה:
| ip | empid | דומיין |
|---|---|---|
| 192.0.2.10 | Dana | altostrat.com |
| 192.0.2.30 | Lee | examplepetstore.com |
| 192.0.2.20 | Quinn | altostrat.com |
דוגמה: שימוש ב-write_row כדי לכתוב פלט של שאילתה בטבלת נתונים
דוגמה לכלל:
rule udm_write_data_table { meta: description = "Writeto data table" events: $e.principal.user.employee_id = $principal_user_employee_id $e.target.domain.name = $target_domain $e.target.domain.prevalence.day_count < 5 outcome: $hostname = $target_domain $principal_emp_id = $principal_user_employee_id condition: $e export: %ips_with_hostnames.write_row( employeeid:$principal_emp_id, hostname:$hostname ) }דוגמה לחיפוש:
events: $e.principal.user.employee_id = $principal_user_employee_id $e.target.domain.name = $target_domain $e.target.domain.prevalence.day_count < 5 outcome: $hostname = $target_domain $principal_emp_id = $principal_user_employee_id export: %ips_with_hostnames.write_row( employeeid:$principal_emp_id, hostname:$hostname )
דוגמה: הסבר על write_row
בדוגמה הבאה, user ו-ip משמשים כמפתחות ראשיים. כל זיהוי שנשמר בטבלת הזיהויים מוביל להערכה אחת של בקשה להפעלת פונקציה בקטע הייצוא של השאילתה.
דוגמה לכלל:
rule udm_write_data_table { meta: description = "Write data table" events: $e.metadata.event_type = "USER_LOGIN" all $e.security_result.action != "BLOCK" all $e.security_result.action != "UNKNOWN_ACTION" $user = $e.principal.user.userid $ip = $e.target.ip $ts = $e.metadata.event_timestamp.seconds match: $user, $ip over 1h outcome: $first_seen = min($ts) condition: $e export: %successful_logins.write_row(user:$user, ip:$ip) }דוגמה לחיפוש:
events: $e.metadata.event_type = "USER_LOGIN" all $e.security_result.action != "BLOCK" all $e.security_result.action != "UNKNOWN_ACTION" $ts = $e.metadata.event_timestamp.seconds outcome: $user = $e.principal.user.userid $ip = $e.target.ip[0] export: %successful_logins.write_row(user:$user, ip:$ip)אלה נתוני האירוע:
metadata: { event_type: USER_LOGIN event_timestamp: { seconds: 1283299200 } } principal: { user: { userid: "charlie" } } target: { ip: ["192.0.2.135", "192.0.2.136"] } security_result: { action: ALLOW }כשמריצים את השאילתה הזו ככלל, מתקבלים הזיהויים הבאים:
מזהה הזיהוי התאמה ל-$user התאמה ל- $ip 0 צ'רלי 192.0.2.135 1 צ'רלי 192.0.2.136 טבלת הנתונים מכילה את הפרטים הבאים:
user ip צ'רלי 192.0.2.135 צ'רלי 192.0.2.136 שאילתת החיפוש הבאה ממחישה את התמיכה שמוצעת בחיפוש לכתיבת ערכים סקלריים בטבלאות נתונים.
events: $e.metadata.event_type = "NETWORK_CONNECTION" export: %summary_table.write_row(col_name: $e.metadata.product_name, Vendor_name: $e.metadata.vendor_name)
העשרת תרשים ישויות באמצעות טבלת נתונים
אתם יכולים להשתמש בטבלאות נתונים כדי להוסיף, להסיר או להחליף את הישויות שמוצגות בתרשים ישויות מכללים. משתמשים בפונקציות בקטע setup של הכלל כדי לציין איך למזג את טבלת הנתונים עם אירועי הישויות שמצוינים בקטע events, להוסיף אותה אליהם או להשתמש בה כדי להסיר מהם ישויות.
כדי לשנות תרשים ישויות, אפשר להשתמש בתבנית הכלל הבאה:
תבנית לכללים
rule entity_graph_template { meta: ... setup: // import the data table into entity graph <enrichment_keyword> <join_condition> events: ... match: ... condition: ... }
אתם יכולים להשתמש בפונקציות הבאות של YARA-L 2.0 כדי לשפר את תרשים הישויות באמצעות טבלת נתונים:
graph_override: החלפת השורות בתרשים הישויות שתואמות לתנאי הצירוף בנתונים מטבלת הנתונים.לדוגמה:
[graph_override](?tab=t.0#heading=h.v0fps7eke1if)
graph_append: הוספת השורות מטבלת הנתונים לשורות בתרשים הישויות. הפעולהgraph_appendדורשת מערך שכולל משתנה של טבלת נתונים ומשתנה של אירוע ישות, ולא תנאי איחוד.בדוגמה הבאה,
$g1הוא המשתנה של תרשים הישויות ו-example_tableהוא טבלת הנתונים:graph_append [$g1, %example_table]כדי לאמת את הישות, טבלאות הנתונים של הפונקציה
appendצריכות לכלול את העמודות הבאות:
start_time(ממופה אלmetadata.interval.start_time.seconds)
end_time(ממופה אלmetadata.interval.end_time.seconds)
אי אפשר למפות עמודות של טבלת נתונים לשדות של מטא-נתונים באמצעות ממשק האינטרנט. במקרה של
append, צריך ליצור טבלאות נתונים באמצעות Chronicle API (https://docs.cloud.google.com/chronicle/docs/reference/rest/v1alpha/projects.locations.instances.dataTables/create)
graph_exclude: הסרת השורות בתרשים הישויות שתואמות לתנאיjoin.לדוגמה:
[graph_exclude](?tab=t.0#heading=h.o0qbb5paki6g)
תנאי ההצטרפות חייב להיות ביטוי שוויון בין העמודה בטבלת הנתונים לבין השדה בתרשים הישות. בפונקציות graph_override ו-graph_exclude, התחביר לגישה לטבלת נתונים הוא:
<data_table_name>.<column_name>
כל מסנן שצוין ל-<entity_variable> בקטע האירועים מופעל אחרי השיפור שלו באמצעות טבלת הנתונים.
אחרי שהישות בתרשים הישויות מועשרת בישות בטבלת הנתונים, צריך לחבר את משתנה הישות בתרשים הישויות לישות ה-UDM.
שינוי תרשים הישויות באמצעות נתונים מטבלת הנתונים
כשמשתמשים בפונקציה graph_override, שדות שמופיעים גם בתרשים הישויות וגם בטבלת הנתונים מוחלפים בשדות מטבלת הנתונים. שדות שקיימים בתרשים הישויות ולא קיימים בטבלת הנתונים נשארים ללא שינוי. שדות שלא קיימים בתרשים הישויות אבל קיימים בטבלת הנתונים נכללים.
רק העמודות בטבלת הנתונים שממופות מבטלות את העמודות בתרשים הישויות. העמודות שלא מופו מתווספות לשדה additional של תרשים הישויות שאליו מצורפת טבלת הנתונים.
דוגמה: התאמה בצירוף יחיד
בדוגמה הבאה, השורות בתרשים הישויות שתואמות לתנאי הצירוף בין העמודה בטבלת הנתונים לבין השדה בתרשים הישויות ($g1.graph.entity.ip = %example_table.my_ip) מוחלפות על ידי טבלת הנתונים.
דוגמה
rule rule_override { meta: description = "Override entity context with data table before joining with UDM event" setup: //Rows in the entity graph that match the join condition are overridden by the data table graph_override ($g1.graph.entity.ip = %example_table.my_ip) events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" // Filter will be applied after graph is overridden by data table $g1.graph.entity.hostname = "ftp01" // Accessing unmapped columns $g1.graph.additional.fields["Owner"] = "alice" // Joining the UDM event with the enriched entity graph $e.target.ip = $iocip $g1.graph.entity.ip = $iocip match: $iocip over 1h condition: $e and $g1 }
כדי להשתמש בעמודה לא ממופה (למשל "בעלים") של טבלת הנתונים, צריך להשתמש בהצהרה מקבילה עבור $g1.graph.entity.owner = "alice" is $g1.graph.additional.fields["Owner"] = "alice".
הסיבה לכך היא שכל העמודות שלא מופו בטבלת הנתונים עוברות לשדה additional בתרשים הישויות ($g1).
בטבלאות הבאות מוצגת פעולת שינוי שבה השורות בתרשים הישויות מועשרות כשהשדה IP בטבלת הנתונים תואם לשדה IP בתרשים הישויות.
| תרשים ישויות קיים | ||
|---|---|---|
| שם המארח | IP | MAC |
| ftp01 | 10.1.1.4 | …:01 |
| www01 | 10.1.1.5 | …:02 |
| טבלת נתונים | |||
|---|---|---|---|
| שם המארח | IP | MAC | בעלים |
| ftp01 | 10.1.1.4 | …:bb | אליס |
| h1 | 10.1.1.6 | …:cc | בוב |
| h2 | 10.1.1.7 | …:dd | chris |
| h3 | 10.1.1.4 | …:ee | דאג |
| תרשים ישויות מועשר | |||
|---|---|---|---|
| שם המארח | IP | MAC | בעלים |
| ftp01 | 10.1.1.4 | …:bb | אליס |
| www01 | 10.1.1.5 | …:02 | |
| h3 | 10.1.1.4 | …:ee | דאג |
דוגמה: התאמה בכמה צירופים
בדוגמה הבאה, השורות בתרשים הישויות שתואמות לתנאי הצירוף המרובים ($g1.graph.entity.ip = %example_table.my_ip ו-$g1.graph.entity.hostname = %example_table.my_hostname) מוחלפות בנתונים מטבלת הנתונים.
דוגמה
rule rule_override { meta: description = "Override Entity context with Data Table before joining with UDM event" setup: // example with more than one condition graph_override ($g1.graph.entity.ip = %example_table.my_ip and $g1.graph.entity.hostname = %example_table.my_hostname) events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" // Filter will be applied after graph is overridden by data table $g1.graph.entity.hostname = "ftp01" // joining the UDM event with the enriched entity graph $e.target.ip = $iocip $g1.graph.entity.ip = $iocip match: $iocip over 1h condition: $e and $g1 }
בטבלאות הבאות מוצגת פעולת שינוי שבה השורות בתרשים הישויות מועשרות כשגם השדה של כתובת ה-IP וגם השדה של שם המארח בטבלת הנתונים תואמים לשדה של כתובת ה-IP ולשדה של שם המארח בתרשים הישויות.
| תרשים ישויות קיים | ||
|---|---|---|
| שם המארח | IP | MAC |
| ftp01 | 10.1.1.4 | …:01 |
| www01 | 10.1.1.5 | …:02 |
| טבלת נתונים | |||
|---|---|---|---|
| שם המארח | IP | MAC | בעלים |
| ftp01 | 10.1.1.4 | …:bb | אליס |
| h1 | 10.1.1.5 | …:cc | בוב |
| h2 | 10.1.1.6 | …:dd | chris |
| h3 | 10.1.1.4 | …:ee | דאג |
| תרשים ישויות מועשר | |||
|---|---|---|---|
| שם המארח | IP | MAC | בעלים |
| ftp01 | 10.1.1.4 | …:bb | אליס |
| www01 | 10.1.1.5 | …:02 | |
הוספת נתונים מטבלת הנתונים לתרשים הישויות
graph_append לא דורשת תנאי צירוף.
בדוגמה הבאה, כל השורות בטבלת הנתונים מצורפות לשורות בתרשים הישויות.
דוגמה
rule rule_append { meta: description = "Data table append entity" setup: graph_append [$g1, %example_table] events: // filter UDM events $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" // Join the filtered UDM events with the enriched graph $e.target.ip = $iocip $g1.graph.entity.ip = $iocip match: $iocip over 1h condition: $e and $g1 }
בטבלה הבאה מוצגת דוגמה לפעולת append שבה השורות בטבלת הנתונים מצורפות לשורות בתרשים הישויות:
| תרשים ישויות קיים | ||
|---|---|---|
| שם המארח | IP | MAC |
| ftp01 | 10.1.1.4 | …:01 |
| www01 | 10.1.1.5 | …:02 |
| טבלת נתונים | ||
|---|---|---|
| IP | MAC | בעלים |
| 10.1.1.4 | …:01 | אליס |
| 10.1.1.6 | …:cc | בוב |
| 10.1.1.7 | …:dd | chris |
| 10.1.1.4 | …:ee | דאג |
| תרשים ישויות מועשר | |||
|---|---|---|---|
| שם המארח | IP | MAC | בעלים |
| ftp01 | 10.1.1.4 | …:01 | |
| www01 | 10.1.1.5 | …:02 | |
| 10.1.1.4 | …:bb | אליס | |
| 10.1.1.6 | …:cc | בוב | |
| 10.1.1.7 | …:dd | chris | |
| 10.1.1.4 | …:ee | דאג | |
שימוש ב-graph_exclude כדי להסיר שורות מתרשים הישויות
בעזרת הפונקציה graph_exclude, שורות בתרשים הישויות שתואמות לתנאי הצירוף מוסרות מתרשים הישויות.
בדוגמה הבאה, כל השורות בתרשים הישויות שתואמות לתנאי הצירוף שצוין (בין העמודה בטבלת הנתונים לבין השדה בתרשים הישויות) מוסרות. אף שורה מטבלת הנתונים לא נוספת לתרשים הישויות.
דוגמה
rule rule_exclude { meta: setup: graph_exclude ($g1.graph.entity.ip = %example_table.ip) events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" $e.target.ip = $iocip $g1.graph.entity.ip = $iocip match: $iocip over 1h condition: $e and $g1 }
בטבלאות הבאות מוצגת פעולת החרגה שבה השורות בתרשים הישויות שתואמות לשדה ה-IP של טבלת הנתונים מוסרות:
| תרשים ישויות קיים | ||
|---|---|---|
| שם המארח | IP | MAC |
| ftp01 | 10.1.1.4 | …:01 |
| www01 | 10.1.1.5 | …:02 |
| טבלת נתונים | ||
|---|---|---|
| IP | MAC | בעלים |
| 10.1.1.4 | …:bb | אליס |
| 10.1.1.6 | …:cc | בוב |
| 10.1.1.7 | …:dd | chris |
| תרשים ישויות מועשר | ||
|---|---|---|
| שם המארח | IP | MAC |
| www01 | 10.1.1.5 | …:02 |
מגבלות קצב של יצירת בקשות ל-API
מכסות השאילתות לדקה (QPM) הבאות נאכפות לכל פרויקט ומשתמש כששולחים קריאה לנקודות הקצה של Google SecOps Data Table ו-Data Table Row ב-API בארכיטקטורת REST:
| משאב | פעולת API | מגבלת הקצב ליצירת בקשות (STANDARD) |
|---|---|---|
| DataTables | CreateDataTable (data_table/create_requests) |
60 שאילתות לדקה |
| DataTables | GetDataTable (data_table/get_requests) |
120 שאילתות לדקה |
| DataTables | ListDataTables (data_table/list_requests) |
120 שאילתות לדקה |
| DataTables | UpdateDataTable (data_table/update_requests) |
60 שאילתות לדקה |
| DataTables | DeleteDataTable (data_table/delete_requests) |
60 שאילתות לדקה |
| DataTableRows | CreateDataTableRow (data_table_row/create_requests) |
60 שאילתות לדקה |
| DataTableRows | GetDataTableRow (data_table_row/get_requests) |
120 שאילתות לדקה |
| DataTableRows | ListDataTableRows (data_table_row/list_requests) |
120 שאילתות לדקה |
| DataTableRows | UpdateDataTableRow (data_table_row/update_requests) |
60 שאילתות לדקה |
| DataTableRows | DeleteDataTableRow (data_table_row/delete_requests) |
60 שאילתות לדקה |
| DataTableRows | BulkCreateDataTableRows (סינכרוני / אסינכרוני) |
30 שאילתות לדקה |
| DataTableRows | BulkReplaceDataTableRows (סינכרוני / אסינכרוני) |
30 שאילתות לדקה |
| DataTableRows | BulkUpdateDataTableRows (סינכרוני / אסינכרוני) |
10 שאילתות לדקה |
| DataTableRows | BulkDeleteDataTableRows (סינכרוני / אסינכרוני) |
30 שאילתות לדקה |
| DataTableRows | BulkGetDataTableRows (data_table_row/bulk_get_requests) |
120 שאילתות לדקה |
מגבלות
מספר מקסימלי של טבלאות נתונים בחשבון Google SecOps: 1,000.
טבלאות נתונים תומכות רק בנתוני CSV. טבלאות נתונים תומכות בערכים מופרדים בטאבים רק כשמוסיפים טבלת נתונים חדשה ומייבאים קובץ של ערכים מופרדים בטאבים (TSV).
אי אפשר להשתמש בפסיקים (
,) בשדות של טבלת הנתונים.המגבלות על מספר הצהרות ה-
inכשמפנים לרשימת עזר בשאילתה חלות גם על הצהרותinבטבלת נתונים.מספר מקסימלי של הצהרות
inבשאילתה לעמודות מסוג מוגדרStringו-Number: 10.מספר מקסימלי של הצהרות
inעם אופרטורים של ביטויים רגולריים: 5.מספר מקסימלי של הצהרות
inעם אופרטורים של CIDR: 5.מספר מקסימלי של הצהרות
= (JOIN): 10.מספר העמודות המקסימלי בכל טבלת נתונים: 1,000.
מספר השורות המקסימלי בכל טבלת נתונים: 10 מיליון.
מספר השורות המקסימלי שאפשר להציג בדף אינטרנט בטבלת נתונים בתצוגת עורך הטקסט והטבלאות: 10,000 שורות.
נפח הנתונים המקסימלי בטבלת נתונים: 10GB.
אסור להשתמש בפלייסהולדרים בקטע ההגדרה.
אפשר לחבר עמודות לא ממופות של טבלת נתונים שסוג הנתונים שלהן מוגדר כ-
stringרק עם שדות מחרוזת של אירוע UDM או ישות UDM.אפשר להשתמש רק בעמודות לא ממופות בטבלת נתונים שסוג הנתונים שלהן מוגדר כ-
cidrאו כ-regexל-CIDR או לביטוי רגולרי.חיפושים בטבלת נתונים: אין תמיכה בתווים כלליים לחיפוש של ביטויים רגולריים, ומונחי החיפוש מוגבלים ל-100 תווים.
מגבלות על שאילתות איחוד (join) של טבלאות נתונים בכללים
המגבלות הבאות חלות על שילובים של טבלאות נתונים בכללים.
אי אפשר לאחזר את כל דגימות האירועים לזיהויים כשמשתמשים בצירופי טבלאות נתונים עם אירועים.
בניגוד לישויות ול-UDM, טבלאות נתונים לא תומכות בפלייסהולדרים. זה מוביל למגבלות הבאות:
אי אפשר להחיל קבוצה אחת של מסננים על טבלת נתונים ולצרף אותה לישות UDM.
אי אפשר להחיל קבוצה אחרת של מסננים על אותה טבלת נתונים כשמצרפים אותה לפלייסהולדר אחר של UDM.
לדוגמה, טבלת נתונים בשם
dtעם שלוש עמודות:my_hostname,orgו-my_email, ועם הכלל הבא:events: $e1.principal.hostname = %dt.my_hostname %dt.org ="hr" $e2.principal.email = %dt.my_email %dt.org !="hr"
כל המסננים בטבלת הנתונים מופעלים קודם, ואז השורות המסוננות מטבלת הנתונים מצורפות ל-UDM. במקרה הזה, המסננים הסותרים (%dt.org ="hr" and %dt.org !="hr") בטבלה dt גורמים לטבלת נתונים ריקה, שמצורפת גם ל-e1 וגם ל-e2.
מגבלות על השימוש בטבלאות נתונים עם כללים
המגבלות הבאות חלות על טבלאות נתונים כשמשתמשים בהן עם כללים.
מגבלות על תדירות ההפעלה
אי אפשר להגדיר תדירות הרצה בזמן אמת לכללים עם טבלאות נתונים.
מגבלות על פלט לטבלאות נתונים
אין תמיכה בשינוי של
anyו-allבעמודות של שדות חוזרים בטבלאות נתונים.אין תמיכה בהוספה לאינדקס של מערכים בעמודות של שדות חוזרים בטבלאות נתונים.
אפשר לייצא משתני תוצאה רק לטבלת נתונים. אי אפשר לייצא ישירות נתיבי אירועים או עמודות של טבלת נתונים.
רשימות העמודות חייבות לכלול את עמודות המפתח הראשי של טבלאות הנתונים.
אפשר להגדיר עד 20 תוצאות.
אם טבלת הנתונים לא קיימת, נוצרת טבלה חדשה עם סוג הנתונים שמוגדר כברירת מחדל (
string) לכל העמודות, לפי הסדר שצוין.עד חמישה כללים יכולים לכתוב לטבלת נתונים בו-זמנית.
אין ערובה לכך שכלל יצרן יוכל להוסיף שורות לטבלת נתונים לפני שכלל צרכן של אותה טבלת נתונים יתחיל.
בכלל אחד יש מגבלה על מספר שורות התוצאה. מגבלה של 10,000 שורות לכל היותר חלה על התוצאה, על הנתונים שנשמרו ועל טבלאות הנתונים.
כשמעדכנים שורה, הערכים החדשים בכל העמודות שהן לא עמודות מפתח מחליפים את הערכים הישנים. כל עדכון, כולל הוספת שורה חדשה, יהיה זמין לשאילתות תוך כחמש דקות.
מגבלות על העשרת ישויות מטבלאות נתונים
אפשר להחיל רק פעולת העשרה אחת (
override,appendאוexclude) על משתנה אחד של תרשים ישויות.בכל פעולת העשרה אפשר להשתמש רק בטבלת נתונים אחת.
אפשר להגדיר עד שתי פעולות העשרה מכל סוג בקטע
setupשל כלל YARA-L.
בדוגמה הבאה, הפעולה override מופעלת על המשתנה $g1 של תרשים הישויות, והפעולה append מופעלת על המשתנה $g2 של תרשים הישויות.
none setup: graph_override($g1.graph.entity.user.userid = %table1.myids) graph_append [$g2, %table1]
בדוגמה הקודמת, אותה טבלת נתונים (table1) משמשת לשיפור של תרשימי ישויות שונים. אתם יכולים גם להשתמש בטבלאות נתונים שונות כדי לשפר את תרשימי הישויות השונים, באופן הבא:
none setup: graph_override($g1.graph.entity.user.userid = %table1.myids) graph_append [$g2, %table2]
מגבלות בשימוש בטבלאות נתונים בחיפוש Google
המגבלות הבאות חלות על טבלאות נתונים כשמשתמשים בהן בחיפוש Google:
הפעלה אחת של שאילתה יכולה להפיק עד מיליון שורות בטבלת נתונים או עד 1GB, המגבלה הראשונה מביניהן.
אם פלט החיפוש בטבלת נתונים חורג מ-5MB, המערכת מדלגת על שורות של אירועים.
אי אפשר להשתמש בהעשרת ישויות בחיפוש.
משתמשים במפתחות הצפנה בניהול הלקוח (CMEK) לא יכולים להשתמש בטבלאות נתונים.
פעולות הכתיבה מוגבלות ל-6 פעולות לדקה לכל לקוח.
טבלת נתונים ואיחודים של טבלאות נתונים נתמכים רק באירועי UDM, ולא בישויות.
נתמך:
%datatable1.column1 = %datatable2.column1לא נתמך:
graph.entity.hostname = %sample.testאי אפשר לכלול משתנה
matchבקטעexportשל שאילתת נתונים סטטיסטיים.לדוגמה, אין תמיכה בתכונות הבאות:
match: principal.hostname export: %sample.write_row( row: principal.hostname )
מגבלות על שינוי שם או מחיקה של טבלאות נתונים באמצעות Terraform או Chronicle API
- אי אפשר לשנות את השם דרך הפלטפורמה או ה-API.
- אי אפשר למחוק טבלת נתונים (דרך הפלטפורמה או ה-API) אם יש כלל שמפנה אליה.
- ב-Terraform, שינוי השם של טבלת נתונים מפעיל פעולת השמדה ויצירה מחדש. אם יש כלל שמפנה לטבלת הנתונים, הפעולה הזו תיכשל כי ה-API חוסם את המחיקה של הטבלה הישנה.
- סיכון לאובדן נתונים ב-Terraform: גם אם אין כלל שמפנה לטבלת נתונים, שינוי השם שלה באמצעות Terraform גורם לאובדן נתונים באופן סופי. Terraform משמיד את הטבלה הקיימת ומחליף אותה בטבלה חדשה וריקה שלא שומרת נתונים מהטבלה המקורית.
- פתרון מומלץ:
- יוצרים טבלת נתונים חדשה עם השם החדש.
- כדי להתחיל להשתמש בטבלת הנתונים החדשה, צריך לעדכן את הכללים.
- מוחקים את טבלת הנתונים הישנה.
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.