שדות חוזרים
ב-Unified Data Model (UDM), חלק מהשדות מסומנים כחוזרים, כלומר הם רשימות של ערכים או סוגים אחרים של הודעות. במאמר הזה מוסבר איך להשתמש בביטויים, בפלייסהולדרים, בהוספה לאינדקס של מערכים ובהודעות חוזרות בשדות UDM חוזרים.
ביטויים בוליאניים ושדות חוזרים
ביטויים בוליאניים עם או בלי שינוי יכולים לפעול על שדות חוזרים.
לדוגמה, נניח שמתרחש האירוע הבא:
event_original {
principal {
// ip is a repeated field
ip: [ "192.0.2.1", "192.0.2.2", "192.0.2.3" ]
hostname: "host"
}
}
ביטויים ששונו
משתמשים במודיפיירים any ו-all בביטויים בשדות חוזרים.
any– אם כל רכיב בשדה החוזר עומד בתנאי, האירוע כולו עומד בתנאי. לדוגמה:-
event_originalעומד בתנאיany $e.principal.ip = "192.0.2.1" -
event_originalנכשל ב-any $e.repeated_field.field_a = "9.9.9.9"
-
all– אם כל הרכיבים של השדה החוזר עומדים בתנאי, האירוע כולו עומד בתנאי. לדוגמה:-
event_originalעומד בתנאיnet.ip_in_range_cidr(all $e.principal.ip, "192.0.2.0/8") -
event_originalנכשל ב-all $e.principal.ip = "192.0.2.2"
-
כשכותבים תנאי עם any או all, חשוב לזכור ששלילת התנאי באמצעות not לא בהכרח תהיה זהה לשימוש באופרטור השלילה.
לדוגמה:
not all $e.principal.ip = "192.168.12.16"בודק אם לא כל כתובות ה-IP תואמות ל-192.168.12.16, כלומר השאילתה בודקת אם לפחות כתובת IP אחת לא תואמת ל-192.168.12.16all $e.principal.ip != "192.168.12.16"בודק אם כל כתובות ה-IP לא תואמות ל-192.168.12.16, כלומר השאילתה בודקת שאין כתובות IP שתואמות ל-192.168.12.16
מגבלות:
- האופרטורים
anyו-allתואמים רק לשדות חוזרים (לא לשדות סקלריים). - אי אפשר להשתמש ב-
anyוב-allכדי לאחד שני שדות חוזרים. לדוגמה, הערךany $e1.principal.ip = $e2.principal.ipלא תקין. - האופרטורים
anyו-allלא נתמכים בביטוי של רשימת ההפניות.
ביטויים שלא שונו
לדוגמה, נניח שיש אירוע שבו השדה security_result הוא שדה חוזר:
security_result[0].threat_id = "threat_a"
security_result[1].threat_id = "threat_b"
security_result[1].rule_name = "rule_b"
security_result[2].threat_id = "threat_c"
שאילתת חיפוש ללא שינוי כמו $e.security_result.rule_name = "" מחזירה את האירוע הזה כי התנהגות ברירת המחדל של השדה החוזר היא true אם רכיב כלשהו עומד בתנאי. השאילתה תואמת לאינדקס 0 ולאינדקס 2, שבהם השדה rule_name לא קיים (מחרוזת ריקה).
באופן דומה, אותו אירוע תואם גם לשאילתה $e.security_result.rule_name != "" כי התנאי מתקיים באינדקס 1.
כדי לבדוק שהשדה rule_name לא מופיע באף אחד מהרכיבים של security_result, משתמשים באופרטור all: all $e.security_result.rule_name = "". השאילתה הזו לא תואמת לאירוע לדוגמה.
בביטויים ללא שינוי, כל רכיב בשדה החוזר מטופל בנפרד. אם שדה חוזר של אירוע מכיל רכיבי n, השאילתה מופעלת על עותקי n של האירוע, כאשר לכל עותק יש אחד מהרכיבים של השדה החוזר. העותקים האלה זמניים ולא נשמרים.
בדוגמה שלמעלה, הכלל חל על העותקים הבאים של קבוצת הנתונים event_original:
| עותק של האירוע | principal.ip | principal.hostname |
|---|---|---|
| event_copy_1 | "192.0.2.1" | "host" |
| event_copy_2 | "192.0.2.2" | "host" |
| event_copy_3 | "192.0.2.3" | "host" |
אם כל עותק של אירוע עומד בכל התנאים שלא השתנו בשדה החוזר, האירוע כולו עומד בכל התנאים. לכן, אם יש לכם כמה תנאים בשדה חוזר, עותק אחד של האירוע צריך לעמוד בכל התנאים. הדוגמאות הבאות לשאילתות משתמשות בקבוצת הנתונים לדוגמה שלמעלה כדי להדגים את ההתנהגות הזו.
דוגמה: ביטויים ללא שינוי
הכלל הבא מחזיר התאמה אחת כשהוא פועל על קבוצת הנתונים לדוגמה event_original, כי event_copy_1 עומד בכל התנאים של האירועים:
rule repeated_field_1 {
meta:
events:
net.ip_in_range_cidr($e.principal.ip, "192.0.2.0/8") // Checks if IP address matches 192.x.x.x
$e.principal.ip = "192.0.2.1"
condition:
$e
}
הכלל הבא לא מחזיר התאמה כשהוא פועל על מערך הנתונים לדוגמה event_original, כי אין עותק של אירוע ב-$e.principal.ip שעומד בכל הפרדיקטים של האירוע.
rule repeated_field_2 {
meta:
events:
$e.principal.ip = "192.0.2.1"
$e.principal.ip = "192.0.2.2"
condition:
$e
}
ביטויים ששונו בשדות חוזרים תואמים לביטויים שלא שונו בשדות חוזרים, כי רשימת הרכיבים זהה בכל עותק של אירוע. נבחן את הכלל הבא:
rule repeated_field_3 {
meta:
events:
any $e.principal.ip = "192.0.2.1"
$e.principal.ip = "192.0.2.3"
condition:
$e
}
הכלל חל על העותקים הבאים:
| עותק של האירוע | principal.ip | any $e.principal.ip |
|---|---|---|
| event_copy_1 | "192.0.2.1" | ["192.0.2.1", "192.0.2.2", "192.0.2.3"] |
| event_copy_2 | "192.0.2.2" | ["192.0.2.1", "192.0.2.2", "192.0.2.3"] |
| event_copy_3 | "192.0.2.3" | ["192.0.2.1", "192.0.2.2", "192.0.2.3"] |
במקרה הזה, כל העותקים עומדים בתנאי any $e.principal.ip = "192.0.2.1" אבל רק event_copy_3 עומד בתנאי $e.principal.ip = "192.0.2.3". כתוצאה מכך, האירוע כולו יתאים.
דרך נוספת לחשוב על סוגי הביטויים האלה:
- ביטויים בשדות חוזרים שמשתמשים ב-
anyאו ב-allפועלים ברשימה ב-event_original. - ביטויים בשדות חוזרים שלא משתמשים ב-
anyאו ב-allפועלים על אירועיevent_copy_nנפרדים.
פלייסהולדרים ושדות חוזרים
שדות חוזרים פועלים עם הקצאות של פלייסהולדרים. בדומה לביטויים ללא שינוי בשדות חוזרים, נוצר עותק של האירוע לכל רכיב. נמשיך עם אותה דוגמה של event_copy. הפלייסהולדר מקבל את הערך של השדה החוזר של event_copy_n, לכל אחד מהעותקים של האירוע, כאשר n הוא מספר העותק של האירוע. אם משתמשים בפלייסהולדר בקטע ההתאמה, יכולות להיות כמה התאמות.
דוגמה: פלייסהולדר של שדה חוזר
בדוגמה הבאה נוצרת התאמה אחת. הפלייסהולדר `$ip` שווה ל-`192.0.2.1` ב-`event_copy_1`, וזה עומד בתנאים של הכלל. דגימות האירועים של ההתאמה מכילות רכיב אחד, `event_original`.
// Generates 1 match.
rule repeated_field_placeholder1 {
meta:
events:
$ip = $e.principal.ip
$ip = "192.0.2.1"
$host = $e.principal.hostname
match:
$host over 5m
condition:
$e
}
בדוגמה הבאה נוצרות שלוש התאמות. הפלייסהולדר $ip שווה לערכים שונים בכל אחד מ-event_copy_n העותקים.
הקיבוץ מתבצע לפי $ip כי הוא נמצא בקטע ההתאמה. לכן, אתם מקבלים שלוש התאמות, כאשר לכל התאמה יש ערך שונה למשתנה ההתאמה $ip. לכל התאמה יש את אותה דגימת אירוע: רכיב יחיד, event_original.
// Generates 3 matches.
rule repeated_field_placeholder2 {
meta:
events:
$ip = $e.principal.ip
net.ip_in_range_cidr($ip, "192.0.2.0/8") // Checks if IP matches 192.x.x.x
match:
$ip over 5m
condition:
$e
}
תוצאות של שימוש בערכי פלייסהולדר שמוקצים לשדות חוזרים
פלייסהולדרים מוקצים לכל רכיב בכל שדה חוזר, ולא לרשימה כולה. כשמשתמשים בהם בקטע outcome, התוצאה מחושבת רק באמצעות הרכיבים שעמדו בתנאים של הקטעים הקודמים.
נבחן את הכלל הבא:
rule outcome_repeated_field_placeholder {
meta:
events:
$ip = $e.principal.ip
$ip = "192.0.2.1" or $ip = "192.0.2.2"
$host = $e.principal.hostname
match:
$host over 5m
outcome:
$o = array_distinct($ip)
condition:
$e
}
יש ארבעה שלבי ביצוע לכלל הזה. השלב הראשון הוא העתקת האירועים:
| עותק של האירוע | $ip | $host | $e |
|---|---|---|---|
| event_copy_1 | "192.0.2.1" | "host" | event_id |
| event_copy_2 | "192.0.2.2" | "host" | event_id |
| event_copy_3 | "192.0.2.3" | "host" | event_id |
בקטע האירועים יסוננו שורות שלא תואמות למסננים:
| עותק של האירוע | $ip | $host | $e |
|---|---|---|---|
| event_copy_1 | "192.0.2.1" | "host" | event_id |
| event_copy_2 | "192.0.2.2" | "host" | event_id |
הערך event_copy_3 סונן כי "192.0.2.3" לא עומד בתנאי $ip = "192.0.2.1" or $ip = "192.0.2.2".
הקטע match יקבץ לפי משתני התאמה, והקטע outcome יבצע צבירה בכל קבוצה:
| $host | $o | $e |
|---|---|---|
| "host" | ["192.0.2.1", "192.0.2.2"] | event_id |
הערך של $o = array_distinct($ip) מחושב לפי $ip מהשלב הקודם, ולא משלב העתקת האירועים.
לבסוף, הקטע condition יסנן כל קבוצה. מכיוון שהכלל הזה בודק רק אם $e קיים, השורה מהדוגמה הקודמת תפיק זיהוי אחד.
הפונקציה $o לא מכילה את כל הרכיבים מ-$e.principal.ip כי לא כל הרכיבים עמדו בכל התנאים בקטע האירועים. עם זאת, כל הרכיבים של e.principal.ip יופיעו בדגימת האירועים כי דגימת האירועים משתמשת ב-event_original.
הוספת מערך לאינדקס
אפשר לבצע הוספה לאינדקס של מערך בשדות חוזרים. כדי לגשת לרכיב ה-n-י של שדה חוזר, משתמשים בתחביר הרגיל של רשימה (הרכיבים ממוספרים החל מ-0). רכיב מחוץ לטווח מחזיר את ערך ברירת המחדל.
$e.principal.ip[0] = "192.168.12.16"$e.principal.ip[999] = ""אם יש פחות מ-1,000 רכיבים, הערך שיוחזר הואtrue.
מגבלות:
- אינדקס חייב להיות מספר שלם לא שלילי. לדוגמה, הערך
$e.principal.ip[-1]לא תקין. - ערכים מסוג
int(לדוגמה, פלייסהולדר שמוגדר כ-int) לא נספרים. - אי אפשר לשלב הוספה לאינדקס של מערך עם
anyאוall. לדוגמה, הערךany $e.intermediary.ip[0]לא תקין. - אי אפשר לשלב הוספה לאינדקס של מערך עם תחביר של מפה. לדוגמה, הערך
$e.additional.fields[0]["key"]לא תקין. - אם נתיב השדה מכיל כמה שדות חוזרים, כל השדות החוזרים צריכים להשתמש בהוספה לאינדקס של מערך. לדוגמה,
$e.intermediary.ip[0]לא תקין כיintermediaryו-ipהם שדות חוזרים, אבל יש אינדקס רק ל-ip.
הודעות חוזרות
כששדה message חוזר על עצמו, אחת מההשפעות הלא מכוונות היא הפחתת הסבירות להתאמה. הדוגמאות הבאות ממחישות את זה.
לדוגמה, נניח שמתרחש האירוע הבא:
event_repeated_message {
// about is a repeated message field.
about {
// ip is a repeated string field.
ip: [ "192.0.2.1", "192.0.2.2", "192.0.2.3" ]
hostname: "alice"
}
about {
hostname: "bob"
}
}
כמו שצוין לגבי ביטויים ללא שינוי בשדות חוזרים, נוצר עותק זמני של האירוע לכל רכיב בשדה החוזר. נבחן את הכלל הבא:
rule repeated_message_1 {
meta:
events:
$e.about.ip = "192.0.2.1"
$e.about.hostname = "bob"
condition:
$e
}
הכלל חל על העותקים הבאים:
| עותק של האירוע | about.ip | about.hostname |
|---|---|---|
| event_copy_1 | "192.0.2.1" | "alice" |
| event_copy_2 | "192.0.2.2" | "alice" |
| event_copy_3 | "192.0.2.3" | "alice" |
| event_copy_4 | "" | "bob" |
האירוע לא תואם לכלל כי אין עותק של האירוע שעומד בכל הביטויים.
הודעות חוזרות ואינדקס מערכים
התנהגות לא צפויה נוספת יכולה להתרחש כשמשתמשים באינדקס מערך עם ביטויים ללא שינוי בשדות של הודעות חוזרות. הנה דוגמה לכלל שמשתמש באינדקס מערך:
rule repeated_message_2 {
meta:
events:
$e.about.ip = "192.0.2.1"
$e.about[1].hostname = "bob"
condition:
$e
}
הכלל חל על העותקים הבאים:
| עותק של האירוע | about.ip | about[1].hostname |
|---|---|---|
| event_copy_1 | "192.0.2.1" | "bob" |
| event_copy_2 | "192.0.2.2" | "bob" |
| event_copy_3 | "192.0.2.3" | "bob" |
| event_copy_4 | "" | "bob" |
מכיוון ש-event_copy_1 עומד בכל הביטויים ב-repeated_message_2, האירוע תואם לכלל.
זה יכול להוביל להתנהגות לא צפויה כי לכלל repeated_message_1 לא היה אינדקס מערך והוא לא הניב התאמות, ואילו לכלל repeated_message_2 היה אינדקס מערך והוא הניב התאמה.
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.