חיפוש בטבלאות נתונים

נתמכים ב:

טבלאות נתונים הן מבני נתונים עם כמה עמודות שמאפשרים להזין נתונים משלכם ב-Google Security Operations. טבלאות נתונים יכולות לשמש כטבלאות חיפוש עם עמודות מוגדרות והנתונים מאוחסנים בשורות. אתם יכולים ליצור או לייבא טבלת נתונים לחשבון Google SecOps באמצעות ממשק האינטרנט של Google SecOps, באמצעות ה-API של טבלאות הנתונים או באמצעות שאילתת סקירה כללית של YARA-L 2.0.

הקצאת היקפים לטבלאות נתונים באמצעות בקרת גישה מבוססת-תפקיד (RBAC) לנתונים

כדי להשתמש בטבלאות נתונים, צריך להקצות להן היקפים באמצעות בקרת גישה מבוססת-תפקידים (RBAC) לנתונים. כשמקצים היקפים לטבלת נתונים, אפשר לקבוע אילו משתמשים ומשאבים יכולים לגשת אליה ולהשתמש בה. מידע נוסף זמין במאמר הגדרת RBAC לנתונים בטבלאות נתונים.

ניהול טבלאות נתונים באמצעות ממשק האינטרנט של Google SecOps

בקטעים הבאים מוסבר איך לנהל טבלאות נתונים באמצעות ממשק האינטרנט, כולל איך לגשת לטבלאות נתונים, להוסיף טבלת נתונים חדשה, לערוך את התוכן שלה, להוסיף שורות ולהסיר טבלת נתונים מהחשבון.

גישה לטבלאות הנתונים

כדי לגשת לדף Data Tables:

  • בסרגל הצד, בוחרים באפשרות חקירה > טבלאות נתונים.

כדי למצוא טבלת נתונים ספציפית, מזינים את השם שלה בשדה חיפוש שבחלק העליון של סרגל הצד טבלאות נתונים.

הוספת טבלת נתונים חדשה

כשמוסיפים טבלת נתונים חדשה, אפשר להזין נתוני CSV באופן ידני, להדביק נתוני CSV או לייבא קובץ CSV או TSV לטבלת הנתונים.

ההגדרות הבאות הן קבועות ואי אפשר לשנות אותן אחרי ששומרים טבלת נתונים חדשה:

כדי להוסיף טבלת נתונים חדשה ל-Google SecOps:

  1. בסרגל הצד, בוחרים באפשרות חקירה > טבלאות נתונים.

  2. בחלק העליון של סרגל הצד Data Tables, לוחצים על Create.

  3. בתיבת הדו-שיח יצירת טבלת נתונים חדשה, נותנים שם לטבלה ואם רוצים, מוסיפים תיאור.

  4. מבצעים אחת מהפעולות הבאות:

    • מזינים נתוני CSV באופן ידני או מדביקים נתוני CSV באזור טקסט (מצב עריכה).
    • כדי לייבא נתונים מקובץ CSV או TSV לטבלת הנתונים:
    1. לוחצים על ייבוא קובץ.
    2. עוברים לקובץ ולוחצים על פתיחה. תיבת הדו-שיח ייבוא קובץ נפתחת.
    3. אם בחרתם קובץ TSV בשלב הקודם, מבצעים את הפעולות הבאות:
      1. ברשימה סוג התו המפריד, בוחרים באפשרות זיהוי אוטומטי או Tab.
      2. ברשימה התחלת הייבוא בשורה, מציינים את השורה בקובץ שממנה רוצים לייבא את הנתונים.
    4. לוחצים על ייבוא נתונים.
  5. בוחרים במצב העריכה טבלה ומגדירים את הפרטים הבאים לפי הצורך:

  6. לוחצים על Save. טבלת הנתונים החדשה מוצגת בסרגל הצד טבלאות נתונים, ואפשר להוסיף לה נתונים.

מיפוי סוגי נתונים לעמודות בטבלת נתונים

כשמוסיפים טבלת נתונים חדשה, אפשר למפות סוגי נתונים (מחרוזת, ביטוי רגולרי, CIDR או מספר) לעמודות בטבלת הנתונים.

אפשר למפות שדות נתונים בודדים לעמודת נתונים, ולמפות שדות נתונים חוזרים לעמודת נתונים באמצעות ממשק האינטרנט או ה-API, באופן הבא:

  • גם בממשק האינטרנט וגם ב-API, צריך להפריד בין הערכים של שדות הנתונים באמצעות קו אנכי (|). בממשק האינטרנט, אם ערך כלשהו כולל קו אנכי (|), הוא נחשב כערך חוזר כברירת מחדל.

  • בבקשות API, מגדירים את repeated_values לערך true.

מידע נוסף זמין במאמר שדות חוזרים.

בדוגמה הבאה, העמודה Field_value בטבלת הנתונים מכילה ערכים של כמה שדות:

Field_value Field_name
altostrat.com FQDN
192.0.2.135 קניין רוחני (IP)
צ'רלי userid
לדוגמה שם המארח

הטבלה שלמעלה מחולקת לארבע עמודות, וכל עמודה ממופה לסוג שדה אחד בלבד לפני שאפשר להשתמש בה בכל אחד מתרחישי השימוש בטבלת הנתונים שמוצגים במסמך הזה.

FQDN קניין רוחני (IP) מזהה משתמש שם המארח
altostrat.com 192.0.2.135 צ'רלי לדוגמה
… … … …

הגדרת עמודות מפתח

כשמוסיפים טבלת נתונים חדשה, אפשר להגדיר עמודות ספציפיות כעמודות מפתח.

סימון עמודה כעמודת מפתח מזהה באופן ייחודי את הערכים בעמודה הזו, מונע כפילויות בנתונים ומשפר את גילוי הנתונים לכללים ולחיפושים.

הגדרת עמודות לתמיכה בשדות חוזרים

כשמוסיפים טבלת נתונים חדשה, אפשר להגדיר עמודות ספציפיות לתמיכה בשדות חוזרים.

כשיוצרים את טבלת הנתונים, צריך להגדיר במפורש כ-repeated עמודות שמיועדות לאחסן שדות עם כמה ערכים או שדות חוזרים.

מיפוי שמות של עמודות לשדות של ישויות (אופציונלי)

כשמוסיפים טבלת נתונים חדשה, אפשר למפות את שמות העמודות של טבלת הנתונים לשדות של ישות.

בטבלת הנתונים לדוגמה הבאה, העמודות Userid ו-Role ממופות ל-entity.user.userid ול-entity.user.attribute.role.name, בהתאמה:

Userid
(מיפוי ל-entity.user.userid)
אימייל תפקיד
(מיפוי אל entity.user.attribute.role.name)
תקע jack123@gmail.com אדמין
tony tony123@gmail.com מהנדס

אפשר למפות עמודה בטבלת נתונים לשדה פרוטו של ישות באמצעות השדה mapped_column_path של המשאב DataTable.

בעמודות שאין בהן נתיב ישות מוגדר, כמו Email בטבלה לדוגמה, צריך לציין את סוג הנתונים באופן ידני. כמו ברשימות עזר, סוגי הנתונים שנתמכים בטבלאות נתונים הם number,‏ string,‏ regex ו-cidr.

אפשר לכלול בטבלת נתונים גם עמודות ממופות וגם עמודות לא ממופות, על ידי ציון תנאי join.

עמודות שלא מופו מאוחסנות בשדה additional של הישות שאליה מצטרפת הטבלה. הם מתווספים כצמדי מפתח/ערך, כאשר key הוא שם העמודה ו-value הוא הערך בשורה המתאימה.

הוספת שורה חדשה לטבלת נתונים

כדי להוסיף שורה חדשה, מבצעים את הפעולות הבאות:

  1. בכרטיסייה פרטים, בוחרים במצב העריכה טבלה.
  2. לוחצים לחיצה ימנית על שורה קיימת ובוחרים באפשרות הוספת שורה מעל.
  3. מזינים נתונים בשורה חדשה. השורה הראשונה נחשבת לכותרת הטבלה. חשוב להתאים כל פריט נתונים לעמודת הנתונים ולסוג הנתונים המתאימים.
  4. לוחצים על Save.

עריכת שורה בטבלת נתונים

כדי לערוך שורה:

  1. לוחצים על השדה שרוצים לשנות. השדה הופך לניתן לעריכה.
  2. מבצעים את השינויים הרצויים.
  3. לוחצים על Save.

חיפוש שורות בטבלת הנתונים

אתם יכולים לחפש מידע ספציפי בטבלת נתונים באמצעות ממשק האינטרנט. בכרטיסייה Details, מזינים מחרוזת חיפוש בשדה החיפוש ולוחצים על Search. יוצגו שורות שמכילות את מחרוזת החיפוש.

ניהול ה-TTL של שורות בטבלה

כדי לנהל את ערך משך החיים (TTL) של שורות בטבלה:

  1. לוחצים על הצגת TTL לכל שורה. מוצגת עמודת TTL, שמציינת אם התוקף של כל שורה פג. אם התוקף לא פג, מוצג הזמן שנותר עד לתפוגה.

  2. לוחצים על זמן ברירת המחדל של Default row expiration כדי להציג את תיבת הדו-שיח Update default row expiration ולשנות את ה-TTL של שורת הטבלה.

  3. מזינים ערך TTL חדש בשעות או בימים. הערך המינימלי הוא שעה אחת. הערך המקסימלי הוא 365 ימים.

  4. לוחצים על Save.

התנהגות של שינוי TTL ברמת השורה

השורות יורשות את ה-TTL שמוגדר ברמת הטבלה. אפשר גם להגדיר TTL ספציפי לשורות מסוימות, וה-TTL ברמת השורה מקבל קדימות על פני ברירת המחדל ברמת הטבלה. כשמוסיפים שורה חדשה, ה-TTL שלה מתחיל מרגע היצירה.

מחיקת שורה בטבלה

כדי למחוק שורה, לוחצים עליה לחיצה ימנית ובוחרים באפשרות מחיקת שורות.

כדי למחוק כמה שורות, בוחרים את כל השורות שרוצים להסיר. אחר כך לוחצים לחיצה ימנית על אחת מהשורות שנבחרו ובוחרים באפשרות מחיקת שורות.

הסרת טבלת נתונים

כדי להסיר טבלת נתונים:

  1. בוחרים טבלת נתונים מהרשימה טבלאות נתונים בסרגל הצד.

  2. לוחצים על Delete.

ניהול טבלאות נתונים באמצעות Chronicle API

אתם יכולים גם להשתמש במשאבי ה-REST שזמינים ב-Chronicle API כדי לנהל טבלאות נתונים ב-Google SecOps. ה-API יכול לשכפל את כל התכונות שזמינות בממשק האינטרנט, והוא כולל כמה תכונות נוספות שמאפשרות לנהל טבלאות נתונים עם ביצועים טובים יותר ובקנה מידה גדול יותר.

אלה משאבי ה-REST של טבלת הנתונים:

דוגמה: תחביר של מסנן

בדוגמה הבאה של Chronicle API מוסבר איך להשתמש בתחביר filter כדי לחפש את google.com בשורות של טבלת נתונים:

  curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://staging-chronicle.sandbox.googleapis.com/v1alpha/projects/{$PROJECT}/locations/${REGION}/instances/${INSTANCE}/dataTables/${DATA_TABLE_NAME}/dataTableRows?filter=google.com"

שימוש בטבלאות נתונים ב-Google SecOps

אחרי שמוסיפים טבלאות נתונים למכונה של Google SecOps, אפשר להשתמש בהן כדי לסנן, לשפר ולהעשיר את הנתונים באמצעות שאילתות YARA-L. המסמך הזה כולל דוגמאות רבות לתחביר YARA-L, שאפשר לשלב ב-Google SecOps.

אתם יכולים להשתמש בטבלאות נתונים בשילוב עם שאילתות YARA-L גם בחיפוש וגם בכללים.

אפשר להשתמש בטבלאות נתונים בדרכים הבאות:

סינון נתונים של אירועים וישויות ב-UDM באמצעות טבלת נתונים

אתם יכולים לסנן אירועים וישויות ב-UDM על ידי השוואה שלהם לרשומות בטבלת נתונים. מצרפים את טבלת הנתונים לאירוע או לישות ב-UDM באמצעות השוואות מבוססות-שורות או מבוססות-עמודות.

השוואות לפי שורות ולפי עמודות בטבלאות נתונים

סוג ההשוואה הלוגיקה של המפתח אופרטורים נפוצים תחביר לדוגמה מתי משתמשים
מבוסס-שורות כל התנאים חייבים להתאים באותה שורה =,‏ !=,‏ >,‏ >=,‏ <,‏ <= $e.field = %table.col_a כשהקשר בין ערכים של כמה עמודות באותה שורה חשוב.
מבוסס-עמודות הערך חייב להופיע במקום כלשהו בעמודה IN, IN regex, IN cidr $e.field IN %table.col_b כשבודקים אם ערך מסוים קיים בקבוצת ערכים בעמודה אחת.

מקשרים אירועי UDM לטבלאות נתונים באמצעות שיטות השוואה מבוססות-שורות או מבוססות-עמודות:

  • כדי לקשר אירועי UDM לטבלאות נתונים באמצעות השוואה מבוססת-שורות, משתמשים באופרטורים של שוויון (=, !=, >, >=, <, <=).

    לדוגמה: $<udm_variable>.<field_path> = %<data_table_name>.<column_name>

    • אם אתם משתמשים בכמה הצהרות השוואה, כל השדות או התנאים צריכים להתאים לאותה שורה בטבלת הנתונים.
    • כדי להשתמש באופרטורים (כמו not, !=, >, >=, <, <=) בשאילתה, צריך לכלול לפחות תנאי join אחד בין שדות UDM לבין שורות בטבלת הנתונים.

    • מערכת Google SecOps מתייחסת לכל כלל עם טבלת נתונים join ככלל עם כמה אירועים, שמחייב קטע match בהגדרת הכלל.

  • כדי לסנן נתונים לפי ערכים תואמים מאירועי UDM מול שורות בטבלת הנתונים, אפשר להשתמש בתחביר הצירוף הבא:

    • תחביר נכון של צירוף:

    • כללי זיהוי (left anti-join): כדי להחריג אירועים כששילוב ספציפי של כמה שדות תואם לאותה שורה בטבלת נתונים (anti-join), צריך לקשר את שדות האירועים לעמודות בטבלת הנתונים באמצעות שוויון (=) בקטע events, ולציין $e and #<data_table_name> = 0 בקטע condition. לחלופין, אפשר לכלול את #<data_table_name> >= 0 בקטע condition כדי שהקומפיילר יבצע איחוד חיצוני שמאלי (לדוגמה, $e and #<data_table_name> >= 0 and $match_count = 0 כשסופרים שורות תואמות ב-outcome באמצעות $match_count = count(%<data_table_name>.<column_name>)). אם שורה כלשהי בטבלת הנתונים תואמת לכל העמודות המקושרות, מספר השורות גדול מאפס והכלל מחריג את האירוע. מידע נוסף זמין במאמר דוגמאות לצירוף אנטי-שמאלי (החרגה) בכללים.

    • חיפוש ומרכזי בקרה:

      • עם קטע match (חיפוש ומרכזי בקרה נצברים): חוזרים על left join בכל עמודה משולבת בקטע events (לדוגמה, left join $e.field1 = %<data_table_name>.col1 ו-left join $e.field2 = %<data_table_name>.col2), ומוסיפים את #<data_table_name> = 0 בקטע condition (או סופרים עמודה תואמת ב-outcome ומעריכים את $match_count = 0 ב-condition).
      • בלי קטע match (חיפוש ומרכזי בקרה בכמה שלבים ללא צבירת נתונים): מציבים את ההצהרות החוזרות של left join ב-stage בעל שם שמוציא עמודה של טבלת נתונים ב-outcome (לדוגמה, $matched_col = %<data_table_name>.<column_name>), מסננים לפי $<stage_name>.matched_col = "" בקטע הראשי של events (מחרוזות פלט של שלבים לא תואמים מוגדרות כברירת מחדל כמחרוזות ריקות ולא כ-null), ומקרינים את שדות השלבים הדרושים בקטע הראשי של outcome.
    • תחביר צירוף שגוי:

    • אל תעטפו את NOT סביב כמה תנאי שוויון שמבוססים על שורות (לדוגמה, NOT ($e.field1 = %table.col1 AND $e.field2 = %table.col2)). ההתאמה מתבצעת שורה אחר שורה מול טבלת הנתונים. אם שורה כלשהי לא עומדת בתנאי המשולב הפנימי, הערך של NOT הוא true, והאירוע עשוי להיכלל במקום להיות מוחרג.

    • אל תשתמשו באופרטורים של אי-שוויון עצמאיים בכמה עמודות (לדוגמה, $e.field1 != %table.col1 AND $e.field2 != %table.col2) בלי תנאי הצטרפות חיובי (=), כי זה גורם לשגיאת קומפילציה. גם כשמשלבים אותם עם צירוף חיובי בעמודה אחרת, אופרטורים של אי-שוויון מעריכים עמודות באותה שורה מצורפת ומתאימים בכל פעם ששורה מצורפת כלשהי שונה, במקום לוודא שאף שורה לא תואמת ל-tuple.

    • חשוב לא להתבלבל בין השוואות שמבוססות על שורות לבין בדיקות חברות שמבוססות על עמודות (not $e.field1 in %table.col1 and not $e.field2 in %table.col2). בדיקות in שמבוססות על עמודות מעריכות כל עמודה בנפרד בכל טבלת הנתונים, ולא כוללות אירוע אם field1 מופיע בשורה אחת ו-field2 מופיע בשורה אחרת, גם אם שני הערכים אף פעם לא מופיעים ביחד באותה שורה.

  • כדי להשתמש בעמודה של טבלת נתונים מסוג CIDR או regex להשוואה מבוססת-שורות, משתמשים בתחביר הבא:

    net.ip_in_range_cidr($e.principal.ip, %<data_table_name>.<column_name>)
    
    re.regex($e.principal.hostname, %<data_table_name>.<column_name>)
    
  • כדי לקשר אירועי UDM לטבלאות נתונים באמצעות השוואה מבוססת-עמודות, משתמשים במילת המפתח in.

    לדוגמה: $<udm_variable>.<field_path> in %<data_table_name>.<column_name>

  • כדי לסנן אירועים שבהם ערך השדה קיים בעמודה שצוינה (לדוגמה, רשימת חסימה או רשימת היתרים), משתמשים בתחביר הבא: NOT (... IN %table.column)

    לדוגמה: not ($evt_username in %my_data_table.username)

  • כדי להשתמש בעמודה של טבלת נתונים מסוג CIDR או regex להשוואה מבוססת-עמודה, משתמשים בתחביר הבא:

    $e.principal.ip in cidr %cidr_data_table.column_name
    
    $e.principal.hostname in regex %regex_data_table.column_name
    
  • כשמשווים בין עמודות בטבלאות נתונים שהן סוגי נתונים של CIDR או של ביטויים רגולריים, מילות המפתח cidr ו-regex הן אופציונליות.

  • אפשר גם להשתמש באופרטור not עם טבלאות נתונים.

    בשאילתה לדוגמה הבאה, מסננים רשומות שבהן כתובות ה-IP‏ ($e.principal.ip) לא תואמות לאף אחד מטווחי ה-CIDR שרשומים בעמודה benign_ip ב-cidr_data_table:

    not $e.principal.ip in %data_table.benign_ip
    

שימוש בטבלת נתונים כרשימת הפניות עם כמה עמודות

אתם יכולים להשתמש בטבלת נתונים כרשימת הפניות עם כמה עמודות. רשימת עזר יכולה לגשת לנתונים במאפיין אחד (עמודה אחת), אבל טבלאות נתונים תומכות בכמה עמודות, כך שאפשר לסנן נתונים ולגשת אליהם בכמה מאפיינים.

אתם יכולים לקשר אירועי UDM לטבלת נתונים באמצעות מילת המפתח in להשוואה מבוססת-עמודות, וכך להתאים ערכים בשדה UDM ספציפי לערכים בעמודה אחת של טבלת הנתונים.

בדוגמה הבאה, טבלת הנתונים badApps מכילה שתי עמודות: hostname ו-ip. השאילתה מתאימה לשני הערכים (ערך שמבוסס על שדה UDM וערך שמבוסס על טבלת הנתונים, שניהם מסוגי נתונים של מחרוזות) באופן עצמאי.

  • דוגמה לכלל:

    rule udm_in_data_table {
    meta:
      description = "Use data table as multicolumn reference list"
    events:
      $e.metadata.event_type = "NETWORK_CONNECTION"
      $e.security_result.action = "ALLOW"
      $e.target.asset.asset_id = $assetid
    
      // Event hostname matches at least one value in table column hostname.
      $e.target.hostname in %badApps.hostname
    
      // Event IP matches at least one value in table column ip.
      $e.target.ip in %badApps.ip
    
    match:
      $assetid over 1h
    
    condition:
      $e
    }
    
  • דוגמה לחיפוש:

    events:
      $e.metadata.event_type = "NETWORK_CONNECTION"
      $e.security_result.action = "ALLOW"
      $e.target.asset.asset_id = $assetid
    
      // Event hostname matches at least one value in table column hostname.
      $e.target.hostname in %badApps.hostname
    
      // Event IP matches at least one value in table column ip.
      $e.target.ip in %badApps.ip
    

איחודים מבוססי-שורות בין טבלת נתונים לבין אירוע או ישות ב-UDM

אתם יכולים לקשר אירועי UDM לטבלת נתונים באמצעות אופרטורים של שוויון והשוואה (=, !=, >, >=, <, <=) כדי לבצע השוואות על סמך שורות. הגישה הזו מאפשרת לסנן נתונים על ידי התאמת ערכים מאירועי UDM לשורות בטבלת הנתונים. אם אתם משתמשים בכמה הצהרות השוואה, כל השדות או התנאים צריכים להתאים לאותה שורה בטבלת הנתונים.

כדי להשתמש באופרטורים (כמו not, !=, >, >=, <, <=) בשאילתה, צריך לכלול לפחות תנאי join אחד בין שדות UDM לבין שורות בטבלת הנתונים. מערכת Google SecOps מתייחסת לכל כלל עם טבלת נתונים join ככלל עם כמה אירועים, שדורש קטע match תואם בהגדרת הכלל.

כשמתבצעת הצטרפות, השורות בטבלת הנתונים המקושרת גלויות בחיפוש. מידע נוסף זמין במאמר הצגת שורות בטבלת נתונים בחיפוש Google.

  • אפשר להשתמש בפלייסהולדרים בטבלאות נתונים בקטע event של שאילתה, אבל הם חייבים להיות מקושרים לאירוע UDM או לישות UDM.

  • בדוגמה הבאה נעשה שימוש בעמודה של טבלת נתונים מסוג string.

    • השאילתה הזו ב-YARA-L בודקת אם אירוע של התחברות משתמש תואם לשורה ב-example_table.

      • תנאי אחד הוא שהערך user ID קיים ב-example_table.
      • כדי שהכלל יופעל, שני התנאים צריכים להתאים לאותה שורה ב-example_table.
    • דוגמה לכלל:

      // Check if user exists in a data table and is active in all user login events.
      rule udm_join_data_table {
      
      meta:
        description = "Join data table with UDM event"
      
      events:
        $e.metadata.event_type = "USER_LOGIN"
        $e.security_result.action = "ALLOW"
        $e.principal.user.userid = $userid
      
      // Event must match at least 1 row in the data table 
      // where the uid in the data table row is the userid on the event 
      // and the active date in the same data table row is before the event timestamp.
      %example_table.uid = $userid
      $e.principal.hostname = %example_table.hostname
      
      match:
        $userid over 1h
      
      condition:
        $e
      }
      
    • דוגמה לחיפוש:

      events:
      $e.metadata.event_type = "USER_LOGIN"
      $e.security_result.action = "ALLOW"
      $e.principal.user.userid = $userid
      
      // Event must match at least 1 row in the data table 
      // where the uid in the data table row is the userid on the event 
      // and the active date in the same data table row is before the event timestamp
      
      %example_table.uid = $userid
      $e.principal.hostname = %example_table.hostname
      
  • הדוגמה הבאה ממחישה איך טבלת נתונים ונתוני אירועים של UDM פועלים יחד.

    בהתאם ללוגיקה בשאילתת YARA-L הקודמת, משתמש עם user ID 32452 מופיע בזיהוי בתור hostname של המשתמש מהמערכת, ותואם ל-hostname בטבלת הנתונים.

    טבלת נתונים
    uid כותרת hostname
    32452 משאבי אנוש host1
    64452 כספים host2
    46364 איטלקית host3
    טבלת אירועי UDM
    principal מטא-נתונים security_result principal
    32452 USER_LOGIN אישור host1
    64589 USER_LOGIN אישור host9
    87352 USER_LOGIN אישור host4

החרגת אירועים באמצעות anti-join מבוסס-שורות עם כמה עמודות

כדי להחריג אירועים רק כששילוב ספציפי של שדות תואם לאותה שורה בטבלת נתוני ההחרגה (left anti-join), צריך לקשר כל שדה אירוע לעמודה המתאימה בטבלת הנתונים בקטע events ולציין #<data_table_name> = 0 בקטע condition.

כלל הזיהוי לדוגמה הבא מחריג אירועים כשגם שם הכלל וגם שם המארח הראשי תואמים לאותה שורה ב-exclusion_table:

rule multi_column_row_exclusion {

  meta:
    author = "Google SecOps"
    description = "Excludes events matching a specific rule and hostname combination in the same row of an exclusion data table."

  events:
    $e.metadata.event_type = "USER_LOGIN"
    $e.security_result.rule_name = $rule_name
    $e.principal.hostname = $hostname

    // Both fields must match the SAME row in the exclusion data table
    $rule_name = %exclusion_table.rule_name
    $hostname = %exclusion_table.hostname

  match:
    $rule_name, $hostname over 5m

  condition:
    // Triggers only when the event exists and no matching combination row exists in the data table
    $e and #exclusion_table = 0
}

דוגמאות נוספות לצירופים חיצוניים ולצירופים הפוכים מופיעות במאמר התאמת נתונים באמצעות צירופים חיצוניים.

כתיבת תוצאות משאילתות YARA-L בטבלאות נתונים

אתם יכולים לכתוב את התוצאות של שאילתות YARA-L בטבלת נתונים. בעזרת התכונה הזו, אתם יכולים ליצור טבלאות נתונים מנתוני Google SecOps ולהשתמש בטבלאות האלה כדי לסנן ולשפר נתונים אחרים.

אתם יכולים להשתמש בתחביר לכתיבת שאילתות ב-YARA-L כדי:

  • הגדרת תחביר YARA-L לכתיבת תוצאות של שאילתות בטבלאות נתונים.

  • אתם יכולים להשתמש בטבלאות נתונים למודיעין איומי סייבר, לתגובה לאירועים ולתרחישים אחרים שקשורים לאבטחה.

  • הנתונים צריכים להתאים לתחביר ולמוסכמות של YARA-L.

כתיבת זיהויים והתראות בטבלאות נתונים באמצעות YARA-L

אתם יכולים להשתמש בשאילתת YARA-L כדי לשלוח זיהויים והתראות לטבלאות נתונים.

באמצעות הפונקציה write_row, אפשר להחליף שורה בטבלת נתונים במפתח התואם בטבלת הנתונים באמצעות התוצאות מכלל. אם המפתח לא נמצא בטבלה, צריך להוסיף שורה חדשה.

מציינים את הפונקציה write_row בקטע הייצוא של שאילתת YARA-L. כתיבת נתונים בטבלת הנתונים חייבת להיות הפעולה האחרונה בשאילתה. כתוצאה מכך, משתני התוצאה נכתבים בטבלת הנתונים.

  • דוגמה

    export:
      %<data_table_name>.write_row(
      data_table_column_x_name: <value>,
      data_table_column_y_name: <value>,
      ...,
      ...,
      data_table_column_z_name: <value>
    )
    // depending on the key column(s), the rows will be updated for existing keys 
    and appended for new keys
    
  • דוגמה: ייצוא של תוצאות חיפוש לטבלת נתונים

    events:
      $e.metadata.event_type = "USER_LOGIN"
      $e.security_result.action = "ALLOW"
    
    outcome:
      $user = $e.principal.user.userid
      $ip = $e.target.ip[0] // Assuming target.ip is an array
      $timestamp = $e.metadata.event_timestamp.seconds
    
    export:
      // Write to the data table named 'successful_logins'
      %successful_logins.write_row(
        user: $user,          // Maps $user variable to 'user' column
        ip: $ip,              // Maps $ip variable to 'ip' column
        first_seen: $timestamp // Maps $timestamp variable to 'first_seen' column
      )
    

שינוי טבלת נתונים באמצעות YARA-L

כך משנים טבלת נתונים באמצעות YARA-L:

‫TableName:‏ ip_user_domain_table (עמודות המפתח של המפתח הראשי מוגדרות בזמן היצירה)

כתובת IP employee_id* דומיין
192.0.2.10 Dana altostrat.com
192.0.2.20 Quinn altostrat.com
192.0.2.30 Lee cymbalgroup.com

‫* מציין את המפתח הראשי.

השאילתה הבאה מתעדת שילובים ייחודיים של principal.ip, principal.user.employee_id ו-target.domain. היא מסננת את התוצאות לפי השכיחות של target.domain:

  • דוגמה

    events:
      $e.principal.ip = $principal_ip
      $e.principal.user.employee_id = $principal_user_employee_id
      $e.target.domain.name = $target_domain
      $e.target.domain.prevalence.day_count < 5
    
    // To run this query as a rule, add Condition Section here 
    // condition:$e
    

תוצאות השאילתה:

ip empid דומיין
192.0.2.10 Dana altostrat.com
192.0.2.30 Lee examplepetstore.com
192.0.2.20 Quinn altostrat.com

דוגמה: שימוש ב-write_row כדי לכתוב פלט של שאילתה בטבלת נתונים

  • דוגמה לכלל:

    rule udm_write_data_table {
    meta:
        description = "Writeto data table"
    events:
      $e.principal.user.employee_id = $principal_user_employee_id
      $e.target.domain.name = $target_domain
      $e.target.domain.prevalence.day_count < 5
    
    outcome:
      $hostname = $target_domain
      $principal_emp_id = $principal_user_employee_id
    
    condition:
      $e
    
    export:
      %ips_with_hostnames.write_row(
          employeeid:$principal_emp_id,
          hostname:$hostname
      )
    }
    
  • דוגמה לחיפוש:

    events:
      $e.principal.user.employee_id = $principal_user_employee_id
      $e.target.domain.name = $target_domain
      $e.target.domain.prevalence.day_count < 5
    
    outcome:
      $hostname = $target_domain
      $principal_emp_id = $principal_user_employee_id
    
    export:
      %ips_with_hostnames.write_row(
        employeeid:$principal_emp_id,
        hostname:$hostname
      )
    

דוגמה: הסבר על write_row

בדוגמה הבאה, user ו-ip משמשים כמפתחות ראשיים. כל זיהוי שנשמר בטבלת הזיהויים מוביל להערכה אחת של בקשה להפעלת פונקציה בקטע הייצוא של השאילתה.

  • דוגמה לכלל:

    rule udm_write_data_table {
    meta:
      description = "Write data table"
    events:
      $e.metadata.event_type = "USER_LOGIN"
      all $e.security_result.action != "BLOCK"
      all $e.security_result.action != "UNKNOWN_ACTION"
    
      $user = $e.principal.user.userid
      $ip = $e.target.ip
      $ts = $e.metadata.event_timestamp.seconds
    
    match:
      $user, $ip over 1h
    
    outcome:
      $first_seen = min($ts)
    
    condition:
      $e
    
    export:
      %successful_logins.write_row(user:$user, ip:$ip)
    }
    
  • דוגמה לחיפוש:

    events:
      $e.metadata.event_type = "USER_LOGIN"
      all $e.security_result.action != "BLOCK"
      all $e.security_result.action != "UNKNOWN_ACTION"
    
      $ts = $e.metadata.event_timestamp.seconds
    
    outcome:
      $user = $e.principal.user.userid
      $ip = $e.target.ip[0]
    
    export:
      %successful_logins.write_row(user:$user, ip:$ip)
    

    אלה נתוני האירוע:

    metadata: {
      event_type: USER_LOGIN
      event_timestamp: { seconds: 1283299200 }
    }
    principal: {
      user: {
        userid: "charlie"
      }
    }
    target: {
      ip: ["192.0.2.135", "192.0.2.136"]
    }
    security_result: {
      action: ALLOW
    }
    
  • כשמריצים את השאילתה הזו ככלל, מתקבלים הזיהויים הבאים:

    מזהה הזיהוי התאמה ל-$user התאמה ל-‎ $ip
    0 צ'רלי 192.0.2.135
    1 צ'רלי 192.0.2.136

    טבלת הנתונים מכילה את הפרטים הבאים:

    user ip
    צ'רלי 192.0.2.135
    צ'רלי 192.0.2.136
  • שאילתת החיפוש הבאה ממחישה את התמיכה שמוצעת בחיפוש לכתיבת ערכים סקלריים בטבלאות נתונים.

    events:
      $e.metadata.event_type = "NETWORK_CONNECTION"
    
    export:
      %summary_table.write_row(col_name: $e.metadata.product_name, Vendor_name: $e.metadata.vendor_name)
    

העשרת תרשים ישויות באמצעות טבלת נתונים

אתם יכולים להשתמש בטבלאות נתונים כדי להוסיף, להסיר או להחליף את הישויות שמוצגות בתרשים ישויות מכללים. משתמשים בפונקציות בקטע setup של הכלל כדי לציין איך למזג את טבלת הנתונים עם אירועי הישויות שמצוינים בקטע events, להוסיף אותה אליהם או להשתמש בה כדי להסיר מהם ישויות.

כדי לשנות תרשים ישויות, אפשר להשתמש בתבנית הכלל הבאה:

  • תבנית לכללים

    rule entity_graph_template {
    
      meta:
        ...
    
      setup:
        // import the data table into entity graph
        <enrichment_keyword> <join_condition>
    
      events:
        ...
    
      match:
        ...
    
      condition:
        ...
    }
    

אתם יכולים להשתמש בפונקציות הבאות של YARA-L 2.0 כדי לשפר את תרשים הישויות באמצעות טבלת נתונים:

  • ‫graph_override: החלפת השורות בתרשים הישויות שתואמות לתנאי הצירוף בנתונים מטבלת הנתונים.

    לדוגמה: [graph_override](?tab=t.0#heading=h.v0fps7eke1if)

  • ‫graph_append: הוספת השורות מטבלת הנתונים לשורות בתרשים הישויות. הפעולה graph_append דורשת מערך שכולל משתנה של טבלת נתונים ומשתנה של אירוע ישות, ולא תנאי איחוד.

    בדוגמה הבאה, $g1 הוא המשתנה של תרשים הישויות ו-example_table הוא טבלת הנתונים: graph_append [$g1, %example_table]

    כדי לאמת את הישות, טבלאות הנתונים של הפונקציה append צריכות לכלול את העמודות הבאות:

    • ‫start_time (ממופה אל metadata.interval.start_time.seconds)

    • ‫end_time (ממופה אל metadata.interval.end_time.seconds)

    אי אפשר למפות עמודות של טבלת נתונים לשדות של מטא-נתונים באמצעות ממשק האינטרנט. במקרה של append, צריך ליצור טבלאות נתונים באמצעות Chronicle API‏ (https://docs.cloud.google.com/chronicle/docs/reference/rest/v1alpha/projects.locations.instances.dataTables/create)

  • ‫graph_exclude: הסרת השורות בתרשים הישויות שתואמות לתנאי join.

    לדוגמה: [graph_exclude](?tab=t.0#heading=h.o0qbb5paki6g)

תנאי ההצטרפות חייב להיות ביטוי שוויון בין העמודה בטבלת הנתונים לבין השדה בתרשים הישות. בפונקציות graph_override ו-graph_exclude, התחביר לגישה לטבלת נתונים הוא:

<data_table_name>.<column_name>

כל מסנן שצוין ל-<entity_variable> בקטע האירועים מופעל אחרי השיפור שלו באמצעות טבלת הנתונים.

אחרי שהישות בתרשים הישויות מועשרת בישות בטבלת הנתונים, צריך לחבר את משתנה הישות בתרשים הישויות לישות ה-UDM.

שינוי תרשים הישויות באמצעות נתונים מטבלת הנתונים

כשמשתמשים בפונקציה graph_override, שדות שמופיעים גם בתרשים הישויות וגם בטבלת הנתונים מוחלפים בשדות מטבלת הנתונים. שדות שקיימים בתרשים הישויות ולא קיימים בטבלת הנתונים נשארים ללא שינוי. שדות שלא קיימים בתרשים הישויות אבל קיימים בטבלת הנתונים נכללים.

רק העמודות בטבלת הנתונים שממופות מבטלות את העמודות בתרשים הישויות. העמודות שלא מופו מתווספות לשדה additional של תרשים הישויות שאליו מצורפת טבלת הנתונים.

דוגמה: התאמה בצירוף יחיד

בדוגמה הבאה, השורות בתרשים הישויות שתואמות לתנאי הצירוף בין העמודה בטבלת הנתונים לבין השדה בתרשים הישויות ($g1.graph.entity.ip = %example_table.my_ip) מוחלפות על ידי טבלת הנתונים.

  • דוגמה

    rule rule_override {
      meta:
      description = "Override entity context with data table before joining with UDM event"
    
      setup:
      //Rows in the entity graph that match the join condition are overridden by the data table
        graph_override ($g1.graph.entity.ip = %example_table.my_ip)
    
      events:
        $e.metadata.event_type = "NETWORK_CONNECTION"
        $e.security_result.action = "ALLOW"
    
        // Filter will be applied after graph is overridden by data table
        $g1.graph.entity.hostname = "ftp01"
    
        // Accessing unmapped columns
        $g1.graph.additional.fields["Owner"] = "alice"
    
        // Joining the UDM event with the enriched entity graph
        $e.target.ip = $iocip
        $g1.graph.entity.ip = $iocip
    
      match:
        $iocip over 1h
    
      condition:
        $e and $g1
    }
    

כדי להשתמש בעמודה לא ממופה (למשל "בעלים") של טבלת הנתונים, צריך להשתמש בהצהרה מקבילה עבור $g1.graph.entity.owner = "alice" is $g1.graph.additional.fields["Owner"] = "alice". הסיבה לכך היא שכל העמודות שלא מופו בטבלת הנתונים עוברות לשדה additional בתרשים הישויות ($g1).

בטבלאות הבאות מוצגת פעולת שינוי שבה השורות בתרשים הישויות מועשרות כשהשדה IP בטבלת הנתונים תואם לשדה IP בתרשים הישויות.

תרשים ישויות קיים
שם המארח IP MAC
ftp01 10.1.1.4 …:01
www01 10.1.1.5 …:02
טבלת נתונים
שם המארח IP MAC בעלים
ftp01 10.1.1.4 …:bb אליס
h1 10.1.1.6 ‎…:cc בוב
h2 10.1.1.7 …:dd chris
h3 10.1.1.4 …:ee דאג

תרשים ישויות מועשר
שם המארח IP MAC בעלים
ftp01 10.1.1.4 …:bb אליס
www01 10.1.1.5 …:02
h3 10.1.1.4 …:ee דאג

דוגמה: התאמה בכמה צירופים

בדוגמה הבאה, השורות בתרשים הישויות שתואמות לתנאי הצירוף המרובים ($g1.graph.entity.ip = %example_table.my_ip ו-$g1.graph.entity.hostname = %example_table.my_hostname) מוחלפות בנתונים מטבלת הנתונים.

  • דוגמה

    rule rule_override {
    meta:
      description = "Override Entity context with Data Table before joining with UDM event"
    setup:
      // example with more than one condition
      graph_override ($g1.graph.entity.ip = %example_table.my_ip and
      $g1.graph.entity.hostname = %example_table.my_hostname) 
    events:
      $e.metadata.event_type = "NETWORK_CONNECTION"
      $e.security_result.action = "ALLOW"
    
      // Filter will be applied after graph is overridden by data table
      $g1.graph.entity.hostname = "ftp01"
    
      // joining the UDM event with the enriched entity graph
      $e.target.ip = $iocip
      $g1.graph.entity.ip = $iocip
    
    match:
      $iocip over 1h
    
    condition:
      $e and $g1
    }
    

בטבלאות הבאות מוצגת פעולת שינוי שבה השורות בתרשים הישויות מועשרות כשגם השדה של כתובת ה-IP וגם השדה של שם המארח בטבלת הנתונים תואמים לשדה של כתובת ה-IP ולשדה של שם המארח בתרשים הישויות.

תרשים ישויות קיים
שם המארח IP MAC
ftp01 10.1.1.4 …:01
www01 10.1.1.5 …:02
טבלת נתונים
שם המארח IP MAC בעלים
ftp01 10.1.1.4 …:bb אליס
h1 10.1.1.5 ‎…:cc בוב
h2 10.1.1.6 …:dd chris
h3 10.1.1.4 …:ee דאג
תרשים ישויות מועשר
שם המארח IP MAC בעלים
ftp01 10.1.1.4 …:bb אליס
www01 10.1.1.5 …:02

הוספת נתונים מטבלת הנתונים לתרשים הישויות

graph_append לא דורשת תנאי צירוף.

בדוגמה הבאה, כל השורות בטבלת הנתונים מצורפות לשורות בתרשים הישויות.

  • דוגמה

    rule rule_append {
    meta:
      description = "Data table append entity"
    
    setup:
      graph_append [$g1, %example_table]
    
    events:
      // filter UDM events
      $e.metadata.event_type = "NETWORK_CONNECTION"
      $e.security_result.action = "ALLOW"
    
      // Join the filtered UDM events with the enriched graph
      $e.target.ip = $iocip
      $g1.graph.entity.ip = $iocip
    
    match:
      $iocip over 1h
    
    condition:
      $e and $g1
    }
    

בטבלה הבאה מוצגת דוגמה לפעולת append שבה השורות בטבלת הנתונים מצורפות לשורות בתרשים הישויות:

תרשים ישויות קיים
שם המארח IP MAC
ftp01 10.1.1.4 …:01
www01 10.1.1.5 …:02
טבלת נתונים
IP MAC בעלים
10.1.1.4 …:01 אליס
10.1.1.6 ‎…:cc בוב
10.1.1.7 …:dd chris
10.1.1.4 …:ee דאג
תרשים ישויות מועשר
שם המארח IP MAC בעלים
ftp01 10.1.1.4 …:01
www01 10.1.1.5 …:02
10.1.1.4 …:bb אליס
10.1.1.6 ‎…:cc בוב
10.1.1.7 …:dd chris
10.1.1.4 …:ee דאג

שימוש ב-graph_exclude כדי להסיר שורות מתרשים הישויות

בעזרת הפונקציה graph_exclude, שורות בתרשים הישויות שתואמות לתנאי הצירוף מוסרות מתרשים הישויות.

בדוגמה הבאה, כל השורות בתרשים הישויות שתואמות לתנאי הצירוף שצוין (בין העמודה בטבלת הנתונים לבין השדה בתרשים הישויות) מוסרות. אף שורה מטבלת הנתונים לא נוספת לתרשים הישויות.

  • דוגמה

    rule rule_exclude {
    
        meta:
        setup:
          graph_exclude ($g1.graph.entity.ip = %example_table.ip)
    
        events:
            $e.metadata.event_type = "NETWORK_CONNECTION"
            $e.security_result.action = "ALLOW"
            $e.target.ip = $iocip
            $g1.graph.entity.ip = $iocip
    
        match:
            $iocip over 1h
    
        condition:
          $e and $g1
    }
    

בטבלאות הבאות מוצגת פעולת החרגה שבה השורות בתרשים הישויות שתואמות לשדה ה-IP של טבלת הנתונים מוסרות:

תרשים ישויות קיים
שם המארח IP MAC
ftp01 10.1.1.4 …:01
www01 10.1.1.5 …:02
טבלת נתונים
IP MAC בעלים
10.1.1.4 …:bb אליס
10.1.1.6 ‎…:cc בוב
10.1.1.7 …:dd chris
תרשים ישויות מועשר
שם המארח IP MAC
www01 10.1.1.5 …:02

מגבלות קצב של יצירת בקשות ל-API

מכסות השאילתות לדקה (QPM) הבאות נאכפות לכל פרויקט ומשתמש כששולחים קריאה לנקודות הקצה של Google SecOps Data Table ו-Data Table Row ב-API בארכיטקטורת REST:

משאב פעולת API מגבלת הקצב ליצירת בקשות (STANDARD)
DataTables CreateDataTable (data_table/create_requests) 60 שאילתות לדקה
DataTables GetDataTable (data_table/get_requests) ‫120 שאילתות לדקה
DataTables ListDataTables (data_table/list_requests) ‫120 שאילתות לדקה
DataTables UpdateDataTable (data_table/update_requests) 60 שאילתות לדקה
DataTables DeleteDataTable (data_table/delete_requests) 60 שאילתות לדקה
DataTableRows CreateDataTableRow (data_table_row/create_requests) 60 שאילתות לדקה
DataTableRows GetDataTableRow (data_table_row/get_requests) ‫120 שאילתות לדקה
DataTableRows ListDataTableRows (data_table_row/list_requests) ‫120 שאילתות לדקה
DataTableRows UpdateDataTableRow (data_table_row/update_requests) 60 שאילתות לדקה
DataTableRows DeleteDataTableRow (data_table_row/delete_requests) 60 שאילתות לדקה
DataTableRows BulkCreateDataTableRows (סינכרוני / אסינכרוני) ‫30 שאילתות לדקה
DataTableRows BulkReplaceDataTableRows (סינכרוני / אסינכרוני) ‫30 שאילתות לדקה
DataTableRows BulkUpdateDataTableRows (סינכרוני / אסינכרוני) 10 שאילתות לדקה
DataTableRows BulkDeleteDataTableRows (סינכרוני / אסינכרוני) ‫30 שאילתות לדקה
DataTableRows BulkGetDataTableRows (data_table_row/bulk_get_requests) ‫120 שאילתות לדקה

מגבלות

  • מספר מקסימלי של טבלאות נתונים בחשבון Google SecOps‏: 1,000.

  • טבלאות נתונים תומכות רק בנתוני CSV. טבלאות נתונים תומכות בערכים מופרדים בטאבים רק כשמוסיפים טבלת נתונים חדשה ומייבאים קובץ של ערכים מופרדים בטאבים (TSV).

  • אי אפשר להשתמש בפסיקים (,) בשדות של טבלת הנתונים.

  • המגבלות על מספר הצהרות ה-in כשמפנים לרשימת עזר בשאילתה חלות גם על הצהרות in בטבלת נתונים.

  • מספר מקסימלי של הצהרות in בשאילתה לעמודות מסוג מוגדר String ו-Number: ‏10.

  • מספר מקסימלי של הצהרות in עם אופרטורים של ביטויים רגולריים: 5.

  • מספר מקסימלי של הצהרות in עם אופרטורים של CIDR‏: 5.

  • מספר מקסימלי של הצהרות = (JOIN): 10.

  • מספר העמודות המקסימלי בכל טבלת נתונים: 1,000.

  • מספר השורות המקסימלי בכל טבלת נתונים: 10 מיליון.

  • מספר השורות המקסימלי שאפשר להציג בדף אינטרנט בטבלת נתונים בתצוגת עורך הטקסט והטבלאות: 10,000 שורות.

  • נפח הנתונים המקסימלי בטבלת נתונים: 10GB.

  • אסור להשתמש בפלייסהולדרים בקטע ההגדרה.

  • אפשר לחבר עמודות לא ממופות של טבלת נתונים שסוג הנתונים שלהן מוגדר כ-string רק עם שדות מחרוזת של אירוע UDM או ישות UDM.

  • אפשר להשתמש רק בעמודות לא ממופות בטבלת נתונים שסוג הנתונים שלהן מוגדר כ-cidr או כ-regex ל-CIDR או לביטוי רגולרי.

  • חיפושים בטבלת נתונים: אין תמיכה בתווים כלליים לחיפוש של ביטויים רגולריים, ומונחי החיפוש מוגבלים ל-100 תווים.

מגבלות על שאילתות איחוד (join) של טבלאות נתונים בכללים

המגבלות הבאות חלות על שילובים של טבלאות נתונים בכללים.

  • אי אפשר לאחזר את כל דגימות האירועים לזיהויים כשמשתמשים בצירופי טבלאות נתונים עם אירועים.

  • בניגוד לישויות ול-UDM, טבלאות נתונים לא תומכות בפלייסהולדרים. זה מוביל למגבלות הבאות:

    • אי אפשר להחיל קבוצה אחת של מסננים על טבלת נתונים ולצרף אותה לישות UDM.

    • אי אפשר להחיל קבוצה אחרת של מסננים על אותה טבלת נתונים כשמצרפים אותה לפלייסהולדר אחר של UDM.

    לדוגמה, טבלת נתונים בשם dt עם שלוש עמודות: my_hostname,‏ org ו-my_email, ועם הכלל הבא:

    events:
      $e1.principal.hostname =  %dt.my_hostname
      %dt.org ="hr"
    
      $e2.principal.email =  %dt.my_email
      %dt.org !="hr"
    

כל המסננים בטבלת הנתונים מופעלים קודם, ואז השורות המסוננות מטבלת הנתונים מצורפות ל-UDM. במקרה הזה, המסננים הסותרים (%dt.org ="hr" and %dt.org !="hr") בטבלה dt גורמים לטבלת נתונים ריקה, שמצורפת גם ל-e1 וגם ל-e2.

מגבלות על השימוש בטבלאות נתונים עם כללים

המגבלות הבאות חלות על טבלאות נתונים כשמשתמשים בהן עם כללים.

מגבלות על תדירות ההפעלה

אי אפשר להגדיר תדירות הרצה בזמן אמת לכללים עם טבלאות נתונים.

מגבלות על פלט לטבלאות נתונים

  • אין תמיכה בשינוי של any ו-all בעמודות של שדות חוזרים בטבלאות נתונים.

  • אין תמיכה בהוספה לאינדקס של מערכים בעמודות של שדות חוזרים בטבלאות נתונים.

  • אפשר לייצא משתני תוצאה רק לטבלת נתונים. אי אפשר לייצא ישירות נתיבי אירועים או עמודות של טבלת נתונים.

  • רשימות העמודות חייבות לכלול את עמודות המפתח הראשי של טבלאות הנתונים.

  • אפשר להגדיר עד 20 תוצאות.

  • אם טבלת הנתונים לא קיימת, נוצרת טבלה חדשה עם סוג הנתונים שמוגדר כברירת מחדל (string) לכל העמודות, לפי הסדר שצוין.

  • עד חמישה כללים יכולים לכתוב לטבלת נתונים בו-זמנית.

  • אין ערובה לכך שכלל יצרן יוכל להוסיף שורות לטבלת נתונים לפני שכלל צרכן של אותה טבלת נתונים יתחיל.

  • בכלל אחד יש מגבלה על מספר שורות התוצאה. מגבלה של 10,000 שורות לכל היותר חלה על התוצאה, על הנתונים שנשמרו ועל טבלאות הנתונים.

  • כשמעדכנים שורה, הערכים החדשים בכל העמודות שהן לא עמודות מפתח מחליפים את הערכים הישנים. כל עדכון, כולל הוספת שורה חדשה, יהיה זמין לשאילתות תוך כחמש דקות.

מגבלות על העשרת ישויות מטבלאות נתונים

  • אפשר להחיל רק פעולת העשרה אחת (override,‏ append או exclude) על משתנה אחד של תרשים ישויות.

  • בכל פעולת העשרה אפשר להשתמש רק בטבלת נתונים אחת.

  • אפשר להגדיר עד שתי פעולות העשרה מכל סוג בקטע setup של כלל YARA-L.

בדוגמה הבאה, הפעולה override מופעלת על המשתנה $g1 של תרשים הישויות, והפעולה append מופעלת על המשתנה $g2 של תרשים הישויות.

  • none setup: graph_override($g1.graph.entity.user.userid = %table1.myids) graph_append [$g2, %table1]

בדוגמה הקודמת, אותה טבלת נתונים (table1) משמשת לשיפור של תרשימי ישויות שונים. אתם יכולים גם להשתמש בטבלאות נתונים שונות כדי לשפר את תרשימי הישויות השונים, באופן הבא:

  • none setup: graph_override($g1.graph.entity.user.userid = %table1.myids) graph_append [$g2, %table2]

מגבלות בשימוש בטבלאות נתונים בחיפוש Google

המגבלות הבאות חלות על טבלאות נתונים כשמשתמשים בהן בחיפוש Google:

  • הפעלה אחת של שאילתה יכולה להפיק עד מיליון שורות בטבלת נתונים או עד 1GB, המגבלה הראשונה מביניהן.

  • אם פלט החיפוש בטבלת נתונים חורג מ-5MB, המערכת מדלגת על שורות של אירועים.

  • אי אפשר להשתמש בהעשרת ישויות בחיפוש.

  • משתמשים במפתחות הצפנה בניהול הלקוח (CMEK) לא יכולים להשתמש בטבלאות נתונים.

  • פעולות הכתיבה מוגבלות ל-6 פעולות לדקה לכל לקוח.

  • טבלת נתונים ואיחודים של טבלאות נתונים נתמכים רק באירועי UDM, ולא בישויות.

    נתמך: %datatable1.column1 = %datatable2.column1

    לא נתמך: graph.entity.hostname = %sample.test

  • אי אפשר לכלול משתנה match בקטע export של שאילתת נתונים סטטיסטיים.

    לדוגמה, אין תמיכה בתכונות הבאות:

      match:
          principal.hostname
      export:
          %sample.write_row(
          row: principal.hostname
        )
    
    

מגבלות על שינוי שם או מחיקה של טבלאות נתונים באמצעות Terraform או Chronicle API

  • אי אפשר לשנות את השם דרך הפלטפורמה או ה-API.
  • אי אפשר למחוק טבלת נתונים (דרך הפלטפורמה או ה-API) אם יש כלל שמפנה אליה.
  • ב-Terraform, שינוי השם של טבלת נתונים מפעיל פעולת השמדה ויצירה מחדש. אם יש כלל שמפנה לטבלת הנתונים, הפעולה הזו תיכשל כי ה-API חוסם את המחיקה של הטבלה הישנה.
  • סיכון לאובדן נתונים ב-Terraform: גם אם אין כלל שמפנה לטבלת נתונים, שינוי השם שלה באמצעות Terraform גורם לאובדן נתונים באופן סופי. ‫Terraform משמיד את הטבלה הקיימת ומחליף אותה בטבלה חדשה וריקה שלא שומרת נתונים מהטבלה המקורית.
  • פתרון מומלץ:
    • יוצרים טבלת נתונים חדשה עם השם החדש.
    • כדי להתחיל להשתמש בטבלת הנתונים החדשה, צריך לעדכן את הכללים.
    • מוחקים את טבלת הנתונים הישנה.

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.