הסבר על זמינות הנתונים בחיפוש

נתמכים ב:

במסמך הזה מפורט מחזור החיים של הטמעת הנתונים, כולל זרימת הנתונים מקצה לקצה והזמן האחזור, ואיך הגורמים האלה משפיעים על הזמינות של נתונים שהוטמעו לאחרונה לצורך שאילתות וניתוח.

הטמעה ועיבוד של נתונים ב-Google SecOps

בקטע הזה מוסבר איך Google SecOps מטמיעה, מעבדת ומנתחת נתוני אבטחה.

הטמעת נתונים

צינור עיבוד הנתונים של הטמעת הנתונים מתחיל באיסוף נתוני האבטחה הגולמיים ממקורות כמו:

  • יומני אבטחה מהמערכות הפנימיות שלכם
  • נתונים שמאוחסנים ב-Cloud Storage
  • מרכז תפעול האבטחה (SOC) ומערכות פנימיות אחרות

מערכת Google SecOps מעבירה את הנתונים האלה לפלטפורמה באמצעות אחת משיטות ההטמעה המאובטחות שלה.

השיטות העיקריות להטמעת נתונים הן:

  • הטמעה Google Cloud ישירה

    ‫Google SecOps משתמש בהטמעה Google Cloud ישירה כדי לאסוף באופן אוטומטי יומנים ונתוני טלמטריה מהארגון ב- Google Cloud, כולל Cloud Logging, מטא-נתונים של מאגר משאבי ענן וממצאים של Security Command Center Premium.

  • ממשקי API להטמעה

    שליחת נתונים ישירות ל-Google SecOps באמצעות ממשקי ה-API הציבוריים להטמעת נתונים בארכיטקטורת REST. השיטה הזו משמשת לשילובים בהתאמה אישית או לשליחת נתונים כיומנים לא מובְנים או כאירועים בפורמט מוגדר מראש של מודל נתונים מאוחד (UDM).

  • סוכן Bindplane

    אתם יכולים לפרוס את סוכן Bindplane בסביבה שלכם (בענן מקומי או בעננים אחרים) כדי לאסוף יומנים ממגוון רחב של מקורות ולהעביר אותם ל-Google SecOps.

  • פיד נתונים

    ב-Google SecOps, אתם מגדירים פידים של נתונים כדי לשלוף יומנים ממקורות של צד שלישי, כמו קטגוריות ספציפיות של אחסון בענן של צד שלישי (כמו Amazon S3) או ממשקי API של צד שלישי (כמו Okta או Microsoft 365).

נורמליזציה והעשרת נתונים

אחרי שהנתונים מגיעים ל-Google SecOps, הפלטפורמה מעבדת אותם בשלבים הבאים:

  1. ניתוח ונרמול

    המנתח מעבד קודם את נתוני היומן הגולמיים כדי לאמת, לחלץ ולהמיר את הנתונים מהפורמט המקורי שלהם לפורמט הסטנדרטי של UDM. ניתוח ונרמול מאפשרים לנתח מקורות נתונים שונים (לדוגמה, יומני חומת אש, נתוני נקודות קצה, יומני ענן) באמצעות סכימה אחת עקבית. היומן הגולמי המקורי נשאר מאוחסן לצד אירוע ה-UDM.

  2. הוספה לאינדקס

    אחרי הנורמליזציה, Google SecOps מוסיף את נתוני ה-UDM לאינדקס כדי לספק מהירות גבוהה של שאילתות בקבוצות נתונים עצומות, וכך מאפשר לחפש את אירועי ה-UDM.

  3. העשרה וכינויים של UDM

    • ‫Google SecOps מבצע העשרה והוספת כינויים ל-UDM כדי להעשיר אירועי UDM בהקשר חשוב, על ידי זיהוי והוספה של נתוני הקשר ואינדיקטורים לישויות ביומן. לדוגמה, הוא מקשר בין login name של משתמש לבין IP addresses, hostnames ו-MAC addresses שלו.
    • מיקום גיאוגרפי: מערכת Google SecOps מעשירה את כתובות ה-IP בנתוני מיקום גיאוגרפי.
  4. העשרת נתוני אק"ג

    • ‫Google SecOps מבצע כינוי ECG, שממזג הקשר מכמה מקורות (כמו ספקי זהויות, CMDB ומודיעין איומי סייבר) כדי ליצור פרופיל ישות מאוחד בתרשים ההקשר של הישות.

    • מודיעין איומי סייבר: מערכת Google SecOps משווה באופן אוטומטי בין נתוני האירועים לבין מאגר המידע העצום של Google בנושא מודיעין איומי סייבר, כולל מקורות כמו Google Threat Intelligence והגלישה הבטוחה, כדי לזהות איומים זדוניים מוכרים, כמו domains,‏ IP addresses ו-file hashes.

    • ‫WHOIS: ‏Google SecOps מעשירה את שמות הדומיינים בפרטי הרישום הציבוריים שלהם ב-WHOIS.

זמינות הנתונים לניתוח

אחרי שנתוני UDM מעובדים ומועשרים, הם זמינים מיד לניתוח:

  • זיהוי בזמן אמת

    מנוע הזיהוי מריץ באופן אוטומטי כללים בהתאמה אישית וכללים שנוצרו על ידי Google, שמופעלים באמצעות כלל בזמן אמת, על נתונים נכנסים בזמן אמת כדי לזהות איומים וליצור התראות.

  • חיפוש וחקירה

    מנתח נתונים יכול להשתמש בשיטות החיפוש כדי לחפש בכל הנתונים המועשרים והמנורמלים האלה. לדוגמה, שימוש בחיפוש ב-UDM כדי לעבור בין ישויות קשורות (כמו user, ל-asset שלהן, ל-domain זדוני) ולחקור התראות.

שיטות חיפוש

ב-Google SecOps יש כמה שיטות שונות לחיפוש נתונים, ולכל אחת מהן יש מטרה אחרת.

חיפוש ב-UDM הוא שיטת החיפוש העיקרית והמהירה ביותר, והיא משמשת לרוב החקירות.

  • מה הוא מחפש: הוא שולח שאילתות לאירועי UDM שעברו נרמול ונוספו לאינדקס. כל הנתונים מנותחים בפורמט הסטנדרטי הזה, ולכן אתם יכולים לכתוב שאילתה אחת כדי למצוא את אותה פעילות (כמו התחברות) בכל המוצרים השונים (לדוגמה, Windows, ‏Okta, ‏Linux).
  • איך זה עובד: משתמשים בתחביר ספציפי כדי לשלוח שאילתות לגבי שדות, אופרטורים וערכים.
  • לדוגמה: principal.hostname = "win-server" AND target.ip = "10.1.2.3"

    התוצאות בדרך כלל זמינות תוך 2 עד 15 דקות מרגע ההטמעה.

אתם יכולים להשתמש בחיפוש ביומנים גולמיים כדי למצוא משהו בהודעת היומן המקורית שלא נותחה, שאולי לא מופתה לשדה UDM. שיטת החיפוש הזו מותאמת לחיפושים מהירים, ובדרך כלל מחזירה תוצאות תוך פחות מ-2 שניות לאינדיקטורים ספציפיים כמו גיבובים של קבצים או כתובות IP.

  • מה נכלל בחיפוש: המערכת סורקת את הטקסט המקורי והגולמי של היומנים לפני שהם נותחו ועברו נרמול. האפשרות הזו שימושית למציאת מחרוזות ספציפיות, ארגומנטים של שורת פקודה או פריטי מידע אחרים שהם לא שדות UDM שנוספו לאינדקס.
  • איך זה עובד: משתמשים בקידומת raw =. הוא יכול להיות איטי יותר מחיפוש ב-UDM כי הוא לא מחפש בשדות שנוסף להם אינדקס.
  • דוגמה (מחרוזת): raw = "PsExec.exe"
  • דוגמה (ביטוי רגולרי): raw = /admin\$/

חיפוש נתונים סטטיסטיים: מאפשר לראות מגמות לטווח ארוך על סמך מיליוני שורות של נתונים. הפלטפורמה צריכה לבצע ניתוח סטטיסטי וקיבוץ, ולכן זמני הטעינה של השאילתות האלה ארוכים יותר.

חיפוש בשפה טבעית (Gemini)

חיפוש בשפה טבעית (Gemini) מאפשר לכם לשאול שאלות באנגלית פשוטה, ו-Gemini מתרגם אותן לשאילתת UDM רשמית.

  • מה הוא מחפש: הוא מספק ממשק שיחה לשליחת שאילתות על נתוני UDM.
  • איך זה עובד: אתם מקלידים שאלה, ו-Gemini יוצר בשבילכם את שאילתת החיפוש הבסיסית ב-UDM. אחר כך אתם יכולים להריץ או לשפר אותה.
  • דוגמה: "הצג את כל ניסיונות ההתחברות שנכשלו של המשתמש 'bob' ב-24 השעות האחרונות"

החיפוש ב-SOAR הוא ספציפי לרכיבי SOAR. הוא משמש לניהול אירועי אבטחה, ולא לחיפוש ביומנים.

  • מה מחפשים: מחפשים פניות וישויות (כמו משתמשים, נכסים, כתובות IP) בפלטפורמת ה-SOAR.
  • איך זה עובד: אתם יכולים להשתמש במסננים של טקסט חופשי או של שדות כדי למצוא בקשות לפי המזהה, שם ההתראה, הסטטוס והמשתמש שהוקצה להן.
  • דוגמה: חיפוש של CaseIds:180 או AlertName:Brute Force

צינור עיבוד נתונים להטמעת נתונים כדי לחפש זמינות

זמינות הנתונים מקצה לקצה היא משך הזמן הכולל בין התרחשות האירוע לבין הזמן שבו הוא זמין לחיפוש או להפעלת כללים ב-Google SecOps. זמן האחזור הזה הוא הסכום של שני הרכיבים הבאים:

  1. עיכוב בזמינות בצד המקור: הזמן שעובר בין התרחשות האירוע לבין הרגע שבו מערכת המקור הופכת את נתוני היומן לזמינים להטמעה. העיכוב הזה תלוי בארכיטקטורה, בעיבוד, באיסוף קריאות ל-API ובזמני הפרסום של ה-API של מערכת המקור. ל-Google SecOps אין השפעה על העיכוב הזה. לדוגמה, עיכובים שנוצרים כשהמערכת כותבת יומנים לקטגוריית אחסון או מפרסמת אותם בנקודת קצה ל-API.

  2. זמן העיבוד של Google SecOps: הזמן שנדרש ל-Google SecOps כדי לעבד את הנתונים אחרי שהם מתקבלים. משך הזמן הזה כולל שלבים פנימיים בצינור עיבוד הנתונים, כמו הטמעה, ניתוח, נרמול, הוספה לאינדקס והעשרה.

כשמנסים לפתור בעיות שקשורות לזמני הופעת הנתונים, צריך להביא בחשבון את שני הרכיבים.

עיכובים שמקורם במקור הנתונים

הגורמים הבאים יכולים להשפיע על העיכוב בזמינות בצד המקור:

  • עיבוד באצווה: מערכות מסוימות יוצרות יומנים באצוות במרווחי זמן קבועים (לדוגמה, מדי שעה).
  • זמן האחזור של ה-API: יכול להיות שיהיו עיכובים מובְנים ב-API של המקור בהפיכת אירועים חדשים לזמינים לשאילתות.
  • זמן היצירה והפרסום של האירוע: חותמת הזמן של אירוע ביומן עשויה להיות מוקדמת בהרבה מחותמת הזמן שבה היומן נסגר וזמין לאיסוף.
  • ויסות נתונים: מגבלות קצב של יצירת בקשות ב-API בצד המקור יכולות להאט את אחזור הנתונים.
  • מילוי חוסרים ראשוני: הצגה והטמעה של כמויות גדולות של נתונים היסטוריים לוקחות זמן.

העיכובים האלה משתנים בהתאם למקור הנתונים ולסוג היומן. לפרטים נוספים על שיטות הטמעה, קראו את הסקירה הכללית על הטמעת נתונים. במאמרי העזרה של Feed management API מתוארים שיקולים ספציפיים לסוגי יומנים כמו Microsoft Graph,‏ SentinelOne,‏ Okta ו-CrowdStrike.

זמן העיבוד ב-Google SecOps

המערכת מעבדת נתונים חדשים שהוטמעו בכמה שלבים. משך הזמן של השלבים האלה קובע מתי הנתונים החדשים שנקלטו יהיו זמינים לשאילתות ולניתוח.

בטבלה הבאה מפורטים שלבי העיבוד של נתונים חדשים שנוספו, לפי שיטת החיפוש. אחרי השלמת השלבים האלה, אפשר לחפש בנתונים החדשים שנוספו.

שיטת החיפוש הנתונים שמתבצע חיפוש לגביהם שלבי העיבוד שמשפיעים על זמן הזמינות
אירועי UDM מועשרים ומנורמלים
  1. הטמעה: היומן מגיע לנקודת ההטמעה של Google SecOps.
  2. ניתוח: היומן הגולמי מזוהה ומעובד על ידי המנתח הספציפי שלו.
  3. נורמליזציה: הנתונים נשלפים וממופים לסכימת ה-UDM.
  4. הוספה לאינדקס (UDM): רשומת ה-UDM המנורמלת מתווספת לאינדקס כדי לאפשר חיפוש מהיר ומובנה.
  5. העשרה: הוספת הקשר (מודיעין איומי סייבר, מיקום גיאוגרפי, נתוני משתמשים או נכסים).
חיפוש ביומנים גולמיים טקסט מקורי של יומן שלא נותח
  1. הטמעה: היומן מגיע לנקודת ההטמעה של Google SecOps.
מנוע זיהוי (כללים) אירועים מנורמלים
  1. זמינות של אירועי UDM: אותם שלבים שמפורטים לגבי חיפוש ב-UDM.
  2. הערכת זיהוי: מנוע הכללים מעריך את היומנים ב "קבוצות קטנות", ובדרך כלל מפעיל זיהויים תוך 5-10 דקות מרגע הגעת האירוע.
חיפוש ב-SOAR בקשות תמיכה וישויות זהו מחזור חיים שונה, כי הוא מחפש התראות ומקרים, ולא יומנים. השעה מבוססת על:
  1. זמינות של אירועי UDM: משתמשת באותם שלבי עיבוד שמפורטים בקטע "חיפוש ב-UDM".
  2. זיהוי: כלל של מנוע הזיהוי חייב להתאים לאירועי ה-UDM.
  3. יצירת התראה: המערכת יוצרת התראה רשמית מהזיהוי.
  4. יצירת בקשה: פלטפורמת ה-SOAR מקבלת את ההתראה ויוצרת בקשה.

דוגמה לזרימת נתונים

בדוגמה הבאה מוסבר איך Google SecOps מטמיעה, מעבדת, משפרת ומנתחת את נתוני האבטחה שלכם, והופכת אותם לזמינים לחיפושים ולניתוח נוסף.

דוגמה לשלבים של עיבוד נתונים

  1. אחזור של נתוני אבטחה משירותי ענן כמו Amazon S3 או מ-Google Cloud. מערכת Google SecOps מצפינה את הנתונים האלה בזמן ההעברה.
  2. מפריד את נתוני האבטחה המוצפנים ומאחסן אותם בחשבון. הגישה מוגבלת אליכם ולמספר קטן של אנשי צוות ב-Google לצורך תמיכה במוצר, פיתוח ותחזוקה.
  3. מנתח ומאמת נתוני אבטחה גולמיים, כדי שיהיה קל יותר לעבד אותם ולצפות בהם.
  4. מנרמל את הנתונים ומוסיף אותם לאינדקס כדי לאפשר חיפושים מהירים.
  5. שומר את הנתונים המנותחים והמתווספים לאינדקס בחשבון שלכם.
  6. מעשיר את הנתונים בהקשר.
  7. גישה מאובטחת למשתמשים כדי לחפש ולבדוק את נתוני האבטחה שלהם.
  8. משווה את נתוני האבטחה שלכם למסד הנתונים של Google Threat Intelligence לגבי תוכנות זדוניות כדי לזהות התאמות. בחיפוש ב-SIEM, פותחים את הכרטיסייה Overview של דומיין, גיבוב קובץ או כתובת IP, ולוחצים על VT Context כדי לראות את המידע מ-Google Threat Intelligence. ‫Google SecOps לא משתפת את נתוני האבטחה שלכם עם Google Threat Intelligence.

זרימה ועיבוד של נתונים ב-Google SecOps

דוגמאות לזמן הצפוי עד שהתוכן יהיה זמין בחיפוש Google

הזמן הצפוי עד שהנתונים החדשים שנקלטו יהיו זמינים לחיפוש הוא סכום משכי הזמן של הזרימה לאורך זרימת הנתונים.

לדוגמה, הזמן הממוצע הרגיל לזמינות הנתונים בחיפוש ב-UDM הוא כ-5 דקות ו-30 שניות מהרגע שהנתונים נשלחים לשירות הטמעת הנתונים של Google SecOps.

שלב בזרימת הנתונים תיאור משך הזרימה
Cloud Storage אל Raw logs הטמעת יומנים גולמיים מ-Cloud Storage. פחות מ-30 שניות
יומני אבטחה אל שירות העברת נתונים מעבירה יומני אבטחה ממערכות פנימיות לפלטפורמה. לא רלוונטי
שירות העברת נתונים אל יומנים גולמיים שליחת נתוני אבטחה גולמיים שהתקבלו ממקורות שונים לצינור עיבוד הנתונים להטמעה. פחות מ-30 שניות
יומנים גולמיים לניתוח ואימות מנתח ומאמת יומנים גולמיים בפורמט UDM. פחות מ-3 דקות
ניתוח ואימות עד הוספה לאינדקס הוספה לאינדקס של נתוני ה-UDM שנותחו כדי לאפשר חיפוש מהיר. לא רלוונטי
אינדקס עד נתוני לקוחות מנותחים הנתונים שנוספו לאינדקס זמינים כנתוני לקוחות מנותחים לצורך ניתוח. פחות מ-2 דקות

פתרון בעיות

בקטע הזה מוסבר איך לפתור בעיות.

זמן אחזור ומגבלות

עיכובים בעיבוד ובתצוגה החזותית בפלטפורמת Google SecOps כפופים למגבלות הארכיטקטורה הבאות, אחרי ש-Google SecOps מקבלת את הנתונים:

  • הצגה בחיפוש: 2 עד 15 דקות אחרי ההטמעה.
  • הפעלת הכלל: 5 עד 10 דקות אחרי שהאירוע מתקבל.

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.