סקירה כללית על הטמעת נתונים
מערכת Google Security Operations מטמיעה את היומנים של הלקוחות, מנרמלת את הנתונים ומזהה התראות אבטחה. הוא מספק תכונות בשירות עצמי להטמעת נתונים, זיהוי איומים, התראות וניהול בקשות תמיכה. מערכת Google SecOps יכולה גם לקבל התראות ממערכות SIEM אחרות ולנתח אותן.
סקירה כללית על ארכיטקטורת הטמעת הנתונים
בתרשים הבא מוצג איך נתוני האבטחה זורמים אל Google SecOps ואיך המערכת מעבדת את הנתונים האלה לניתוח בממשק.

השלבים העיקריים בהטמעת נתונים
Google SecOps מעבד את נתוני האבטחה שלכם באופן הבא:
- אחזור נתוני אבטחה משירותי ענן כמו Amazon S3 אוGoogle Cloud. מערכת Google SecOps מצפינה את הנתונים האלה בזמן ההעברה.
- מפריד את נתוני האבטחה המוצפנים ומאחסן אותם בחשבון. הגישה מוגבלת אליכם ולמספר קטן של אנשי צוות ב-Google לצורך תמיכה במוצר, פיתוח ותחזוקה.
- מנתח ומאמת נתוני אבטחה גולמיים, כדי שיהיה קל יותר לעבד אותם ולצפות בהם.
- הוספת הנתונים לאינדקס כדי לאפשר חיפושים מהירים.
- שומר את הנתונים המנותחים והמתווספים לאינדקס בחשבון שלכם.
- גישה מאובטחת למשתמשים כדי לחפש ולבדוק את נתוני האבטחה שלהם.
- השוואה בין נתוני האבטחה שלכם לבין מסד הנתונים של VirusTotal בנושא תוכנות זדוניות, כדי לזהות התאמות. בחיפוש ב-SIEM, פותחים את הכרטיסייה סקירה כללית של דומיין, גיבוב קובץ או כתובת IP, ולוחצים על הקשר של VT כדי לראות את המידע מ-VirusTotal. Google SecOps לא משתף את נתוני האבטחה שלכם עם VirusTotal.
סקירה כללית של שיטות להטמעת נתונים
שירות הטמעת הנתונים של Google SecOps פועל כשער לכל הנתונים.
מערכת Google SecOps מטמיעה נתונים באמצעות המערכות הבאות:
Google Cloud: Google SecOps מאחזר נתונים ישירות מהארגון ב- Google Cloud , וזו השיטה העיקרית לכל היומנים הרגילים ב- Google Cloud (לדוגמה, ביקורת, VPC Flow, DNS וחומת אש). זו הדרך הכי חסכונית ויעילה להעביר נתוני טלמטריה של Google Cloud ל-Google SecOps. מידע נוסף זמין במאמר הטמעת נתונים ב-Google SecOps Google Cloud .
סוכן Bindplane: סוכן מנוהל לאיסוף יומנים מסביבות ומשרתים מקומיים (Windows או Linux). Bindplane הוא צינור עיבוד נתונים טלמטרי שיכול לאסוף, לזקק ולייצא יומנים מכל מקור ל-Google SecOps, ולכן הוא מספק גמישות באיסוף סוגים שונים של יומנים שלא פועלים עם שיטות אחרות. אתם יכולים להשתמש בו לנתונים מקומיים, כמו יומני חומת אש, יומני Windows ו-Linux, או לנתונים בענן שאתם רוצים לעבד מראש (לדוגמה, לחדד או לסנן) לפני ההטמעה ב-Google SecOps. אפשר גם לנהל את הסוכן הזה באמצעות מסוף הניהול של Bindplane OP. למידע נוסף, קראו את המאמר שימוש בסוכן Bindplane.
פידים של נתונים: פידים של נתונים משמשים בעיקר ליומנים מבוססי-ענן, שבהם היומנים של הצד השלישי כבר נאספים במאגר אובייקטים, כמו Cloud Storage או Amazon S3, או כשהצד השלישי תומך בשיטות מבוססות-דחיפה, כמו webhook. פידי נתונים מספקים גם תמיכה מוכנה מראש בקבוצה מוגדרת מראש של שילובים שמבוססים על API. השתמשו בפידים של נתונים ליומנים מבוססי-ענן כמו EDR או כל אפליקציית SaaS, ולשילובים הספציפיים שמוגדרים מראש כ-Direct API. פידי נתונים שולחים יומנים ישירות לשירות הטמעת הנתונים של Google SecOps. מידע נוסף זמין במאמרי העזרה בנושא ניהול פידים. פידים של נתונים תומכים בשורות ביומן בגודל של עד 4MB. אתם יכולים לעקוב אחרי הפעילות והשגיאות בפיד באמצעות Cloud Logging. מידע נוסף זמין במאמר ניתוח הפעילות בפיד באמצעות Cloud Logging.
שיטות הטמעה של Chronicle API: משתמשים בשיטות הטמעה מודרניות של Chronicle API לאפליקציות בהתאמה אישית, בנפח גבוה או שפותחו בארגון, שלא מתאימות לשיטות אחרות. השיטה הזו קצת יותר מורכבת משיטות אחרות להעברת נתונים.
- מַעֲבִירים: המעביר של Google SecOps יצא משימוש, יגיע לסוף החיים שלו ב-1 בינואר 2027 ויפסיק להטמיע נתונים ב-1 באפריל 2027. Google ממליצה להשתמש במקום זאת בסוכן Bindplane.
מנתחי נתונים ממירים יומנים ממערכות של לקוחות למודל נתונים מאוחד (UDM). מערכות במורד הזרם ב-Google SecOps משתמשות ב-UDM כדי לספק יכולות נוספות, כולל כללים וחיפוש ב-UDM.
במאמר הסבר על זמינות הנתונים לחיפוש מפורטים כל הפרטים על מחזור החיים של הטמעת הנתונים, כולל זרימת הנתונים מקצה לקצה והזמן שלוקח להטמיע אותם, ואיך הגורמים האלה משפיעים על הזמינות של נתונים שהוטמעו לאחרונה לצורך שאילתות וניתוח.
מפרטים:
כדי להטמיע את היומנים בהצלחה, פורמט התוכן של הקובץ חייב להתאים לפורמט הצפוי לפי סיומת הקובץ.
קבצים גדולים (5-10GB או יותר) יכולים לעכב באופן משמעותי את הטמעת הנתונים.
ההטמעה תומכת רק בקידוד UTF-8.
הסבר על זמני ההטמעה וזמינות הנתונים
הזמינות של הנתונים לניתוח ב-Google SecOps תלויה בכמה שלבים. כדי לפתור בעיות שקשורות לעיכובים, צריך להבחין בין עיכובים במערכת המקור לבין זמן העיבוד של Google SecOps.
עיכובים במערכת המקור (לפני הטמעת הנתונים): למקורות נתונים רבים יש זמני אחזור מובְנים. יכול להיות שהנתונים לא יהיו זמינים לאיסוף מיד אחרי שאירוע מתרחש. היא מופיעה בדרך כלל מהסיבות הבאות:
- לוחות זמנים לעיבוד מקורות ולעיבוד באצווה.
- הזמן שנדרש כדי לכתוב אירועים בקובצי יומן או בנקודות קצה ל-API.
- מגבלות קצב של יצירת בקשות API.
- ההבדל בין חותמת הזמן של האירוע לבין הזמן שבו היומן זמין להטמעה (לדוגמה,
createTime).
עיכובים בהטמעה ובעיבוד של Google SecOps: אחרי שהנתונים מגיעים לנקודת הטמעה, השלבים הבאים יכולים לגרום לעיכובים:
- מרווח האיסוף: במקורות מאוחדים (כמו ממשקי API או קטגוריות אחסון), תדירות הפיד שהוגדרה (לדוגמה, כל 5 דקות או כל שעה) קובעת את העיכוב המקסימלי.
- צינור עיבוד נתונים פנימי: ניתוח, נרמול, הוספה לאינדקס והעשרה. מידע נוסף זמין במאמר הסבר על זמינות הנתונים לחיפוש.
אם יש עיכובים, צריך לבדוק אם המקור או Google SecOps הם הגורם. לדוגמה, יומנים משירותי אחסון של blob לא מתעדכנים בזמן אמת, והם תלויים בתדירות הסקרים.
רשימה של סוגי יומנים עם עיכובים ידועים בצד המקור מופיעה במאמרי העזרה של Feed management API.
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.