אופטימיזציה של נפח ההטמעה
במדריך הזה מוסבר איך לבצע אופטימיזציה של נפח הטמעת הנתונים, על ידי התמקדות בהגדרה של צינורות עיבוד הנתונים ב-Google Security Operations. היכולת הזו מספקת דרך אחידה לסנן, לשנות ולצנזר נתונים לפני שהם נקלטים במלואם, בלי קשר למקור. השיטה הזו משפרת את איכות הנתונים ואת היעילות של זיהוי האיומים.
המדריך מיועד למהנדסי אבטחה, למנתחי נתונים ב-Google SecOps ולאדמינים בענן שמנהלים את הטמעת היומנים ב-Google SecOps.
הטמעה של כמויות עצומות של יומנים לא מסוננים עלולה להכביד על התקציב והמשאבים שלכם. הוא מוביל לעלויות גבוהות יותר, ליכולות חיפוש וניתוח איטיות יותר ולסיכוי גבוה יותר שמנתחי אבטחה יפספסו התראות קריטיות בתוך מבול של נתונים לא רלוונטיים. סינון יעיל הוא חיוני לפריסה חסכונית ויעילה של Google SecOps.
לפני שמתחילים
חשוב לוודא שיש לכם את הפריטים הבאים או שאתם מבצעים את הפעולות הבאות:
- תפקיד בניהול זהויות והרשאות גישה (IAM): התפקיד המוגדר מראש של Chronicle API
Admin(roles/chronicle.admin) או תפקיד בהתאמה אישית שמכיל אחת מההרשאות הבאות:chronicle.logProcessingPipelines.*chronicle.logTypes.getchronicle.logTypes.listchronicle.feeds.getchronicle.feeds.listchronicle.logs.list
- גרסת Bindplane: נדרשת גרסה 1.96.4 ואילך של מסוף Bindplane Server.
- ב-Bindplane Cloud, איחוד שירותי אימות הזהות של עומסי עבודה (WIF) נתמך לצורך אימות. בפריסות של Bindplane באירוח עצמי נדרשים פרטי כניסה של מפתח JSON של חשבון שירות.
- גישה למסוף הניהול של Bindplane או לממשקי ה-API של Google SecOps Data Pipeline כדי להגדיר את צומתי המעבד.
- לזהות את השדות, סוגי היומנים והתנאים המדויקים שנדרשים כדי להגדיר מעבדי סינון, שינוי וצנזור לצורך צמצום הנפח.
- מגדירים את הקלט של הזרמת הנתונים בצינור עיבוד הנתונים על ידי התאמה של סוגי היומנים הספציפיים, מזהי האספנים (למקורות Bindplane) או שמות הפידים (לפידים של נתונים) שמשויכים לשיטות ההטמעה.
- אם אתם מטמיעים יומנים של Google Cloud , הגדירו את מסנני הייצוא הנדרשים של Logging כדי להטמיע סינון במעלה הזרם, וכך לחסוך כמה שיותר בעלויות לפני שהנתונים מגיעים לצינור עיבוד הנתונים של SecOps.
- הסבר על נתוני היומן:
- זיהוי יומנים בנפח גבוה או בערך נמוך: נתחו את מדדי ההטמעה הנוכחיים כדי לזהות אילו סוגים ומקורות של יומנים תורמים הכי הרבה לנפח ולעלות. מידע נוסף זמין בסקירה הכללית על מדדי הטמעה.
- קביעת קריטריונים לסינון: קובעים את השדות, הערכים, התבניות (ביטויים רגולריים) או התנאים הספציפיים שמזהים באופן מהימן את היומנים שצריך להשמיט, לשנות או לצנזר.
- הכירו את שיטות ההטמעה: חשוב להבין איך כל מקור יומן יעד מוטמע (ישירות, Bindplane, פיד, API), כי זה משפיע על אופן ההגדרה של ה-pipeline stream.
מונחים חשובים
- צינורות עיבוד נתונים: יכולת שמשמשת לסינון, לשינוי ולצנזור של נתוני יומן כשהם מגיעים, לפני שהם נשמרים ומתווספים לאינדקס.
- סינון: היכולת העיקרית לאופטימיזציה של נפח, שמגדירה תנאים להסרה סלקטיבית של אירועים שלא נדרשים לניתוח אבטחה.
- טרנספורמציה: יכולת שמשמשת לשינוי הפורמטים של היומנים כדי לשפר את נוחות השימוש, כמו הסרת שמות דומיינים שמוגדרים במלואם (FQDN) או מחיקת שדות מילוליים באירועים.
- Redact: יכולת להסתיר או להסיר לחלוטין מידע רגיש מהיומנים לפני שהם נשמרים, כדי לעזור בשמירה על תאימות ופרטיות.
- סוכן Bindplane: שיטה להטמעת יומנים שנאספו ממערכות מקומיות או ממערכות ענן אחרות.
- פידים: שיטה להטמעת נתונים ממקורות כמו Cloud Storage, Amazon S3 או ממשקי API של צד שלישי.
- ממשקי API להטמעה: שיטה לשליחת נתוני יומן מותאמים אישית, שמאפשרת סינון בצד השרת באמצעות צינורות עיבוד נתונים.
- סינון במעלה הזרם: השיטה המומלצת לסינון יומני Google Cloud במקור באמצעות מסנני ייצוא של Logging, כדי לחסוך בעלויות בצורה אופטימלית.
- מקורות נתונים: זרימה ספציפית של נתונים, שמוגדרת לפי סוג היומן ומקור ההטמעה (כמו פיד או API), ומשמשת כקלט לפייפליין של עיבוד נתונים.
- צומת מעבד: רכיב בתוך צינור עיבוד נתונים שמכיל מעבד אחד או יותר (פעולות סינון, שינוי או צנזור) שמשנים את הנתונים ברצף.
- יעד: נקודת הקצה של צינור עיבוד הנתונים, בדרך כלל המכונה של Google SecOps שאליה נשלחים הנתונים המעובדים להטמעה ולניתוח סופיים.
שימוש בצינורות עיבוד נתונים לצורך אופטימיזציה
צינורות עיבוד הנתונים ב-Google SecOps מאפשרים לכם לשלוט בתהליך הטמעת הנתונים לפני הניתוח. הם מאפשרים להגדיר כללים ופעולות שחלים על היומנים כשהם מגיעים, לפני שהם נשמרים ומתווספים לאינדקס. מידע נוסף זמין במאמר הגדרה וניהול של צינורות עיבוד נתונים.
היכולות העיקריות
- מסנן: זהו המוקד העיקרי לאופטימיזציה של נפח. אתם יכולים להגדיר תנאים באמצעות תוכן גולמי של יומנים, מאפיינים או ביטויים רגולריים, כדי להשמיט באופן סלקטיבי אירועים שלא נדרשים לניתוח אבטחה. זהו שלב חשוב בהפחתת הרעש והעלויות.
- טרנספורמציה: שינוי הפורמטים של היומנים כדי לשפר את נוחות השימוש או כדי להסיר נתונים מיותרים באירועים. לדוגמה, הסרת FQDN משמות מארחים, ניתוח וארגון מחדש של מטענים ייעודיים (payloads) של JSON או מחיקת שדות מפורטים אבל לא רלוונטיים.
- צנזור: הסתרה או הסרה מלאה של מידע רגיש, כמו פרטים אישיים מזהים (PII), מהיומנים לפני שהם נשמרים, כדי לעמוד בדרישות בנושא תאימות ופרטיות.
הנחה על כל המוצרים
יתרון מרכזי של צינורות עיבוד נתונים הוא שאפשר להחיל אותם על נתונים מכל שיטת הטמעה. ההגדרה הזו מספקת שכבת סינון עקבית עבור:
- Google Cloud יומנים מובנים
- יומנים שנאספו באמצעות הסוכן של Bindplane
- נתונים שהובאו דרך פידים
- יומנים בהתאמה אישית שנשלחים דרך ממשקי ה-API להטמעה
מידע נוסף זמין בקטע אסטרטגיות סינון ספציפיות לשיטה במדריך הזה.
הטמעת סינון באמצעות צינורות עיבוד נתונים
שלב 1: הגדרת צינור עיבוד הנתונים
אתם יכולים להגדיר ולנהל צינורות עיבוד נתונים דרך מסוף הניהול של Bindplane או באמצעות ממשקי ה-API הציבוריים של Google SecOps Data Pipeline. הם מאפשרים להגדיר מקורות נתונים (קלט), להגדיר צומתי עיבוד (סינון, שינוי, צנזור) ולנהל את פריסת צינור עיבוד הנתונים.
הוראות מקיפות להגדרה מפורטות במאמר הגדרה וניהול של צינורות עיבוד נתונים.
שלב 2: הגדרת המעבדים לסינון
בתוך צינור עיבוד נתונים, אפשר להוסיף מעבדים לצומת. כדי לצמצם את הנפח, כדאי להשתמש בעיקר במעבדי סינון. אתם יכולים להגדיר את המעבדים האלה כך שימחקו יומנים על סמך תנאים או ביטויים רגולריים. אתם מגדירים תנאים והצהרות בהתאמה אישית לצינור עיבוד הנתונים באמצעות תחביר OTTL (OpenTelemetry Transformation Language).
- תנאים: הערכת שדות או מאפיינים בנתוני היומן.
- ביטויים רגולריים: התאמת דפוסים בתוך הודעת היומן הגולמית.
- דוגמה ל-OTTL: הצהרה לדוגמה תהיה
set(attributes["labels.myLabel.value"], "myValue").
סינון הוא אמנם המפתח, אבל אתם יכולים גם להשתמש במעבדי Transform כדי להסיר שדות גדולים ומיותרים מהיומנים שאתם שומרים, ולהשתמש במעבדי Redact כדי לבטל נתונים רגישים.
שלב 3: אסטרטגיות סינון ספציפיות לשיטה
בקטעים הבאים מוסבר איך לגשת לסינון באמצעות צינורות עיבוד נתונים לכל סוג הטמעה עיקרי.
Google Cloud יומנים
סינון במעלה הזרם (שיטה מומלצת): כדי לחסוך כמה שיותר בעלויות, Google ממליצה לסנן את היומנים של Google Cloud במקור באמצעות מסנני הייצוא של Cloud Logging. כך נמנעת שליחה של יומנים לא רצויים ל-Google SecOps מלכתחילה. אם צריך, אפשר להשתמש בצינורות עיבוד נתונים לסינון נוסף. מידע נוסף זמין במדריך להטמעת נתונים ב- Google Cloud , ובמיוחד בקטע התאמה אישית של הגדרות מסנן הייצוא.
אפליקציית צינור עיבוד נתונים: מגדירים צינור עיבוד נתונים, ובוחרים את סוג היומן המתאים Google Cloud ואת שיטת ההטמעה, ישירה או מבוססת-ענן. הגדרת מעבדי סינון כדי להסיר יומנים לא רצויים על סמך התוכן.
סוכן Bindplane
אפשר לסנן יומנים שנאספו על ידי סוכן Bindplane, ממערכות מקומיות או ממערכות ענן אחרות, באמצעות צינור עיבוד נתונים. מגדירים את ה-stream כך שיתאים לסוגי היומנים ולמזהי ה-collector שמשויכים למקורות של Bindplane. מידע נוסף זמין במאמר שימוש ב-Bindplane עם Google SecOps.
פיד נתונים
בנתונים שנקלטו באמצעות פידים (לדוגמה, מ-Cloud Storage, מ-Amazon S3 או מממשקי API של צד שלישי), אתם יכולים להחיל מסננים של צינור עיבוד נתונים על ידי בחירת שם הפיד וסוג היומן כשאתם מגדירים את הסטרימינג של צינור עיבוד הנתונים. מידע נוסף זמין במדריך עבודה עם פידים.
שיטות להטמעת נתונים ב-Chronicle API
אם אתם שולחים נתונים באמצעות שיטות ההטמעה של Chronicle API, אתם עדיין יכולים להשתמש בצינורות עיבוד נתונים. מגדירים את הסטרימינג של צינור עיבוד הנתונים כך שיתאים לסוג היומן שבו אתם משתמשים בקריאות ל-API. כך אפשר לסנן את זרמי היומנים בהתאמה אישית בצד השרת. מידע נוסף זמין במדריך שיטות הטמעה של Chronicle API.
שיטות מומלצות
- סינון במעלה הזרם כשאפשר: כמו שצוין לגבי Google Cloud, תמיד צריך לסנן את היומנים קרוב ככל האפשר למקור. זו הגישה הכי משתלמת, כי היא מצמצמת את העלויות של העברת הנתונים ועיבוד הנתונים.
- היו ספציפיים: התחילו עם מסננים מצומצמים ומוגדרים היטב כדי להחריג יומנים ידועים בנפח גבוה ובערך נמוך. הימנעו ממסננים רחבים מדי שעלולים להשמיט בטעות נתונים שימושיים.
- חזרה ושיפור: בודקים באופן קבוע את יעילות המסננים. האם הם מתעדים את האירועים הנכונים? האם יש רעש חדש שצריך לסנן?
- תעדו את המסננים: שמרו תיעוד של המסננים שהגדרתם והסיבה לכך, במיוחד אם מדובר בביטויים רגולריים מורכבים או בלוגיקה מותנית.
אימות ובדיקה
- בדיקה: כדאי לבדוק את המסננים בסביבה שאינה סביבת ייצור או עם קבוצת משנה קטנה של נתונים.
- אימות מסננים: משתמשים בתכונות הבדיקה בעורך צינור עיבוד הנתונים של מסוף Bindplane. כך אתם יכולים להזין יומנים לדוגמה ולראות את הפלט אחרי שהמעבדים הופעלו, כדי לוודא שהמסננים פועלים כמו שצריך.
- מעקב אחרי הטמעת הנתונים: אחרי שפורסים את צינורות עיבוד הנתונים, עוקבים אחרי לוחות הבקרה של הטמעת הנתונים ב-Google SecOps כדי לבחון את ההשפעה על נפח הנתונים ועל העלויות. מידע נוסף זמין בסקירה הכללית על מדדי הטמעה.
- הצגת ההגדרות האישיות: אפשר לראות את כל ההגדרות האישיות בממשק המשתמש של Google SecOps בקטע הגדרות > ניהול נתונים > עיבוד נתונים.
- ניהול חיצוני: אתם יכולים לחפש הגדרות אישיות וללחוץ על Open in Bindplane כדי לעבור ישירות למסוף Bindplane לניהול מתקדם.
מגבלות
- מגבלות השירות: ביטויים רגולריים מורכבים מדי או מספר גדול של מעבדים לכל צינור עיבוד נתונים יכולים להשפיע על הביצועים או להיות כפופים למגבלות. כדאי לעיין במגבלות של Google SecOps במגבלות השירות.
- חבילות Google SecOps: חשוב להכיר את התכונות והיכולות של חבילת Google SecOps. מידע נוסף זמין במאמר חבילות Google SecOps.
- שימוש חוזר: למרות שצינור עיבוד נתונים הוא כלי יעיל, יכול להיות שלא תוכלו להשתמש ישירות בהגדרות של צינור עיבוד נתונים מסוג מסוים או ממקור מסוים של יומנים בשביל סוג או מקור אחרים, בלי לבצע שינויים.
- מספר מעבדים מקסימלי: אפשר להגדיר עד 10 מעבדים לכל צינור עיבוד נתונים.
- ביצועים של ביטויים רגולריים: אל תשתמשו ביותר מדי התאמות של ביטויים רגולריים, כי זה עלול לגרום לכשל ביצירה או בפריסה של צינור עיבוד הנתונים בגלל זמן קצוב לתפוגה. עדיף לנתח נתונים ל-JSON ולסנן לפי שדות ספציפיים.
- מגבלה על שיוך של מקורות נתונים: אפשר ליצור צינורות עיבוד נתונים שונים לפידים שונים של אותו סוג יומן, אבל אי אפשר לשייך את אותה הגדרה של מקור נתונים (למשל, אותו פיד או אותו סוג יומן כולל) ליותר מצינור עיבוד נתונים פעיל אחד. הגדרת סוג יומן לערך All Ingestion Methods פועלת כהגדרה כוללת ומונעת הגדרה של צינורות עיבוד נתונים אחרים לפידים ספציפיים של סוג היומן הזה.
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.