ייצוא לפרויקט בניהול עצמי ב-BigQuery

נתמך ב:

ב-Google Security Operations אתם יכולים לייצא נתונים של מודל נתונים מאוחד (UDM) לפרויקט בניהול עצמי שבבעלותכם ובניהולכם. אתם יכולים לקשר פרויקט משלכם ב- Google Cloud למכונה של Google SecOps, ולנהל באופן עצמאי את הרשאות ה-IAM בלי תלות בהגדרות שמנוהלות על ידי Google. אתם יכולים גם להפעיל ולהגדיר את התכונה Bring Your Own BigQuery ‏(BYOBQ) דרך הגדרות > ניהול נתונים > ייצוא נתונים.

‫Google SecOps מייצא את הקטגוריות הבאות של נתונים לפרויקט ב-BigQuery:

  • ‫udm_events: נתוני יומן שעברו נרמול לסכימת UDM.
  • ‫udm_events_aggregates: נתונים נצברים שמסוכמים לפי כל שעה של אירועים מנורמלים.
  • ‫entity_graph: יש שלושה מאפיינים (נתונים לפי הקשר, נתונים נגזרים והקשר גלובלי) בתרשים הישויות. כל הנתונים לפי הקשר והנתונים הנגזרים, וגם חלק מהנתונים לפי הקשר גלובלי, הם נתונים שנכתבים ונשמרים כ-UDM.
  • ‫rule_detections: זיהויים שמוחזרים על ידי כללים שמופעלים ב-Google SecOps.
  • ‫ioc_matches: התאמות של IOC שנמצאו באירועי UDM.
  • ingestion_metrics: מדדים שקשורים להטמעה ולנורמליזציה של צינור עיבוד הנתונים (מיוצאים כברירת מחדל).
  • ‫udm_enum_value_to_name_mapping: מיפוי של ערכי enum לשמות של שדות UDM (מיוצאים כברירת מחדל).
  • ‫entity_enum_value_to_name_mapping: מיפוי של ערכי enum לשמות של שדות ישות (מיוצא כברירת מחדל).

תקופת שמירה

אם אתם לקוחות קיימים, תקופת השמירה שאתם מגדירים קובעת כמה זמן הנתונים שיוצאו ל-BigQuery יישארו בפרויקט שלכם שמנוהל על ידי Google.

תקופת השמירה מתחילה בתאריך של הרשומה המוקדמת ביותר שיוצאה. אתם יכולים להגדיר תקופת שמירה נפרדת לכל מקור נתונים, עד למקסימום שתואם לתקופת ברירת המחדל לשמירת יומנים ב-Google SecOps.

אם לא מצוינת תקופת שמירה, פעולת ברירת המחדל היא להמשיך לייצא נתונים בלי ניקוי או מחיקה סופית, כדי להגביל את תקופת השמירה.

במקרה כזה, אפשר להגדיר את תקופת השמירה כבלתי מוגבלת:

  • לוחצים על הגדרות > ניהול נתונים > ייצוא נתונים.
  • בעמודה Retention Period בטבלה Data Export, בוחרים באפשרות Unlimited מהרשימה של סוג הנתונים הרלוונטי.

לאחר מכן, תוכלו להגדיר כלל למחזור החיים של אובייקטים בקטגוריית האחסון ב- Google Cloud כדי למחוק אובייקטים לפי הצורך.

העברת נתונים ללקוחות קיימים

אם אתם לקוחות קיימים, הנתונים מהפרויקט הקיים בניהול Google לא יועברו לפרויקט בניהול עצמי. הנתונים לא מועברים, ולכן הם נמצאים בשני פרויקטים נפרדים. כדי לשלוח שאילתה על הנתונים בטווח זמן שכולל את תאריך ההפעלה של הפרויקט בניהול עצמי, צריך לבצע אחת מהפעולות הבאות:

  • משתמשים בשאילתה אחת שמאחדת את הנתונים משני הפרויקטים.
  • מריצים שתי שאילתות נפרדות בפרויקטים המתאימים, אחת לנתונים שלפני תאריך ההפעלה של הפרויקט בניהול עצמי ואחת לנתונים שאחריו. כשתקופת השמירה של הפרויקט בניהול Google מסתיימת, הנתונים נמחקים. מאותו רגע, אפשר לשלוח שאילתות רק על נתונים שנמצאים בפרויקט ב- Google Cloud.

ההרשאות שנדרשות כדי לייצא נתונים

כדי לגשת לנתונים ב-BigQuery, צריך להריץ את השאילתות ב-BigQuery עצמו. מקצים את תפקידי ה-IAM הבאים לכל משתמש שצריך גישה:

התחלת ייצוא נתונים מ-BigQuery לפרויקט בניהול עצמי

  1. יוצרים פרויקט ב- Google Cloud שאליו רוצים לייצא את הנתונים. מידע נוסף זמין במאמר הגדרת פרויקט ב- Google Cloud ל-Google SecOps.

  2. כדי ליצור חיבור בין Google SecOps לפרויקט בניהול עצמי, צריך לקשר את הפרויקט למכונה של Google SecOps. מידע נוסף זמין במאמר קישור של Google Security Operations לשירותי Google Cloud . אתם יכולים גם להפעיל ולהגדיר את התכונה Bring Your Own BigQuery ‏(BYOBQ) דרך הגדרות > ניהול נתונים > ייצוא נתונים.

  3. כדי לוודא שהנתונים מיוצאים לפרויקט בניהול עצמי, בודקים את הטבלאות במערך הנתונים datalake ב-BigQuery.

אתם יכולים לכתוב שאילתות אד-הוק על נתוני Google SecOps שמאוחסנים בטבלאות BigQuery. אפשר גם ליצור ניתוחים מתקדמים יותר באמצעות כלים אחרים של צד שלישי שמשתלבים עם BigQuery.

כל המשאבים שנוצרו בפרויקט בניהול עצמי ב- Google Cloud כדי לאפשר ייצוא, כולל קטגוריות של Cloud Storage וטבלאות ב-BigQuery, נמצאים באותו אזור כמו Google SecOps.

אם מופיעה שגיאה כמו Unrecognized name: <field_name> at [<some_number>:<some_number>] כשמריצים שאילתה ב-BigQuery, זה אומר שהשדה שאתם מנסים לגשת אליו לא נמצא במערך הנתונים, כי הסכימה נוצרת באופן דינמי במהלך תהליך הייצוא.

מידע נוסף על נתוני Google SecOps ב-BigQuery

כדי לגשת להגדרות הייצוא ולנהל את אופן שליחת הנתונים ל-BigQuery, אתם יכולים להשתמש בשיטות ה-API שמתוארות בנושאים הבאים:

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.