VPC Flow Logs

VPC Flow Logs דוגם מנות ברשת של הענן הווירטואלי הפרטי (VPC) כדי ליצור יומני תעבורה. יומני זרימה נצברים לפי חיבור IP (5-tuple). VPC Flow Logs דוגם את החבילות הבאות:

• חבילות שנשלחות ממכונות וירטואליות (VM) ומתקבלות בהן, כולל מכונות וירטואליות שמשמשות כצמתים של Google Kubernetes Engine
• חבילות שנשלחות ממשאבי Cloud Run או App Engine שהוגדרה בהם Direct VPC egress, ומתקבלות מהם
• חבילות שנשלחות דרך קבצים מצורפים של VLAN עבור Cloud Interconnect ומנהרות Cloud VPN

אפשר לראות את יומני הזרימה ב-Cloud Logging, ואפשר לייצא את היומנים לכל יעד שנתמך בייצוא של Cloud Logging. היומנים האלה יכולים לשמש למעקב אחרי הרשת, לפורנזיקה דיגיטלית, לניתוח אבטחה ולאופטימיזציה של ההוצאות. מידע נוסף זמין במאמר בנושא תצורות נתמכות.

תרחישים לדוגמה

הנה כמה תרחישי שימוש ב-VPC Flow Logs.

מעקב אחרי הרשת

יומני זרימה של VPC מספקים לכם נראות של תפוקת הרשת והביצועים שלה. אתם יכולים:

• מעקב אחרי רשת ה-VPC
• ביצוע ניתוח של הרשת
• סינון של יומני תעבורת הנתונים לפי מכונות וירטואליות, נקודות קצה ללא שרתים, קבצים מצורפים של VLAN ומנהרות Cloud VPN כדי להבין את השינויים בתעבורה
• הסבר על גידול בתנועת הגולשים לצורך חיזוי קיבולת

הסבר על שימוש ברשת ואופטימיזציה של הוצאות על תנועה ברשת

אפשר לנתח את השימוש ברשת באמצעות VPC Flow Logs כדי לבצע אופטימיזציה של ההוצאות על תעבורת הרשת. לדוגמה, אפשר לנתח את זרימות הנתונים ברשת במקרים הבאים:

• תנועה בין אזורים ותחומים
• תנועת גולשים למדינות ספציפיות באינטרנט
• תעבורה לרשתות מקומיות ולרשתות ענן אחרות
• הגורמים שיוצרים הכי הרבה תעבורה ברשת, כולל מכונות וירטואליות, נקודות קצה בלי שרת (serverless), צירופים ל-VLAN ומנהרות Cloud VPN

פורנזיקה דיגיטלית ברשת

אתם יכולים להשתמש ב-VPC Flow Logs כדי לבצע ניתוח משפטי של רשתות. לדוגמה, אם מתרחש אירוע, אפשר לבדוק את הדברים הבאים:

• אילו כתובות IP תקשרו זו עם זו ומתי
• אילו כתובות IP נפרצו על ידי ניתוח כל זרימות הנתונים הנכנסות והיוצאות ברשת

כאן Google Cloud אפשר לקרוא איך משתמשים יכולים לחזק את ההגנה שלהם מפני מתקפות סייבר באמצעות יומני תנועה של VPC.

הגדרות נתמכות

אפשר להפעיל את VPC Flow Logs ברמת הארגון וברמת הפרויקט. הגדרה של יומני זרימה של VPC ברמת הארגון מאפשרת יומני זרימה לכל רשתות המשנה, לכל חיבורי ה-VLAN ולכל מנהרות Cloud VPN בכל רשתות ה-VPC בארגון.

ברמת הפרויקט, אפשר להפעיל יומנים לתיעוד מידע על תעבורת ה-IP של ענן וירטואלי פרטי (VPC) עבור רשתות VPC ספציפיות, רשתות משנה, קבצים מצורפים של VLAN ומנהרות Cloud VPN.

היקף ההגדרה	יצירת יומני זרימה למשאבים האלה	שלבים להפעלה
ארגון	כל מופעי מכונות ה-VM וכל המשאבים של Cloud Run או App Engine בכל רשתות המשנה בארגון כל הצירופים ל-VLAN בארגון כל מנהרות ה-VPN בענן בארגון	הפעלת VPC Flow Logs בארגון
רשת VPC	כל המכונות הווירטואליות ומשאבי Cloud Run או App Engine בכל רשתות המשנה ברשת ה-VPC כל הצירופים ל-VLAN ברשת ה-VPC כל מנהרות Cloud VPN ברשת ה-VPC	הפעלת יומני זרימה של VPC ברשת VPC
תת-רשת	כל המכונות הווירטואליות וכל המשאבים של Cloud Run או App Engine ברשת משנה ספציפית	כדי להפעיל את VPC Flow Logs עבור רשת משנה: מומלץ: הפעלת יומני זרימה של VPC עבור רשת משנה (Network Management API) הפעלת יומני זרימה של VPC עבור רשת משנה (Compute Engine API)
צירוף ל-VLAN	צירוף ספציפי ל-VLAN	הפעלת יומני זרימה של VPC לצירוף ל-VLAN
מנהרת Cloud VPN	מנהרת Cloud VPN ספציפית	הפעלת יומני זרימה של VPC למנהרת VPN ב-Cloud

אפשר להשתמש בסינון כדי להתאים אישית את היקפי ההגדרה האלה. מידע נוסף זמין במאמר בנושא דגימה ועיבוד של יומנים.

איסוף יומנים

הדגימה של החבילות מתבצעת בתוך מרווח צבירה. כל החבילות שנאספו עבור קישור דרך IP נתון במרווח הצבירה מצטברות לרשומה אחת ביומן של זרימת הנתונים. הנתונים האלה נשלחים אל Logging בפרויקט Google Cloud של רשת ה-VPC שדיווחה על התנועה.

כברירת מחדל, היומנים נשמרים ב-Logging למשך 30 יום. אם רוצים לשמור את היומנים למשך תקופה ארוכה יותר, אפשר להגדיר תקופת שמירה מותאמת אישית או לייצא אותם ליעד נתמך.

דגימה ועיבוד של יומנים

כדי ליצור יומני תעבורה, התכונה 'יומני תעבורה של VPC' דוגמת מנות ברשת ה-VPC, כולל מנות שנשלחות ממכונות וירטואליות ומנקודות קצה בלי שרתים ומתקבלות מהן, ומנות שעוברות דרך שערים כמו צירופים ל-VLAN או מנהרות Cloud VPN. אחרי שיומני הזרימה נוצרים, שירות VPC Flow Logs מעבד אותם לפי התהליך שמתואר בקטע הזה.

‫VPC Flow Logs דוגם מנות באמצעות קצב דגימה ראשי. תדירות הדגימה הראשונית היא דינמית ומשתנה בהתאם לעומס של המארח הפיזי שמריץ את משאב הדיווח בזמן הדגימה. ההסתברות לדגימה של כל חיבור IP בודד עולה עם נפח החבילות. אי אפשר לשלוט בתהליך הדגימה של יומן הזרימה הראשי או לשנות את קצב הדגימה הראשי.

אחרי שיומני הזרימה נוצרים, VPC Flow Logs מעבד אותם לפי התהליך הבא:

1. סינון. אתם יכולים לציין שיופקו רק יומנים שתואמים לקריטריונים שצוינו. לדוגמה, אפשר לסנן כך שרק יומנים של מכונה וירטואלית מסוימת או רק יומנים עם ערך מטא-נתונים מסוים ייווצרו, והשאר יימחקו. מידע נוסף זמין במאמר בנושא סינון יומנים.
2. צבירה. המידע על מנות שנדגמו מצטבר על פני מרווח צבירה שניתן להגדרה, כדי ליצור רשומה ביומן התעבורה.
3. Secondary flow log sampling. זהו תהליך דגימה שני. הדגימה של רשומות יומן התנועה מתבצעת גם לפי פרמטר שיעור דגימה משני שניתן להגדרה. הדגימה המשנית מתבצעת ביומני הזרימה שנוצרו בתהליך הדגימה הראשי של יומני הזרימה. לדוגמה, אם קצב הדגימה המשני מוגדר ל-1.0, או ל-100%, אז VPC Flow Logs דוגם 100% מיומני התנועה שנוצרו על ידי הדגימה הראשית של יומני התנועה.
4. מטא-נתונים. אם האפשרות מושבתת, כל הערות המטא-נתונים נמחקות. אם רוצים לשמור את המטא-נתונים, אפשר לשמור את כל השדות או קבוצה ספציפית של שדות. מידע נוסף מופיע במאמר בנושא הערות מטא-נתונים.
5. כתיבה לרישום ביומן. רשומות היומן הסופיות נכתבות ב-Cloud Logging.

הערה: אי אפשר לשנות את האופן שבו VPC Flow Logs אוסף דוגמאות. עם זאת, אפשר לשלוט בדגימה של יומני הזרימה המשניים באמצעות הפרמטר Secondary sampling rate (שיעור הדגימה המשני), כמו שמתואר במאמר הפעלת יומני זרימה של VPC. אם אתם צריכים לנתח את כל החבילות, אתם יכולים להשתמש ברפליקציה של חבילות נתונים ובמופעים של כלי איסוף שמריצים תוכנה של צד שלישי.

‫VPC Flow Logs לא מתעד כל חבילה. במקום זאת, המערכת מעריכה את נפח התנועה הכולל על סמך המנות שנדגמו, תוך התחשבות במנות שפוספסו. מידע נוסף זמין במאמר VPC Flow Logs: Understanding byte and packet counts.

למרות ש Google Cloud לא מתעדת כל חבילה, רשומות היומן יכולות להיות גדולות מאוד. כדי לאזן בין הצורך בגישה לנתוני התנועה לבין עלויות האחסון, אפשר לשנות את ההגדרות הבאות של איסוף היומנים:

• Aggregation interval. חבילות שנדגמו במרווח זמן מסוים מצטברות לרשומה אחת ביומן. מרווח הזמן הזה יכול להיות 5 שניות (ברירת מחדל), 30 שניות, דקה אחת, 5 דקות, 10 דקות או 15 דקות.
• תדירות דגימה משנית.
  • בהגדרות שנוצרו באמצעות Compute Engine API, ‏ 50% מיומני הכניסה נשמרים כברירת מחדל. אפשר להגדיר את הפרמטר הזה מ-1.0 (100%, כל הרשומות ביומן נשמרות) עד 0.0 (0%, אף יומן לא נשמר).
  • בהגדרות שנוצרו באמצעות Network Management API, כל רשומות היומן נשמרות כברירת מחדל. אפשר להגדיר את הפרמטר הזה מ-1.0 עד יותר מ-0.0.
• הערות של מטא-נתונים. כברירת מחדל, רשומות של יומני תנועה מוערות בפרטי מטא-נתונים, כמו השמות של המקור והיעד בתוך Google Cloud או האזור הגיאוגרפי של מקורות ויעדים חיצוניים. כדי לחסוך במקום אחסון, אפשר להשבית את ההערות של המטא-נתונים או לציין רק הערות מסוימות.
• סינון. כברירת מחדל, יומנים נוצרים לכל תהליך לדוגמה. אפשר להגדיר מסננים כדי ליצור יומנים שתואמים רק לקריטריונים מסוימים.

מפרטים

• הפעלת VPC Flow Logs לא גורמת לעיכוב או לפגיעה בביצועים.
• ‫VPC Flow Logs פועל עם רשתות VPC, ולא עם רשתות מדור קודם.
• דוגמאות ליומני זרימה של VPC של זרימות TCP,‏ UDP,‏ ICMP,‏ ESP,‏ GRE ו-RDMA:
  • הדגימה מתבצעת גם בתנועה נכנסת וגם בתנועה יוצאת. ב-RDMA over Converged Ethernet‏ (RoCE), רק זרימות יוצאות נדגמות.
  • הזרימות יכולות להיות בתוך Google Cloud או בין Google Cloud לבין רשתות אחרות.
  • אם זרימה נדגמת, VPC Flow Logs יוצר יומן עבור הזרימה. כל רשומה של זרימה כוללת את המידע שמתואר בקטע פורמט הרשומה.
  • יומני זרימת הנתונים לא מציינים איזו נקודת קצה יזמה את הזרימה, אלא מזהים את כיוון החבילה.
• האינטראקציה בין VPC Flow Logs לבין כללי חומת אש מתבצעת בדרכים הבאות:
  • חבילות יוצאות נדגמות לפני כללי חומת האש של תעבורת נתונים יוצאת (egress). גם אם כלל חומת אש ליציאה דוחה חבילות יוצאות, אפשר לדגום את החבילות האלה באמצעות VPC Flow Logs.
  • מנות נתונים נכנסות נדגמות אחרי כללי חומת האש של התעבורה הנכנסת. אם כלל חומת אש לתעבורת נתונים נכנסת דוחה חבילות נתונים נכנסות, המערכת לא דוגמת את החבילות האלה ב-VPC Flow Logs.
• אפשר להשתמש במסננים ביומני התנועה של VPC כדי ליצור רק יומנים מסוימים.
• יומני התנועה של VPC תומכים במכונות וירטואליות עם כמה ממשקי רשת. בכל VPC, צריך להפעיל את היומנים של תעבורת הנתונים ב-VPC לכל תת-רשת שמכילה ממשק רשת.
• כדי לרשום ביומן את התנועה בין קבוצות Pod באותו צומת Google Kubernetes Engine ‏ (GKE), צריך להפעיל חשיפה בתוך הצומת באשכול.
• אי אפשר להשתמש ביומני תעבורה של VPC בתת-רשתות עם ייעוד INTERNAL_HTTPS_LOAD_BALANCER כי תת-הרשתות האלה משמשות כתת-רשתות של שרת proxy בלבד, ואין בהן מכונות וירטואליות או נקודות קצה ללא שרת.
• VPC Flow Logs כותב יומנים לפרויקט של רשת ה-VPC שמופיעה בדוח. לגבי משאבים ברשתות VPC משותפות, הדוחות של היומנים מופיעים בפרויקט המארח.

המאמרים הבאים

• מידע נוסף על הפורמט של רשומות VPC Flow Logs ועל הערות המטא-נתונים שזמינות זמין במאמר מידע על רשומות VPC Flow Logs.
• דוגמאות ליומני זרימה של VPC שנאספים לתרחישי שימוש שונים מופיעות במאמר מידע על זרימות תנועה.
• כדי להתחיל לדווח על זרימות של רשת משנה, ראו הגדרת VPC Flow Logs.