איסוף יומני HAProxy
במאמר הזה מוסבר איך להטמיע יומני HAProxy ב-Google Security Operations באמצעות סוכן Bindplane.
HAProxy הוא שרת proxy ומאזן עומסים בזמינות גבוהה, שיוצר הודעות syslog לבקשות HTTP, לאירועי חיבור, לבדיקות תקינות של קצה עורפי ולפעילות של תהליכים. המנתח משתמש בהתאמת דפוסים של Grok כדי לחלץ שדות מפורמטים שונים של יומני HAProxy וממפה אותם למודל הנתונים המאוחד (UDM).
לפני שמתחילים
חשוב לוודא שיש לכם את הדברים הבאים:
- מכונה של Google SecOps
- Windows Server 2016 ואילך, או מארח Linux עם
systemd - קישוריות רשת בין סוכן Bindplane לבין שרת HAProxy
- אם אתם משתמשים בשרת proxy, ודאו שהיציאות של חומת האש פתוחות בהתאם לדרישות של סוכן Bindplane.
- הרשאת אדמין להגדרות של HAProxy
קבלת פרטי כניסה ל-Google SecOps בשביל סוכן Bindplane
כדי לאמת את סוכן Bindplane ב-Google SecOps, בוחרים באחת מהשיטות הבאות:
- פריסות חדשות: משתמשים ב-Chronicle API (אפשרות 1).
- פריסות קודמות: ממשיכים להשתמש בקובץ האימות להטמעת נתונים (אפשרות 2) עד שה-Ingestion API יופסק ב-20 ביולי 2027.
אפשרות 1: יצירת חשבון שירות ל-Chronicle API (מומלץ)
- נכנסים למסוףGoogle Cloud ובוחרים את הפרויקט ב- Google Cloud שמקושר למכונה של Google SecOps.
- נכנסים לדף IAM & Admin > Service Accounts.
- לוחצים על Create service account.
- מזינים את פרטי ההגדרה הבאים:
- Service account name: מזינים שם לחשבון (לדוגמה,
bindplane-ingest). - Service account description: מזינים תיאור (לדוגמה,
Bindplane agent log ingestion).
- Service account name: מזינים שם לחשבון (לדוגמה,
- לוחצים על Create and continue.
- בקטע Grant this service account access to project, לוחצים על Select a role ובוחרים באפשרות Chronicle Editor.
- לוחצים על המשך ואז על סיום.
- לוחצים על חשבון השירות שיצרתם ועוברים לכרטיסייה Keys.
- לוחצים על Add key > Create new key.
- בוחרים באפשרות JSON ולוחצים על Create. קובץ המפתח יורד למחשב.
- שומרים את קובץ המפתח בתור
ingestion-auth.jsonבספריית Bindplane collector (/opt/observiq-otel-collector/ingestion-auth.jsonב-Linux אוC:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.jsonב-Windows), או מעדכנים אתcreds_file_pathב-config.yamlכך שיתאים לנתיב שבו שמרתם אותו. - עוברים אל IAM & Admin > Settings ומעתיקים את הערך של Project number. תצטרכו אותו כדי להגדיר את הייצוא.
אפשרות 2: הורדה של קובץ האימות להטמעת נתונים (גרסה קודמת)
- נכנסים למסוף Google SecOps.
- עוברים אל הגדרות > ניהול נתונים > סוכני איסוף. אם אתם משתמשים בפלטפורמת SIEM בלבד, עוברים אל הגדרות > סוכני איסוף.
- מורידים את קובץ האימות להטמעת נתונים.
- שומרים את הקובץ בצורה מאובטחת במערכת שבה יותקן הסוכן של Bindplane.
איך מקבלים את מספר הלקוח ב-Google SecOps
- נכנסים למסוף Google SecOps.
- עוברים אל הגדרות > ניהול > פרופיל. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פרופיל.
מעתיקים את מספר הלקוח מהקטע פרטי הארגון ושומרים אותו.
התקנת הסוכן של Bindplane
מתקינים את הסוכן של Bindplane במערכת ההפעלה Windows או Linux לפי ההוראות הבאות.
התקנת חלונות
- פותחים את שורת הפקודה או את PowerShell כאדמין.
מריצים את הפקודה הבאה:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quietמחכים שההתקנה תסתיים.
כדי לוודא שההתקנה בוצעה, מריצים את הפקודה:
sc query observiq-otel-collectorהשירות אמור להופיע כ-RUNNING.
התקנה ב-Linux
- פותחים טרמינל עם הרשאות root או sudo.
מריצים את הפקודה הבאה:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.shמחכים שההתקנה תסתיים.
כדי לוודא שההתקנה בוצעה, מריצים את הפקודה:
sudo systemctl status observiq-otel-collectorהשירות אמור להופיע כפעיל (פועל).
מקורות מידע נוספים בנושא התקנה
לאפשרויות התקנה נוספות ולפתרון בעיות, עיינו במדריך להתקנת סוכן Bindplane.
הגדרת סוכן Bindplane להטמעת syslog ושליחה אל Google SecOps
מאתרים את קובץ התצורה
Linux:
sudo nano /opt/observiq-otel-collector/config.yamlWindows:
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
עריכת קובץ התצורה
מחליפים את כל התוכן של
config.yamlבהגדרות הבאות:receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/haproxy: protocol: https # Region of your instance, for example us, europe, asia-southeast1 location: <LOCATION> # Project number of the Google Cloud project linked to the instance project: '<PROJECT_NUMBER>' compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<customer_id>' endpoint: chronicle.googleapis.com log_type: HAPROXY raw_log_field: body service: pipelines: logs/haproxy_to_chronicle: receivers: - udplog exporters: - chronicle/haproxy
פרמטרים להגדרה
מחליפים את ה-placeholders הבאים:
הגדרת המקלט:
-
listen_address: כתובת ה-IP והיציאה להאזנה:-
0.0.0.0כדי להאזין בכל הממשקים (מומלץ) - יציאה
514היא יציאת syslog הרגילה (נדרש root ב-Linux; צריך להשתמש ב-1514ללא root)
-
-
הגדרת הייצוא:
-
creds_file_path: הנתיב המלא לקובץ המפתח של חשבון השירות בפורמט JSON (אפשרות 1):- Linux:
/opt/observiq-otel-collector/ingestion-auth.json - Windows:
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux:
-
customer_id: מספר הלקוח שהועתק ממסוף Google SecOps -
location: מחליפים את<LOCATION>באזור של המכונה של Google SecOps (לדוגמה,us,europeאוasia-southeast1). המייצא מוסיף את הערך הזה בתחילתchronicle.googleapis.com. לרשימה המלאה, ראו נקודות קצה אזוריות. -
project: מחליפים את<PROJECT_NUMBER>במספר הפרויקט שמופיע בקטע IAM & Admin > Settings. -
endpoint: משאירים את הערךchronicle.googleapis.com.
-
מייצא API להטמעה מדור קודם
אם אתם משתמשים בקובץ האימות להטמעת נתונים מאפשרות 2, החליפו את הבלוק
exportersבקוד הבא. מגדירים אתcreds_file_pathלנתיב של קובץ האימות להטמעת נתונים. אם המכונה נמצאת מחוץ לארה"ב, מחליפים אתmalachiteingestion-pa.googleapis.comבנקודת הקצה האזורית (לדוגמה,europe-malachiteingestion-pa.googleapis.com).exporters: chronicle/haproxy: compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<customer_id>' endpoint: malachiteingestion-pa.googleapis.com log_type: HAPROXY raw_log_field: body
שמירת קובץ התצורה
- אחרי שמסיימים לערוך, שומרים את הקובץ:
- Linux: לוחצים על
Ctrl+O, אחר כך עלEnterואז עלCtrl+X - Windows: לוחצים על קובץ > שמירה
- Linux: לוחצים על
מפעילים מחדש את הסוכן של Bindplane כדי להחיל את השינויים.
כדי להפעיל מחדש את הסוכן של Bindplane ב-Linux, מריצים את הפקודה הבאה:
sudo systemctl restart observiq-otel-collectorמוודאים שהשירות פועל:
sudo systemctl status observiq-otel-collectorבודקים אם יש שגיאות ביומנים:
sudo journalctl -u observiq-otel-collector -f
כדי להפעיל מחדש את הסוכן של Bindplane ב-Windows, בוחרים באחת מהאפשרויות הבאות:
שורת הפקודה או PowerShell כאדמין:
net stop observiq-otel-collector && net start observiq-otel-collectorמסוף השירותים:
- לוחצים על
Win+R, מקלידיםservices.mscולוחצים על Enter. - מאתרים את observIQ OpenTelemetry Collector.
- לוחצים לחיצה ימנית ובוחרים באפשרות הפעלה מחדש.
מוודאים שהשירות פועל:
sc query observiq-otel-collectorבודקים אם יש שגיאות ביומנים:
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
- לוחצים על
הגדרת syslog ל-HAProxy
- נכנסים ל-HAProxy באמצעות CLI.
מוסיפים את ההוראה log בקטע global ל-Configuration כדי להעביר הודעות syslog דרך UDP.
- מחליפים את
<bindplane-ip>בכתובת ה-IP של סוכן Bindplane.
global log <bindplane-ip>:514 local0 defaults log global- מחליפים את
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | Logic (פונקציה לוגית) |
|---|---|---|
| accept_date_ms | ||
| actconn | ||
| backend_name | ||
| backend_queue | ||
| beconn | ||
| bytes_read | network.received_bytes | חולץ מהשדה bytes_read ביומן והומר למספר שלם ללא סימן. |
| captured_request_headers | ||
| client_ip | principal.ip | חולץ מהשדה client_ip ביומן. |
| client_port | principal.port | הערך חולץ מהשדה client_port ביומן והומר למספר שלם. |
| command_description | metadata.description | הנתונים נשלפים מהשדה command_description ביומן, אם הוא זמין. אחרת, הוא נגזר משדות אחרים כמו action או status, בהתאם להודעת היומן. |
| datetime | metadata.event_timestamp.seconds | הנתונים נשלפים מהשדה datetime ביומן, אם הוא זמין. אחרת, הוא נגזר מהשדה timestamp ברשומת היומן. |
| description | metadata.description | הנתונים נשלפים מהשדה description ביומן, אם הוא זמין. אחרת, הוא נגזר משדות אחרים כמו command_description או action, בהתאם להודעת היומן. |
| feconn | ||
| frontend_name | ||
| http_request | target.url | חולץ מהשדה http_request ביומן. |
| http_status_code | network.http.response_code | הערך חולץ מהשדה http_status_code ביומן והומר למספר שלם. |
| http_verb | network.http.method | חולץ מהשדה http_verb ביומן. |
| http_version | metadata.product_version | חולץ מהשדה http_version ביומן ועבר עיצוב כ-HTTP/{version}. |
| הגורם היוזם | target.application | חולץ מהשדה initiator ביומן. |
| מודול | ||
| msg | security_result.summary | חולץ מהשדה msg ביומן. |
| pid | target.process.pid | חולץ מהשדה pid ביומן. |
| תהליך דיפוזיה הפוך | ||
| process_name | target.application | חולץ מהשדה process_name ביומן. |
| ניסיונות חוזרים | ||
| server_name | target.hostname | חולץ מהשדה server_name ביומן. אם השדה ריק, ערך ברירת המחדל הוא הערך של syslog_server. |
| severity | security_result.severity | ממופה מהשדה severity ביומן. WARNING ממופה ל-MEDIUM, ALERT ממופה ל-CRITICAL ו-NOTICE ממופה ל-INFORMATIONAL. |
| מעטפת | ||
| srv_queue | ||
| srvconn | ||
| סטטוס | ||
| syslog_server | target.hostname, intermediary.hostname | חולץ מהשדה syslog_server ביומן. משמש גם לשם המארח של היעד (אם server_name ריק) וגם לשם המארח של המתווך. |
| syslog_timestamp | ||
| syslog_timestamp_1 | ||
| syslog_timestamp_2 | ||
| syslog_timestamp_4 | ||
| target_ip | ||
| time_backend_connect | ||
| time_backend_response | ||
| time_duration | ||
| time_queue | ||
| time_request | ||
| חותמת זמן | metadata.event_timestamp.seconds | השדה חולץ מהשדה timestamp ביומן ונותח כדי לקבל מידע על התאריך והשעה. משמש כחותמת הזמן של האירוע. |
| unknown_parameters1 | ||
| unknown_parameters2 | ||
| user_name | target.user.userid | חולץ מהשדה user_name ביומן. |
| metadata.event_type | כברירת המחדל, מוגדר כ-NETWORK_HTTP. השתנה לסוגי אירועים ספציפיים כמו PROCESS_UNCATEGORIZED, STATUS_UPDATE או USER_UNCATEGORIZED על סמך הודעת היומן והשדות שנותחו. |
|
| metadata.vendor_name | הגדרת הערך HAProxy Enterprise. |
|
| metadata.product_name | הגדרת הערך HAProxy. |
|
| network.application_protocol | צריך להגדיר את הערך HTTP אם השדה message מכיל את הערך HTTP. |
|
| metadata.log_type | הגדרת הערך HAPROXY. |
|
source_ip |
event.idm.read_only_udm.principal.ip |
מופה מיומן השינויים |
source_ip |
event.idm.read_only_udm.principal.asset.ip |
מופה מיומן השינויים |
source_port |
event.idm.read_only_udm.principal.port |
מופה מיומן השינויים |
status_code |
event.idm.read_only_udm.network.http.response_code |
מופה מיומן השינויים |
bytes |
event.idm.read_only_udm.network.received_bytes |
מופה מיומן השינויים |
inter_ip |
event.idm.read_only_udm.intermediary.ip |
מופה מיומן השינויים |
inter_port |
event.idm.read_only_udm.intermediary.port |
מופה מיומן השינויים |
destination_ip |
event.idm.read_only_udm.target.ip |
מופה מיומן השינויים |
destination_ip |
event.idm.read_only_udm.target.asset.ip |
מופה מיומן השינויים |
destination_port |
event.idm.read_only_udm.target.port |
מופה מיומן השינויים |
referer |
event.idm.read_only_udm.network.http.referral_url |
מופה מיומן השינויים |
user_agent |
event.idm.read_only_udm.network.http.user_agent |
מופה מיומן השינויים |
time_stamp |
event.idm.read_only_udm.security_result.detection_fields |
מופה מיומן השינויים |
x_forwarded_for |
event.idm.read_only_udm.security_result.detection_fields |
מופה מיומן השינויים |
content_length |
event.idm.read_only_udm.security_result.detection_fields |
מופה מיומן השינויים |
datetime |
event.idm.read_only_udm.metadata.event_timestamp |
מופה מיומן השינויים |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.