איסוף יומני HAProxy

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומני HAProxy ב-Google Security Operations באמצעות סוכן Bindplane.

‫HAProxy הוא שרת proxy ומאזן עומסים בזמינות גבוהה, שיוצר הודעות syslog לבקשות HTTP, לאירועי חיבור, לבדיקות תקינות של קצה עורפי ולפעילות של תהליכים. המנתח משתמש בהתאמת דפוסים של Grok כדי לחלץ שדות מפורמטים שונים של יומני HAProxy וממפה אותם למודל הנתונים המאוחד (UDM).

לפני שמתחילים

חשוב לוודא שיש לכם את הדברים הבאים:

  • מכונה של Google SecOps
  • ‫Windows Server 2016 ואילך, או מארח Linux עם systemd
  • קישוריות רשת בין סוכן Bindplane לבין שרת HAProxy
  • אם אתם משתמשים בשרת proxy, ודאו שהיציאות של חומת האש פתוחות בהתאם לדרישות של סוכן Bindplane.
  • הרשאת אדמין להגדרות של HAProxy

קבלת פרטי כניסה ל-Google SecOps בשביל סוכן Bindplane

כדי לאמת את סוכן Bindplane ב-Google SecOps, בוחרים באחת מהשיטות הבאות:

  • פריסות חדשות: משתמשים ב-Chronicle API (אפשרות 1).
  • פריסות קודמות: ממשיכים להשתמש בקובץ האימות להטמעת נתונים (אפשרות 2) עד שה-Ingestion API יופסק ב-20 ביולי 2027.
  1. נכנסים למסוףGoogle Cloud ובוחרים את הפרויקט ב- Google Cloud שמקושר למכונה של Google SecOps.
  2. נכנסים לדף IAM & Admin > Service Accounts.
  3. לוחצים על Create service account.
  4. מזינים את פרטי ההגדרה הבאים:
    • Service account name: מזינים שם לחשבון (לדוגמה, bindplane-ingest).
    • Service account description: מזינים תיאור (לדוגמה, Bindplane agent log ingestion).
  5. לוחצים על Create and continue.
  6. בקטע Grant this service account access to project, לוחצים על Select a role ובוחרים באפשרות Chronicle Editor.
  7. לוחצים על המשך ואז על סיום.
  8. לוחצים על חשבון השירות שיצרתם ועוברים לכרטיסייה Keys.
  9. לוחצים על Add key > Create new key.
  10. בוחרים באפשרות JSON ולוחצים על Create. קובץ המפתח יורד למחשב.
  11. שומרים את קובץ המפתח בתור ingestion-auth.json בספריית Bindplane collector (/opt/observiq-otel-collector/ingestion-auth.json ב-Linux או C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json ב-Windows), או מעדכנים את creds_file_path ב-config.yaml כך שיתאים לנתיב שבו שמרתם אותו.
  12. עוברים אל IAM & Admin > Settings ומעתיקים את הערך של Project number. תצטרכו אותו כדי להגדיר את הייצוא.

אפשרות 2: הורדה של קובץ האימות להטמעת נתונים (גרסה קודמת)

  1. נכנסים למסוף Google SecOps.
  2. עוברים אל הגדרות > ניהול נתונים > סוכני איסוף. אם אתם משתמשים בפלטפורמת SIEM בלבד, עוברים אל הגדרות > סוכני איסוף.
  3. מורידים את קובץ האימות להטמעת נתונים.
  4. שומרים את הקובץ בצורה מאובטחת במערכת שבה יותקן הסוכן של Bindplane.

איך מקבלים את מספר הלקוח ב-Google SecOps

  1. נכנסים למסוף Google SecOps.
  2. עוברים אל הגדרות > ניהול > פרופיל. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פרופיל.
  3. מעתיקים את מספר הלקוח מהקטע פרטי הארגון ושומרים אותו.

התקנת הסוכן של Bindplane

מתקינים את הסוכן של Bindplane במערכת ההפעלה Windows או Linux לפי ההוראות הבאות.

התקנת חלונות

  1. פותחים את שורת הפקודה או את PowerShell כאדמין.
  2. מריצים את הפקודה הבאה:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. מחכים שההתקנה תסתיים.

  4. כדי לוודא שההתקנה בוצעה, מריצים את הפקודה:

    sc query observiq-otel-collector
    

    השירות אמור להופיע כ-RUNNING.

התקנה ב-Linux

  1. פותחים טרמינל עם הרשאות root או sudo.
  2. מריצים את הפקודה הבאה:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. מחכים שההתקנה תסתיים.

  4. כדי לוודא שההתקנה בוצעה, מריצים את הפקודה:

    sudo systemctl status observiq-otel-collector
    

    השירות אמור להופיע כפעיל (פועל).

מקורות מידע נוספים בנושא התקנה

לאפשרויות התקנה נוספות ולפתרון בעיות, עיינו במדריך להתקנת סוכן Bindplane.

הגדרת סוכן Bindplane להטמעת syslog ושליחה אל Google SecOps

מאתרים את קובץ התצורה

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

עריכת קובץ התצורה

  • מחליפים את כל התוכן של config.yaml בהגדרות הבאות:

    receivers:
      udplog:
        listen_address: "0.0.0.0:514"
    
    exporters:
      chronicle/haproxy:
        protocol: https
        # Region of your instance, for example us, europe, asia-southeast1
        location: <LOCATION>
        # Project number of the Google Cloud project linked to the instance
        project: '<PROJECT_NUMBER>'
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<customer_id>'
        endpoint: chronicle.googleapis.com
        log_type: HAPROXY
        raw_log_field: body
    
    service:
      pipelines:
        logs/haproxy_to_chronicle:
          receivers:
            - udplog
          exporters:
            - chronicle/haproxy
    

פרמטרים להגדרה

מחליפים את ה-placeholders הבאים:

  • הגדרת המקלט:

    • ‫listen_address: כתובת ה-IP והיציאה להאזנה:
      • ‫0.0.0.0 כדי להאזין בכל הממשקים (מומלץ)
      • יציאה 514 היא יציאת syslog הרגילה (נדרש root ב-Linux; צריך להשתמש ב-1514 ללא root)
  • הגדרת הייצוא:

    • ‫creds_file_path: הנתיב המלא לקובץ המפתח של חשבון השירות בפורמט JSON (אפשרות 1):
      • Linux: /opt/observiq-otel-collector/ingestion-auth.json
      • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • ‫customer_id: מספר הלקוח שהועתק ממסוף Google SecOps
    • ‫location: מחליפים את <LOCATION> באזור של המכונה של Google SecOps (לדוגמה, us,‏ europe או asia-southeast1). המייצא מוסיף את הערך הזה בתחילת chronicle.googleapis.com. לרשימה המלאה, ראו נקודות קצה אזוריות.
    • ‫project: מחליפים את <PROJECT_NUMBER> במספר הפרויקט שמופיע בקטע IAM & Admin > Settings.
    • ‫endpoint: משאירים את הערך chronicle.googleapis.com.

מייצא API להטמעה מדור קודם

  • אם אתם משתמשים בקובץ האימות להטמעת נתונים מאפשרות 2, החליפו את הבלוק exporters בקוד הבא. מגדירים את creds_file_path לנתיב של קובץ האימות להטמעת נתונים. אם המכונה נמצאת מחוץ לארה"ב, מחליפים את malachiteingestion-pa.googleapis.com בנקודת הקצה האזורית (לדוגמה, europe-malachiteingestion-pa.googleapis.com).

    exporters:
      chronicle/haproxy:
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<customer_id>'
        endpoint: malachiteingestion-pa.googleapis.com
        log_type: HAPROXY
        raw_log_field: body
    

שמירת קובץ התצורה

  • אחרי שמסיימים לערוך, שומרים את הקובץ:
    • Linux: לוחצים על Ctrl+O, אחר כך על Enter ואז על Ctrl+X
    • Windows: לוחצים על קובץ > שמירה

מפעילים מחדש את הסוכן של Bindplane כדי להחיל את השינויים.

  • כדי להפעיל מחדש את הסוכן של Bindplane ב-Linux, מריצים את הפקודה הבאה:

    sudo systemctl restart observiq-otel-collector
    
    1. מוודאים שהשירות פועל:

      sudo systemctl status observiq-otel-collector
      
    2. בודקים אם יש שגיאות ביומנים:

      sudo journalctl -u observiq-otel-collector -f
      
  • כדי להפעיל מחדש את הסוכן של Bindplane ב-Windows, בוחרים באחת מהאפשרויות הבאות:

    • שורת הפקודה או PowerShell כאדמין:

      net stop observiq-otel-collector && net start observiq-otel-collector
      
    • מסוף השירותים:

      1. לוחצים על Win+R, מקלידים services.msc ולוחצים על Enter.
      2. מאתרים את observIQ OpenTelemetry Collector.
      3. לוחצים לחיצה ימנית ובוחרים באפשרות הפעלה מחדש.
      4. מוודאים שהשירות פועל:

        sc query observiq-otel-collector
        
      5. בודקים אם יש שגיאות ביומנים:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
        

הגדרת syslog ל-HAProxy

  1. נכנסים ל-HAProxy באמצעות CLI.
  2. מוסיפים את ההוראה log בקטע global ל-Configuration כדי להעביר הודעות syslog דרך UDP.

    • מחליפים את <bindplane-ip> בכתובת ה-IP של סוכן Bindplane.
    global
        log <bindplane-ip>:514 local0
    
    defaults
        log global
    

טבלת מיפוי UDM

שדה ביומן מיפוי UDM Logic (פונקציה לוגית)
accept_date_ms
actconn
backend_name
backend_queue
beconn
bytes_read network.received_bytes חולץ מהשדה bytes_read ביומן והומר למספר שלם ללא סימן.
captured_request_headers
client_ip principal.ip חולץ מהשדה client_ip ביומן.
client_port principal.port הערך חולץ מהשדה client_port ביומן והומר למספר שלם.
command_description metadata.description הנתונים נשלפים מהשדה command_description ביומן, אם הוא זמין. אחרת, הוא נגזר משדות אחרים כמו action או status, בהתאם להודעת היומן.
datetime metadata.event_timestamp.seconds הנתונים נשלפים מהשדה datetime ביומן, אם הוא זמין. אחרת, הוא נגזר מהשדה timestamp ברשומת היומן.
description metadata.description הנתונים נשלפים מהשדה description ביומן, אם הוא זמין. אחרת, הוא נגזר משדות אחרים כמו command_description או action, בהתאם להודעת היומן.
feconn
frontend_name
http_request target.url חולץ מהשדה http_request ביומן.
http_status_code network.http.response_code הערך חולץ מהשדה http_status_code ביומן והומר למספר שלם.
http_verb network.http.method חולץ מהשדה http_verb ביומן.
http_version metadata.product_version חולץ מהשדה http_version ביומן ועבר עיצוב כ-HTTP/{version}.
הגורם היוזם target.application חולץ מהשדה initiator ביומן.
מודול
msg security_result.summary חולץ מהשדה msg ביומן.
pid target.process.pid חולץ מהשדה pid ביומן.
תהליך דיפוזיה הפוך
process_name target.application חולץ מהשדה process_name ביומן.
ניסיונות חוזרים
server_name target.hostname חולץ מהשדה server_name ביומן. אם השדה ריק, ערך ברירת המחדל הוא הערך של syslog_server.
severity security_result.severity ממופה מהשדה severity ביומן. ‫WARNING ממופה ל-MEDIUM, ‏ALERT ממופה ל-CRITICAL ו-NOTICE ממופה ל-INFORMATIONAL.
מעטפת
srv_queue
srvconn
סטטוס
syslog_server target.hostname, intermediary.hostname חולץ מהשדה syslog_server ביומן. משמש גם לשם המארח של היעד (אם server_name ריק) וגם לשם המארח של המתווך.
syslog_timestamp
syslog_timestamp_1
syslog_timestamp_2
syslog_timestamp_4
target_ip
time_backend_connect
time_backend_response
time_duration
time_queue
time_request
חותמת זמן metadata.event_timestamp.seconds השדה חולץ מהשדה timestamp ביומן ונותח כדי לקבל מידע על התאריך והשעה. משמש כחותמת הזמן של האירוע.
unknown_parameters1
unknown_parameters2
user_name target.user.userid חולץ מהשדה user_name ביומן.
metadata.event_type כברירת המחדל, מוגדר כ-NETWORK_HTTP. השתנה לסוגי אירועים ספציפיים כמו PROCESS_UNCATEGORIZED,‏ STATUS_UPDATE או USER_UNCATEGORIZED על סמך הודעת היומן והשדות שנותחו.
metadata.vendor_name הגדרת הערך HAProxy Enterprise.
metadata.product_name הגדרת הערך HAProxy.
network.application_protocol צריך להגדיר את הערך HTTP אם השדה message מכיל את הערך HTTP.
metadata.log_type הגדרת הערך HAPROXY.
source_ip event.idm.read_only_udm.principal.ip מופה מיומן השינויים
source_ip event.idm.read_only_udm.principal.asset.ip מופה מיומן השינויים
source_port event.idm.read_only_udm.principal.port מופה מיומן השינויים
status_code event.idm.read_only_udm.network.http.response_code מופה מיומן השינויים
bytes event.idm.read_only_udm.network.received_bytes מופה מיומן השינויים
inter_ip event.idm.read_only_udm.intermediary.ip מופה מיומן השינויים
inter_port event.idm.read_only_udm.intermediary.port מופה מיומן השינויים
destination_ip event.idm.read_only_udm.target.ip מופה מיומן השינויים
destination_ip event.idm.read_only_udm.target.asset.ip מופה מיומן השינויים
destination_port event.idm.read_only_udm.target.port מופה מיומן השינויים
referer event.idm.read_only_udm.network.http.referral_url מופה מיומן השינויים
user_agent event.idm.read_only_udm.network.http.user_agent מופה מיומן השינויים
time_stamp event.idm.read_only_udm.security_result.detection_fields מופה מיומן השינויים
x_forwarded_for event.idm.read_only_udm.security_result.detection_fields מופה מיומן השינויים
content_length event.idm.read_only_udm.security_result.detection_fields מופה מיומן השינויים
datetime event.idm.read_only_udm.metadata.event_timestamp מופה מיומן השינויים

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.