Raccogli i log di HAProxy

Supportata in:

Google SecOps SIEM

Questo documento spiega come importare i log HAProxy in Google Security Operations utilizzando l'agente Bindplane.

HAProxy è un bilanciatore del carico e un server proxy ad alta affidabilità che genera messaggi syslog per richieste HTTP, eventi di connessione, controlli di integrità del backend e attività di processo. Il parser utilizza la corrispondenza dei pattern Grok per estrarre i campi da vari formati di log HAProxy e li mappa al modello UDM (Unified Data Model).

Prima di iniziare

Assicurati di soddisfare i seguenti prerequisiti:

• Un'istanza Google SecOps
• Windows Server 2016 o versioni successive oppure host Linux con systemd
• Connettività di rete tra l'agente Bindplane e il server HAProxy
• Se l'esecuzione avviene dietro un proxy, assicurati che le porte del firewall siano aperte in base ai requisiti dell'agente Bindplane
• Accesso amministrativo alla configurazione di HAProxy

Ottieni le credenziali di Google SecOps per l'agente Bindplane

Per autenticare l'agente Bindplane in Google SecOps, scegli uno dei seguenti metodi:

• Nuovi deployment: utilizza l'API Chronicle (opzione 1).
• Deployment legacy: continua a utilizzare il file di autenticazione dell'acquisizione (opzione 2) fino alla dismissione dell'API Ingestion il 20 luglio 2027.

Opzione 1: crea un account di servizio per l'API Chronicle (consigliato)

1. Accedi alla consoleGoogle Cloud e seleziona il progetto Google Cloud collegato alla tua istanza di Google SecOps.
2. Vai a IAM e amministrazione > Service account.
3. Fai clic su Crea account di servizio.
4. Fornisci i seguenti dettagli di configurazione:
   • Nome account di servizio: inserisci un nome per l'account (ad esempio bindplane-ingest).
   • Descrizione service account: inserisci una descrizione (ad esempio, Bindplane agent log ingestion).
5. Fai clic su Crea e continua.
6. Nella sezione Concedi a questo account di servizio l'accesso al progetto, fai clic su Seleziona un ruolo e seleziona Chronicle Editor.
7. Fai clic su Continua e poi su Fine.
8. Fai clic sul account di servizio che hai creato, quindi vai alla scheda Chiavi.
9. Fai clic su Aggiungi chiave > Crea nuova chiave.
10. Seleziona JSON e fai clic su Crea. Il file della chiave viene scaricato sul computer.
11. Salva il file della chiave come ingestion-auth.json nella directory del raccoglitore Bindplane (/opt/observiq-otel-collector/ingestion-auth.json su Linux o C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json su Windows) o aggiorna creds_file_path in config.yaml in modo che corrisponda al percorso in cui lo salvi.
12. Vai a IAM e amministrazione > Impostazioni e copia il Numero progetto. Ti servirà per la configurazione dell'esportatore.

Nota: la chiave JSON è una credenziale. Limita l'accesso al file sull'host Bindplane e ruota la chiave in base alle policy della tua organizzazione.

Opzione 2: scarica il file di autenticazione dell'acquisizione (legacy)

1. Accedi alla console Google SecOps.
2. Vai a Impostazioni > Gestione dei dati > Agenti di raccolta. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Agenti di raccolta.
3. Scarica il file di autenticazione dell'acquisizione.
4. Salva il file in modo sicuro sul sistema in cui verrà installato l'agente Bindplane.

Nota: questo file autentica l'agente nell'API Ingestion precedente (malachiteingestion-pa.googleapis.com), che Google ha programmato per la fine del ciclo di vita il 20 luglio 2027. Pianifica il passaggio all'Opzione 1 prima di questa data.

Ottieni l'ID cliente Google SecOps

1. Accedi alla console Google SecOps.
2. Vai a Impostazioni > Amministrazione > Profilo. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Profilo.

3. Copia e salva l'ID cliente dalla sezione Dettagli organizzazione.

   Nota: l'ID cliente è obbligatorio per configurare l'esportatore dell'agente Bindplane.

Installa l'agente Bindplane

Installa l'agente Bindplane sul tuo sistema operativo Windows o Linux seguendo le istruzioni riportate di seguito.

Installazione di finestre

1. Apri il prompt dei comandi o PowerShell come amministratore.

2. Esegui questo comando:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. Attendi il completamento dell'installazione.

4. Verifica l'installazione eseguendo:

   sc query observiq-otel-collector
   

   Il servizio dovrebbe essere visualizzato come RUNNING.

Installazione di Linux

1. Apri un terminale con privilegi root o sudo.

2. Esegui questo comando:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. Attendi il completamento dell'installazione.

4. Verifica l'installazione eseguendo:

   sudo systemctl status observiq-otel-collector
   

   Il servizio dovrebbe essere visualizzato come attivo (in esecuzione).

Risorse aggiuntive per l'installazione

Per ulteriori opzioni di installazione e risoluzione dei problemi, consulta la guida all'installazione dell'agente Bindplane.

Nota: la configurazione dell'esportatore dell'API Chronicle richiede Bindplane Collector v1.106.0 o versioni successive. I comandi precedenti installano l'ultima release. Se stai aggiornando un'installazione esistente, esegui l'upgrade del raccoglitore prima di modificare la configurazione.

Configura l'agente Bindplane per importare il syslog e inviarlo a Google SecOps

Individua il file di configurazione

• Linux:

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows:

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

Modifica il file di configurazione

• Sostituisci l'intero contenuto di config.yaml con la seguente configurazione:

  receivers:
    udplog:
      listen_address: "0.0.0.0:514"
  
  exporters:
    chronicle/haproxy:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: chronicle.googleapis.com
      log_type: HAPROXY
      raw_log_field: body
  
  service:
    pipelines:
      logs/haproxy_to_chronicle:
        receivers:
          - udplog
        exporters:
          - chronicle/haproxy
  

Parametri di configurazione

Sostituisci i seguenti segnaposto:

• Configurazione del ricevitore:

  • listen_address: indirizzo IP e porta su cui ascoltare:
    • 0.0.0.0 per ascoltare su tutte le interfacce (consigliato)
    • La porta 514 è la porta syslog standard (richiede l'accesso root su Linux; utilizza 1514 per l'accesso non root)

• Configurazione dell'esportatore:

  • creds_file_path: percorso completo del file della chiave JSON del account di servizio (opzione 1):
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • customer_id: ID cliente copiato dalla console Google SecOps
  • location: sostituisci <LOCATION> con la regione della tua istanza Google SecOps (ad esempio us, europe o asia-southeast1). L'esportatore aggiunge chronicle.googleapis.com come prefisso a questo valore. Per l'elenco completo, consulta Endpoint regionali.
  • project: sostituisci <PROJECT_NUMBER> con il numero di progetto da IAM e amministrazione > Impostazioni.
  • endpoint: mantieni l'impostazione chronicle.googleapis.com.

Esportatore API di importazione precedente

• Se utilizzi il file di autenticazione dell'acquisizione dell'Opzione 2, sostituisci il blocco exporters con il seguente. Imposta creds_file_path sul percorso del file di autenticazione dell'acquisizione e, se l'istanza si trova al di fuori degli Stati Uniti, sostituisci malachiteingestion-pa.googleapis.com con il tuo endpoint regionale (ad esempio, europe-malachiteingestion-pa.googleapis.com).

  exporters:
    chronicle/haproxy:
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: HAPROXY
      raw_log_field: body
  

Nota: questo strumento di esportazione smetterà di funzionare quando l'API Ingestion non sarà più disponibile il 20 luglio 2027.

Salva il file di configurazione

• Dopo la modifica, salva il file:
  • Linux: premi Ctrl+O, poi Enter e infine Ctrl+X
  • Windows: fai clic su File > Salva.

Riavvia l'agente Bindplane per applicare le modifiche

• Per riavviare l'agente Bindplane in Linux, esegui questo comando:

  sudo systemctl restart observiq-otel-collector
  

  1. Verifica che il servizio sia in esecuzione:

     sudo systemctl status observiq-otel-collector
     

  2. Controlla i log per verificare la presenza di errori:

     sudo journalctl -u observiq-otel-collector -f
     

• Per riavviare l'agente Bindplane in Windows, scegli una delle seguenti opzioni:

  • Prompt dei comandi o PowerShell come amministratore:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • Console Servizi:

    1. Premi Win+R, digita services.msc e premi Invio.
    2. Individua observIQ OpenTelemetry Collector.
    3. Fai clic con il tasto destro del mouse e seleziona Riavvia.

    4. Verifica che il servizio sia in esecuzione:

       sc query observiq-otel-collector
       

    5. Controlla i log per verificare la presenza di errori:

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

Configura syslog per HAProxy

1. Accedi a HAProxy utilizzando l'interfaccia a riga di comando.

2. Aggiungi l'istruzione log nella sezione global alla Configuration per inoltrare i messaggi syslog tramite UDP.

   • Sostituisci <bindplane-ip> con l'indirizzo IP effettivo dell'agente Bindplane.

   global
       log <bindplane-ip>:514 local0
   
   defaults
       log global
   

Tabella di mappatura UDM

Campo del log	mappatura UDM	Logica
accept_date_ms
actconn
backend_name
backend_queue
beconn
bytes_read	network.received_bytes	Estratto dal campo bytes_read nel log e convertito in un numero intero senza segno.
captured_request_headers
client_ip	principal.ip	Estratto dal campo client_ip nel log.
client_port	principal.port	Estratto dal campo client_port nel log e convertito in un numero intero.
command_description	metadata.description	Estratto dal campo command_description nel log, se disponibile. In caso contrario, viene derivato da altri campi come action o status a seconda del messaggio di log.
dataora	metadata.event_timestamp.seconds	Estratto dal campo datetime nel log, se disponibile. In caso contrario, viene derivato dal campo timestamp nella voce di log.
descrizione	metadata.description	Estratto dal campo description nel log, se disponibile. In caso contrario, viene derivato da altri campi come command_description o action a seconda del messaggio di log.
feconn
frontend_name
http_request	target.url	Estratto dal campo http_request nel log.
http_status_code	network.http.response_code	Estratto dal campo http_status_code nel log e convertito in un numero intero.
http_verb	network.http.method	Estratto dal campo http_verb nel log.
http_version	metadata.product_version	Estratto dal campo http_version nel log e formattato come HTTP/{version}.
initiator	target.application	Estratto dal campo initiator nel log.
modulo
msg	security_result.summary	Estratto dal campo msg nel log.
pid	target.process.pid	Estratto dal campo pid nel log.
di diffusione
process_name	target.application	Estratto dal campo process_name nel log.
tentativi
server_name	target.hostname	Estratto dal campo server_name nel log. Se vuoto, il valore predefinito è quello di syslog_server.
gravità	security_result.severity	Mappato dal campo severity nel log. WARNING corrisponde a MEDIUM, ALERT corrisponde a CRITICAL e NOTICE corrisponde a INFORMATIONAL.
shell
srv_queue
srvconn
stato
syslog_server	target.hostname, intermediary.hostname	Estratto dal campo syslog_server nel log. Utilizzato sia per il nome host di destinazione (se server_name è vuoto) sia per il nome host intermedio.
syslog_timestamp
syslog_timestamp_1
syslog_timestamp_2
syslog_timestamp_4
target_ip
time_backend_connect
time_backend_response
time_duration
time_queue
time_request
timestamp	metadata.event_timestamp.seconds	Estratto dal campo timestamp nel log e analizzato per ottenere informazioni su data e ora. Utilizzato come timestamp dell'evento.
unknown_parameters1
unknown_parameters2
user_name	target.user.userid	Estratto dal campo user_name nel log.
	metadata.event_type	Impostato su NETWORK_HTTP per impostazione predefinita. Modificato in tipi di eventi specifici come PROCESS_UNCATEGORIZED, STATUS_UPDATE o USER_UNCATEGORIZED in base al messaggio di log e ai campi analizzati.
	metadata.vendor_name	Da impostare su HAProxy Enterprise.
	metadata.product_name	Da impostare su HAProxy.
	network.application_protocol	Imposta su HTTP se il campo message contiene HTTP.
	metadata.log_type	Da impostare su HAPROXY.
source_ip	event.idm.read_only_udm.principal.ip	Mappato dal log delle modifiche
source_ip	event.idm.read_only_udm.principal.asset.ip	Mappato dal log delle modifiche
source_port	event.idm.read_only_udm.principal.port	Mappato dal log delle modifiche
status_code	event.idm.read_only_udm.network.http.response_code	Mappato dal log delle modifiche
bytes	event.idm.read_only_udm.network.received_bytes	Mappato dal log delle modifiche
inter_ip	event.idm.read_only_udm.intermediary.ip	Mappato dal log delle modifiche
inter_port	event.idm.read_only_udm.intermediary.port	Mappato dal log delle modifiche
destination_ip	event.idm.read_only_udm.target.ip	Mappato dal log delle modifiche
destination_ip	event.idm.read_only_udm.target.asset.ip	Mappato dal log delle modifiche
destination_port	event.idm.read_only_udm.target.port	Mappato dal log delle modifiche
referer	event.idm.read_only_udm.network.http.referral_url	Mappato dal log delle modifiche
user_agent	event.idm.read_only_udm.network.http.user_agent	Mappato dal log delle modifiche
time_stamp	event.idm.read_only_udm.security_result.detection_fields	Mappato dal log delle modifiche
x_forwarded_for	event.idm.read_only_udm.security_result.detection_fields	Mappato dal log delle modifiche
content_length	event.idm.read_only_udm.security_result.detection_fields	Mappato dal log delle modifiche
datetime	event.idm.read_only_udm.metadata.event_timestamp	Mappato dal log delle modifiche

Log delle modifiche

Visualizza il log delle modifiche per questo parser

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.