剖析器總覽

支援的服務:

本文概述 Google Security Operations 如何將原始記錄剖析為 Unified Data Model (UDM) 格式。

Google SecOps 可從下列擷取來源接收記錄資料:

一般來說,客戶會以原始記錄的形式傳送資料。Google SecOps 會使用 LogType 專門識別產生記錄的裝置。LogType 會識別以下兩項:

  • 產生記錄的供應商和裝置,例如 Cisco 防火牆、Linux DHCP 伺服器或 Bro DNS。
  • 哪個剖析器會將原始記錄轉換為結構化 UDM。剖析器和 LogType 之間是一對一的關係。每個剖析器都會轉換單一 LogType 接收的資料。

Google SecOps 提供一組預設剖析器,可讀取原始記錄,並使用原始記錄中的資料產生結構化 UDM 記錄。Google SecOps 會維護這些剖析器。客戶也可以建立客戶專屬剖析器,定義自訂資料對應指示。如果您提交多行酬載,系統會將每一行解讀為獨立的記錄項目。

擷取和正規化工作流程

剖析器包含資料對應操作說明。定義如何將原始記錄中的資料,對應至 UDM 資料結構中的一或多個欄位。

如果沒有剖析錯誤,Google SecOps 會使用原始記錄中的資料,建立 UDM 結構化記錄。將原始記錄轉換為 UDM 記錄的程序稱為「正規化」。

預設剖析器可能會對應原始記錄中的部分核心值。一般來說,這些核心欄位對於在 Google SecOps 中提供安全性洞察資訊最為重要。未對應的值會保留在原始記錄中,但不會儲存在 UDM 記錄中。

客戶也可以使用 Chronicle API 擷取方法,以結構化 UDM 格式傳送資料。如要瞭解如何從舊版 Ingestion API 遷移至 Chronicle API,請參閱「從舊版 SIEM API 遷移至 Chronicle API」。

自訂擷取資料的剖析方式

Google SecOps 提供下列功能,可讓客戶自訂傳入原始記錄資料的剖析方式。如要進一步瞭解如何管理這些剖析器,請參閱「管理預先建構和自訂剖析器」。

  • 客戶專屬剖析器:客戶可針對特定記錄類型建立自訂剖析器設定,以符合特定需求。客戶專屬剖析器會取代特定 LogType 的預設剖析器。詳情請參閱「管理預先建構和自訂剖析器」。
  • 剖析器擴充功能:除了預設剖析器設定外,客戶還能新增自訂對應指示。每位客戶都可以建立自己專屬的自訂對應指令。這些對應指示定義了如何從原始記錄中擷取其他欄位,並轉換為 UDM 欄位。剖析器擴充功能不會取代預設或客戶專屬剖析器。

使用 Squid 網路 Proxy 記錄檔的範例

本節提供 Squid 網路 Proxy 記錄範例,並說明如何將值對應至 UDM 記錄。如需 UDM 結構定義中所有欄位的說明,請參閱「Unified Data Model 欄位清單」。

Squid 網路 Proxy 記錄範例包含以空格分隔的值。每筆記錄代表一個事件,並儲存下列資料:時間戳記、持續時間、用戶端、結果代碼/結果狀態、傳輸的位元組、要求方法、網址、使用者、階層代碼和內容類型。在這個範例中,系統會擷取下列欄位並對應至 UDM 記錄:時間、用戶端、結果狀態、位元組、要求方法和網址。

1588059648.129 23 192.168.23.4 TCP_HIT/200 904 GET www.google.com/images/sunlogo.png - HIER_DIRECT/203.0.113.52 image/jpeg

Squid 網路 Proxy 範例

比較這些結構時,您會發現 UDM 記錄只包含原始記錄資料的一部分。有些欄位為必填,有些則為選填。此外,UDM 記錄中只有部分區段包含資料。如果剖析器未將原始記錄中的資料對應至 UDM 記錄,Google SecOps 就不會顯示該部分的 UDM 記錄。

對應至 UDM 的記錄值

metadata 區段會儲存事件時間戳記。請注意,值已從 Epoch 轉換為 RFC 3339 格式。這項轉換為選用。時間戳記可以儲存為 Epoch 格式,並透過預先處理將秒和毫秒部分分隔到不同的欄位。

metadata.event_type 欄位會儲存 NETWORK_HTTP 值,這是用於識別事件類型的列舉值。metadata.event_type 的值會決定哪些額外 UDM 欄位為必填,哪些為選填。product_name 和 vendor_name 值包含記錄原始記錄的裝置容易使用說明。

UDM 事件記錄中的 metadata.event_type 與使用 Chronicle API 擷取資料時定義的 log_type 不同。這兩個屬性會儲存不同的資訊。

network 區段包含原始記錄事件的值。請注意,在這個範例中,原始記錄的狀態值是從「結果代碼/狀態」欄位剖析,然後才寫入 UDM 記錄。UDM 記錄中只包含 result_code。

對應至 UDM 的記錄值

principal 區段會儲存原始記錄中的用戶端資訊。target 區段會同時儲存完整網址和 IP 位址。

security_result 區段會儲存其中一個列舉值,代表原始記錄中記錄的動作。

這是 JSON 格式的 UDM 記錄。請注意,只有包含資料的部分才會納入。不包含 src、observer、intermediary、about 和 extensions 區段。

{
        "metadata": {
            "event_timestamp": "2020-04-28T07:40:48.129Z",
            "event_type": "NETWORK_HTTP",
            "product_name": "Squid Proxy",
            "vendor_name": "Squid"
        },
        "principal": {
            "ip": "192.168.23.4"
        },
        "target": {
            "url": "www.google.com/images/sunlogo.png",
            "ip": "203.0.113.52"
        },
        "network": {
            "http": {
                "method": "GET",
                "response_code": 200,
                "received_bytes": 904
            }
        },
        "security_result": {
            "action": "UNKNOWN_ACTION"
        }
}

剖析器指令中的步驟

剖析器中的資料對應指令遵循常見模式,如下所示:

  1. 剖析並擷取原始記錄中的資料。
  2. 操控擷取的資料。包括使用條件邏輯選擇性剖析值、轉換資料類型、取代值中的子字串、轉換為大寫或小寫等。
  3. 為 UDM 欄位指派值。
  4. 將對應的 UDM 記錄輸出至 @output 鍵。

剖析及擷取原始記錄中的資料

設定篩選器陳述式

filter 陳述式是剖析指令集中的第一個陳述式。所有額外的剖析指令都包含在 filter 陳述式中。

filter {

}

初始化變數,用於儲存擷取的值

在 filter 陳述式中,初始化剖析器會用來儲存從記錄擷取的值的中繼變數。

每次剖析個別記錄時,都會使用這些變數。在剖析指令中,每個中繼變數的值稍後都會設為一或多個 UDM 欄位。

  mutate {
    replace => {
      "event.idm.read_only_udm.metadata.product_name" => "Webproxy"
      "event.idm.read_only_udm.metadata.vendor_name" => "Squid"
      "not_valid_log" => "false"
      "when" => ""
      "srcip" => ""
      "action" => ""
      "username" => ""
      "url" => ""
      "tgtip" => ""
      "method" => ""
    }
  }

從記錄中擷取個別值

Google SecOps 提供一組以 Logstash 為基礎的篩選器,可從原始記錄檔擷取欄位。視記錄格式而定,您可以使用一或多個擷取篩選器,從記錄中擷取所有資料。如果字串為:

  • 原生 JSON,剖析器語法與支援 JSON 格式記錄的 JSON 篩選器類似。不支援巢狀 JSON。
  • XML 格式,剖析器語法與支援 XML 格式記錄的 XML 篩選器類似。
  • 鍵/值組合,剖析器語法與支援鍵/值格式訊息的 Kv 篩選器類似。
  • CSV 格式,剖析器語法與支援 CSV 格式訊息的 CSV 篩選器類似。
  • 所有其他格式的剖析器語法,都與 GROK 篩選器搭配 GROK 內建模式類似。這會使用 Regex 樣式的擷取指示。

Google SecOps 提供各篩選器中的部分功能。Google SecOps 也提供篩選器不支援的自訂資料對應語法。如需支援功能和自訂函式的說明,請參閱剖析器語法參考資料。

繼續以 Squid 網路 Proxy 記錄為例,下列資料擷取指令包含 Logstash Grok 語法和規則運算式的組合。

下列擷取陳述式會將值儲存在下列中繼變數中:

  • when
  • srcip
  • action
  • returnCode
  • size
  • method
  • username
  • url
  • tgtip

這個範例陳述式也使用 overwrite 關鍵字,將擷取的值儲存在各個變數中。如果擷取程序傳回錯誤,on_error 陳述式會將 not_valid_log 設為 true。

grok {
   match => {
     "message" => [
       "%{NUMBER:when}\\s+\\d+\\s%{SYSLOGHOST:srcip} %{WORD:action}\\/%{NUMBER:returnCode} %{NUMBER:size} %{WORD:method} (?P<url>\\S+) (?P<username>.*?) %{WORD}\\/(?P<tgtip>\\S+).*"
     ]
   }
   overwrite => ["when","srcip","action","returnCode","size","method","url","username","tgtip"]
   on_error => "not_valid_log"
}

操控及轉換擷取的值

Google SecOps 運用 Logstash mutate 篩選器外掛程式功能,可操控從原始記錄擷取的值。Google SecOps 提供外掛程式的部分功能。如需支援功能和自訂函式的說明,請參閱剖析器語法,例如:

  • 將值轉換為其他資料類型
  • 替換字串中的值
  • 合併兩個陣列,或將字串附加至陣列。字串值會先轉換為陣列,再進行合併。
  • 轉換為小寫或大寫

本節提供資料轉換範例,以先前介紹的 Squid 網路 Proxy 記錄為基礎。

轉換事件時間戳記

所有儲存為 UDM 記錄的事件都必須有事件時間戳記。這個範例會檢查是否已從記錄中擷取資料值。然後使用 Grok 日期函式,將值與 UNIX 時間格式進行比對。

if [when] != "" {
  date {
    match => [
      "when", "UNIX"
    ]
   }
 }

轉換 username 值

以下範例陳述式會將 username 變數中的值轉換為小寫。

mutate {
   lowercase => [ "username"]
   }

轉換 action 值

以下範例會評估 action 中繼變數中的值,並將值變更為 ALLOW、BLOCK 或 UNKNOWN_ACTION,這些是 security_result.action UDM 欄位的有效值。security_result.action UDM 欄位是列舉類型,只會儲存特定值。

if ([action] == "TCP_DENIED" or [action] == "TCP_MISS" or [action] == "Denied" or [action] == "denied" or [action] == "Dropped") {
      mutate {
        replace => {
          "action" => "BLOCK"
        }
      }
   } else if ([action] == "TCP_TUNNEL" or [action] == "Accessed" or [action] == "Built" or [action] == "Retrieved" or [action] == "Stored") {
     mutate {
        replace => {
          "action" => "ALLOW"
        }
     }
   } else {
      mutate {
        replace => {
          "action" => "UNKNOWN_ACTION" }
      }
   }

轉換目標 IP 位址

以下範例會檢查 tgtip 中繼變數中的值。如果找到,系統會使用預先定義的 Grok 模式,將值與 IP 位址模式進行比對。如果將值與 IP 位址模式比對時發生錯誤,on_error 函式會將 not_valid_tgtip 屬性設為 true。如果比對成功,則不會設定 not_valid_tgtip 屬性。

if [tgtip] not in [ "","-" ] {
   grok {
     match => {
       "tgtip" => [ "%{IP:tgtip}" ]
     }
     overwrite => ["tgtip"]
     on_error => "not_valid_tgtip"
   }

變更 returnCode 和 size 的資料類型

以下範例會將 size 變數中的值轉換為 uinteger,並將 returnCode 變數中的值轉換為 uinteger。這是因為 size 變數會儲存到 network.received_bytes UDM 欄位,而該欄位會儲存 int64 資料類型。returnCode 變數會儲存到 network.http.response_code UDM 欄位,該欄位會儲存 int32 資料類型。

mutate {
  convert => {
    "returnCode" => "integer"
    "size" => "uinteger"
  }
}

為事件中的 UDM 欄位指派值

擷取並預先處理值後,請將這些值指派給 UDM 事件記錄中的欄位。您可以將擷取的值和靜態值指派給 UDM 欄位。

如果填入 event.disambiguation_key,請確保這個欄位在為指定記錄產生的每個事件中都是不重複的。如果兩個不同的事件具有相同的 disambiguation_key,系統會發生非預期的行為。

本節的剖析器範例是以先前的 Squid 網路 Proxy 記錄範例為基礎。

儲存事件時間戳記

每筆 UDM 事件記錄都必須為 metadata.event_timestamp UDM 欄位設定值。以下範例會將從記錄中擷取的事件時間戳記,儲存至 @timestamp 內建變數。Google Security Operations 預設會將這項資訊儲存至 metadata.event_timestamp UDM 欄位。

mutate {
  rename => {
    "when" => "timestamp"
  }
}

設定事件類型

每個 UDM 事件記錄都必須為 metadata.event_type UDM 欄位設定值。這個欄位是列舉類型。這個欄位的值會決定必須填入哪些額外的 UDM 欄位,才能儲存 UDM 記錄。如果任何必填欄位不含有效資料,剖析和正規化程序就會失敗。

replace => {
    "event.idm.read_only_udm.metadata.event_type" => "NETWORK_HTTP"
   }
}

使用 replace 陳述式儲存 username 和 method 值

username 和 method 中繼欄位中的值為字串。以下範例會檢查是否存在有效值,如果存在,則將 username 值儲存至 principal.user.userid UDM 欄位,並將 method 值儲存至 network.http.method UDM 欄位。

if [username] not in [ "-" ,"" ] {
  mutate {
    replace => {
      "event.idm.read_only_udm.principal.user.userid" => "%{username}"
    }
  }
}

if [method] != "" {
  mutate {
    replace => {
      "event.idm.read_only_udm.network.http.method" => "%{method}"
    }
  }
}

將 action 儲存至 security_result.action UDM 欄位

在上一節中,系統會評估 action 中繼變數中的值,並轉換為 security_result.action UDM 欄位的其中一個標準值。

security_result 和 action UDM 欄位都會儲存項目陣列,因此儲存這個值時,必須採用稍微不同的方法。

首先,將轉換後的值儲存至中介 security_result.action 欄位。security_result 欄位是 action 欄位的父項。

mutate {
   merge => {
     "security_result.action" => "action"
   }
}

接著,將中繼 security_result.action 欄位儲存至 security_result UDM 欄位。security_result UDM 欄位會儲存項目陣列,因此值會附加至這個欄位。

 # save the security_result field
mutate {
  merge => {
    "event.idm.read_only_udm.security_result" => "security_result"
  }
}

使用 merge 陳述式儲存目標 IP 位址和來源 IP 位址

將下列值儲存至 UDM 事件記錄:

  • 將 srcip 中繼變數中的值指派給 principal.ip UDM 欄位。
  • 將 tgtip 中繼變數中的值指派給 target.ip UDM 欄位。

principal.ip 和 target.ip UDM 欄位都會儲存項目陣列,因此值會附加至每個欄位。

以下範例示範儲存這些值的不同方法。在轉換步驟中,系統會使用預先定義的 Grok 模式,將 tgtip 中繼變數與 IP 位址比對。以下範例陳述式會檢查 not_valid_tgtip 屬性是否為 true,表示 tgtip 值無法與 IP 位址模式比對。如果為 false,則會將 tgtip 值儲存至 target.ip UDM 欄位。

if ![not_valid_tgtip] {
  mutate {
    merge => {
      "event.idm.read_only_udm.target.ip" => "tgtip"
    }
  }
 }

srcip 中繼變數未經過轉換。下列陳述式會檢查是否從原始記錄擷取值,如果是,則將值儲存至 principal.ip UDM 欄位。

if [srcip] != "" {
  mutate {
    merge => {
      "event.idm.read_only_udm.principal.ip" => "srcip"
    }
  }
}

使用 rename 陳述式儲存 url、returnCode 和 size

下列範例陳述式使用 rename 陳述式儲存值:

  • url 變數已儲存至 target.url UDM 欄位。
  • returnCode 中繼變數已儲存至 network.http.response_code UDM 欄位。
  • size 中繼變數已儲存至 network.received_bytes UDM 欄位。
mutate {
  rename => {
     "url" => "event.idm.read_only_udm.target.url"
     "returnCode" => "event.idm.read_only_udm.network.http.response_code"
     "size" => "event.idm.read_only_udm.network.received_bytes"
  }
}

將 UDM 記錄繫結至輸出內容

資料對應指令中的最後一個陳述式會將處理後的資料輸出至 UDM 事件記錄。

mutate {
    merge => {
      "@output" => "event"
    }
  }

完整剖析器程式碼

這是完整的剖析器程式碼範例。指令順序與本文件先前章節的順序不同,但會產生相同的輸出內容。

filter {

# initialize variables
  mutate {
    replace => {
      "event.idm.read_only_udm.metadata.product_name" => "Webproxy"
      "event.idm.read_only_udm.metadata.vendor_name" => "Squid"
      "not_valid_log" => "false"
      "when" => ""
      "srcip" => ""
      "action" => ""
      "username" => ""
      "url" => ""
      "tgtip" => ""
      "method" => ""
    }
  }

  # Extract fields from the raw log.
    grok {
      match => {
        "message" => [
          "%{NUMBER:when}\\s+\\d+\\s%{SYSLOGHOST:srcip} %{WORD:action}\\/%{NUMBER:returnCode} %{NUMBER:size} %{WORD:method} (?P<url>\\S+) (?P<username>.*?) %{WORD}\\/(?P<tgtip>\\S+).*"
        ]
      }
      overwrite => ["when","srcip","action","returnCode","size","method","url","username","tgtip"]
      on_error => "not_valid_log"
    }

  # Parse event timestamp
  if [when] != "" {
    date {
      match => [
        "when", "UNIX"
      ]
     }
   }

   # Save the value in "when" to the event timestamp
   mutate {
     rename => {
       "when" => "timestamp"
     }
   }

   # Transform and save username
   if [username] not in [ "-" ,"" ] {
     mutate {
       lowercase => [ "username"]
        }
      }
     mutate {
       replace => {
         "event.idm.read_only_udm.principal.user.userid" => "%{username}"
       }
     }


if ([action] == "TCP_DENIED" or [action] == "TCP_MISS" or [action] == "Denied" or [action] == "denied" or [action] == "Dropped") {
      mutate {
        replace => {
          "action" => "BLOCK"
        }
      }
   } else if ([action] == "TCP_TUNNEL" or [action] == "Accessed" or [action] == "Built" or [action] == "Retrieved" or [action] == "Stored") {
     mutate {
        replace => {
          "action" => "ALLOW"
        }
     }
   } else {
      mutate {
        replace => {
          "action" => "UNKNOWN_ACTION" }
      }
   }

  # save transformed value to an intermediary field
   mutate {
      merge => {
        "security_result.action" => "action"
      }
   }

    # save the security_result field
    mutate {
      merge => {
        "event.idm.read_only_udm.security_result" => "security_result"
      }
    }

   # check for presence of target ip. Extract and store target IP address.
   if [tgtip] not in [ "","-" ] {
     grok {
       match => {
         "tgtip" => [ "%{IP:tgtip}" ]
       }
       overwrite => ["tgtip"]
       on_error => "not_valid_tgtip"
     }

     # store  target IP address
     if ![not_valid_tgtip] {
       mutate {
         merge => {
           "event.idm.read_only_udm.target.ip" => "tgtip"
         }
       }
     }
   }

   # convert  the returnCode and size  to integer data type
   mutate {
     convert => {
       "returnCode" => "integer"
       "size" => "uinteger"
     }
   }

   # save  url, returnCode, and size
   mutate {
     rename => {
        "url" => "event.idm.read_only_udm.target.url"
        "returnCode" => "event.idm.read_only_udm.network.http.response_code"
        "size" => "event.idm.read_only_udm.network.received_bytes"
     }

     # set the event type to NETWORK_HTTP
     replace => {
        "event.idm.read_only_udm.metadata.event_type" => "NETWORK_HTTP"
     }
   }

   # validate and set source IP address
   if [srcip] != "" {
     mutate {
       merge => {
         "event.idm.read_only_udm.principal.ip" => "srcip"
       }
     }
   }

  # save  event to @output
   mutate {
     merge => {
       "@output" => "event"
     }
   }

} #end of filter

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。