自動擷取功能總覽

支援的服務：

本文概略說明如何自動擷取資料，提升資料擷取、處理和分析能力。

Google Security Operations 會使用預先建構的剖析器，透過統合式資料模型 (UDM) 結構定義擷取記錄資料並建立結構。管理及維護這些剖析器可能相當困難，因為有幾項限制：資料擷取不完整、要管理的剖析器數量不斷增加，以及記錄格式演變時需要頻繁更新。

為解決這些難題，您可以使用自動擷取功能。這項功能會自動從擷取至 Google SecOps 的 JSON 和 XML 格式記錄中，擷取鍵/值組合。也支援包含 JSON 訊息的 Syslog 格式記錄。這項擷取的資料會儲存在名為 extracted 的 UDM 對應類型欄位中。接著，您可以在 UDM 搜尋查詢、原生資訊主頁和 YARA-L 規則中使用這項資料。

建議您採取下列最佳做法：使用擷取的欄位執行 UDM 搜尋時，必須在查詢加入 metadata.log_type，以便提高搜尋查詢成效。

自動擷取的好處是減少對剖析器的依賴，確保即使沒有剖析器或剖析器無法剖析記錄，資料仍可使用。

剖析及擷取原始記錄中的資料

  1. 剖析：Google SecOps 會嘗試使用記錄類型專屬的剖析器 (如有) 剖析記錄。如果沒有特定剖析器，或剖析失敗，Google SecOps 會使用一般剖析器擷取基本資訊，例如擷取時間戳記、記錄類型和中繼資料標籤。

  2. 資料擷取：自動擷取功能預設為停用。選擇加入，並選取要從記錄中擷取的特定欄位 (資料點)。

  3. 事件擴充：Google SecOps 會結合剖析後的資料和任何自訂格式欄位，建立擴充事件，提供更多背景資訊和詳細資料。

  4. 下游資料移轉：這些經過強化的事件會傳送至其他系統，進行進一步分析和處理。

  • 有剖析器時：系統不會預設自動擷取。您必須明確選擇加入所需的特定欄位，詳情請參閱「使用擷取器」一節。
  • 沒有剖析器時：自動擷取功能會自動啟動，並擷取前 100 個欄位。

使用擷取器

擷取器可從所有支援的記錄來源擷取欄位，使用擷取器可縮減事件大小、提升剖析效率，並更有效地控管資料擷取作業。這項功能特別適合用來管理新的記錄類型，或盡可能縮短處理時間。

您可以使用「Settings」(設定) 選單或執行原始記錄搜尋，建立擷取器。

建立擷取器

  1. 使用下列任一方法前往「Extract Additional Fields」(擷取更多欄位) 窗格：

    • 依序點選「設定」>「資料管理」>「剖析器」。如果使用的是 SIEM 專用平台，請依序前往「設定」>「剖析器」。請執行下列操作：
      1. 在顯示的「PARSERS」(剖析器) 表格中，找出剖析器 (記錄來源)，然後依序點選 「Menu」(選單) >「Extend Parser」(擴充剖析器) >「Extract Additional Fields」(擷取其他欄位)。
    • 使用「Raw Log Scan」(原始記錄掃描)，並執行下列操作：
      1. 從「Log Sources」(記錄來源) 選單中選取所需的記錄來源 (剖析器)。
      2. 從原始記錄結果中選取記錄來源，開啟「EVENT DATA」(事件資料) 窗格。
      3. 在「EVENT DATA」(事件資料) 窗格中，依序點選「Manage Parser」(管理剖析器) >「Extend Parser」(擴充剖析器) >「Extract Additional Fields」(擷取其他欄位)。
    • 使用 UDM 搜尋，並執行下列操作：
      1. 在 UDM 搜尋結果的「EVENTS」(事件) 分頁中，選取記錄來源，即可查看「Event Viewer」(事件檢視器) 窗格。
      2. 在「原始記錄」分頁中，依序點選「管理剖析器」>「擴充剖析器」>「擷取其他欄位」。

  2. 在「擷取其他欄位」窗格的「選取擷取器」分頁中，選取所需的原始記錄欄位。根據預設，您最多可以選取 100 個欄位。如果沒有其他可擷取的欄位，系統會顯示警告通知。

    按一下「Reference Raw Log」(參考原始記錄) 分頁標籤，查看原始記錄資料並預覽 UDM 輸出內容。

  3. 按一下「儲存」。

新建立的擷取器會標示為 EXTRACTOR。擷取的欄位會以 extracted.field{"fieldName"} 形式顯示在 UDM 輸出內容中。

查看擷取器詳細資料

  1. 前往「剖析器」表格中的擷取器資料列，然後依序點選 「選單」>「擴充剖析器」>「查看擴充功能」。
  2. 在「查看自訂剖析器」頁面，點選「擴充功能和擷取的欄位」分頁標籤。

這個分頁會顯示剖析器擴充功能和擷取器欄位的資訊。您可以修改或移除欄位，並在「VIEW CUSTOM PARSERS」(查看自訂剖析器) 頁面預覽剖析器輸出內容。

限制

  • 如果批次 UDM 事件大小超過 8.2 MB，系統會捨棄原始記錄和所有擷取的欄位。
  • 如果單一 UDM 事件超過 500 KB，系統會捨棄擷取的欄位。

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求解答。