使用 Gemini 建立自訂剖析器和剖析器擴充功能

支援的服務:

本指南可協助資安分析師和偵測工程師,在 Google Security Operations 中使用 AI 剖析功能,從頭建構自訂剖析器,或建立剖析器擴充功能,強化現有剖析器。您可以使用自然語言提示和供應商說明文件,將原始記錄對應至統合式資料模型 (UDM),不必編寫複雜的剖析器語法或規則運算式。

選擇 AI 自訂剖析器或 AI 剖析器擴充功能

下表比較 AI 剖析中的「使用 AI 建立剖析器」和「使用 AI 編寫擴充功能」功能:

特徵面向 使用 AI 建立剖析器 使用 AI 編寫擴充功能
輸出內容 完整、獨立的自訂剖析器 在現有剖析器上疊加擴充功能
主要應用實例 新的或不支援的記錄來源,或完整剖析器重寫 在運作中的剖析器上新增或修正特定欄位
輸入 記錄類型、擷取的原始記錄,以及選用的說明文件連結 記錄類型、原始記錄範例,以及說明要對應欄位的提示

重要術語

  • AI 剖析:Google SecOps 中的一系列 AI 輔助剖析功能,包括 AI 自訂剖析器生成 (使用 AI 建立剖析器) 和 AI 剖析器擴充功能 (使用 AI 編寫擴充功能)。
  • 統合資料模型 (UDM):Google SecOps 用於儲存及分析記錄資料的標準資料結構。

事前準備

使用 AI 剖析功能前,請確認您符合下列必要條件:

  • 確認 Google SecOps 執行個體已啟用 AI 剖析功能。如果沒有看到「Create Parser with AI」(使用 AI 建立剖析器) 或「Write Extension with AI」(使用 AI 編寫擴充功能) 選項,請與 Google SecOps 代表聯絡。
  • 如果是 AI 剖析器擴充功能,請確認目標記錄類型已有有效的預建或自訂剖析器,並準備原始記錄範例來測試擷取作業。
  • 如要生成 AI 自訂剖析器,請先擷取記錄來源的代表性樣本。剖析器代理會根據您已擷取的所選類型記錄進行學習。如果找不到該記錄類型的記錄,就無法開始生成。啟動失敗不會計入配額。
  • 如要生成 AI 自訂剖析器,請準備一到五個可公開存取的連結,指向供應商的記錄格式參考資料,例如欄位字典、事件結構定義或記錄範例頁面 (建議)。完整的文件是影響剖析器品質的最大因素。

使用 AI 建立自訂剖析器

「使用 AI 建立剖析器」功能會從頭開始,為記錄來源建立完整的自訂剖析器。您需要選取記錄類型,並視需要提供供應商記錄說明文件的連結。剖析器代理會對擷取的記錄進行取樣、研究記錄結構定義、規劃原始欄位至 UDM 的對應,並以 JavaScript 編寫剖析器程式碼。接著,您可以查看結果,並使用一般英文指令 (參照原始欄位名稱和 UDM 欄位) 調整。輸出內容準備就緒後,您就能像提交其他自訂剖析器一樣,提交這個剖析器。

使用 AI 生成自訂剖析器,可以執行下列操作:

  • 記錄來源沒有預建剖析器,或預建剖析器不符合記錄格式。
  • 生成完整的剖析器,涵蓋擷取資料中找到的每種記錄格式,而非僅限單一樣本。
  • 透過後續提示詞調整生成的剖析器,不必自行編寫剖析器程式碼。

啟動 AI 生成的自訂剖析器

  1. 在 Google SecOps 中,依序前往「SIEM Settings」(SIEM 設定) >「Parsers」(剖析器)。
  2. 按一下「Add New Parser」(新增剖析器)。
  3. 在「Create New Custom Parser」(建立新的自訂剖析器) 對話方塊中,選取要剖析的「Log Source」(記錄來源) (例如 GCP DNS)。
  4. 在「您要如何建立剖析器?」下方,選取「使用 AI 建立剖析器」。
  5. 點選「建立」。

新增產品說明文件並開始生成

  1. 選用:在「剖析器代理」窗格的「新增產品連結」欄位中,貼上供應商記錄文件的連結,然後點選「新增」。最多可新增五個連結。「Documentation」計數器會顯示您新增的連結數量。
  2. 按一下「Generate Parser」(生成剖析器)。

如要提高生成剖析器的欄位涵蓋率,請在選取文件連結時遵循下列規範:

  • 請僅提供供應商說明文件的公開連結。如果連結為私人或無法存取,剖析器代理會忽略連結,改為搜尋網路,不會導致生成失敗。
  • 連結至說明記錄欄位和事件類型的頁面,例如記錄結構定義、欄位字典或事件參考資料。避免使用行銷網頁或產品總覽。
  • 選取與您擷取的記錄格式相符的頁面。舉例來說,如果您擷取 JSON 稽核記錄,請連結至 JSON 稽核記錄參考資料,而非 syslog 參考資料。
  • 如果供應商在不同頁面記錄不同的事件類別 (例如 DNS 查詢、防火牆事件和管理員活動),請為每個事件類別新增連結。

追蹤生成進度

自訂剖析器開始生成時,狀態會變更為「GENERATING IN PROGRESS」。生成程序包含下列階段:

階段 代理動作 輸出內容已傳遞至下一個階段
擷取原始記錄 代理程式會擷取過去 28 天內,該記錄類型的記錄樣本。系統會將記錄分群,選取一組涵蓋所有不同記錄格式和事件型態的範例記錄。 代表性範例記錄
研究說明文件 代理會讀取您提供的文件連結,如果沒有提供連結,則會搜尋網路。並結合範例記錄,建立記錄結構定義和欄位字典。 記錄結構定義和欄位字典
建立對應計畫 代理會識別記錄中的每個事件類型,並規劃如何將每個原始記錄欄位對應至相應的 UDM 欄位。 各事件類型的原始欄位與 UDM 欄位對應計畫
生成剖析器程式碼 代理會將對應計畫轉換為 JavaScript 剖析器程式碼。系統會根據範例記錄測試程式碼並解決錯誤,直到剖析器順利執行。 可供審查的剖析器

如果因找不到所選記錄類型的記錄,導致剖析器生成失敗,請先擷取該記錄類型的原始記錄,再重新開始生成。如果是其他生成失敗情形,則無法手動分類。觸發新的生成工作階段。如果問題持續發生,請與支援團隊聯絡,提交客服案件。

查看及調整自訂剖析器

自訂剖析器生成完畢後,狀態會變更為「AI GENERATED」(AI 生成),頁面會顯示下列窗格:

  • 剖析器代理:顯示「Refine Parser with AI」(使用 AI 調整剖析器) 提示欄位,您可以在其中輸入後續操作指示。
  • 剖析器程式碼:顯示生成的 JavaScript 剖析器程式碼,供您查看。提交前,生成的程式碼為唯讀狀態。如要修改邏輯,請在「Refine Parser with AI」(使用 AI 調整剖析器) 欄位中輸入提示。
  • 原始記錄:顯示記錄類型的原始記錄範例。您可以按一下 「Edit」(編輯) 貼上自己的記錄行,或按一下 「Refresh」(重新整理) 載入其他範例。
  • 顯示 UDM 輸出內容:根據原始記錄執行目前的剖析器程式碼,並顯示產生的 UDM 事件,以便驗證各項對應。

查看生成的輸出內容

啟用剖析器之前,請先檢查範例記錄中生成的對應關係:

  1. 載入多個原始記錄,包括要剖析的每個事件類型,然後按一下各記錄的「Show UDM Output」(顯示 UDM 輸出內容)。
  2. 確認剖析器將原始記錄欄位對應至適當的 UDM 欄位,並準確填入值 (例如事件中繼資料、principal 和 target 等實體欄位,以及安全性結果欄位)。
  3. 檢查是否有任何重要的原始欄位尚未對應。

使用 AI 修正自訂剖析器

如果對應不正確或遺漏,請在「Refine Parser with AI」(使用 AI 調整剖析器) 欄位中輸入指令,然後按一下「Confirm」(確認)。剖析器代理程式會更新現有剖析器,而非重新開始,並保留您未提及的所有對應關係。每次調整都會建立新版本的剖析器程式碼,供您查看。

請遵循下列指南,撰寫有效的修正提示:

  1. 請同時提供原始來源欄位 (或記錄中的範例值) 和確切的目標 UDM 欄位路徑。
  2. 將相關變更歸為一組,避免在單一長提示中混入不相關的修正。
  3. 使用單引號括住原始記錄中的確切字串,例如 'NXDOMAIN' 或 'allow'。
  4. 如果對應關係取決於欄位值,請使用 if ... then ... otherwise ... 結構明確陳述條件式對應關係。
  5. 指示代理程式將沒有相符 UDM 欄位的供應商專屬屬性,對應至具有明確索引鍵名稱的 additional.fields。

下表提供 GCP DNS 記錄的修正提示範例:

目標 提示詞範例
修正不正確的對應關係 "Map jsonPayload.sourceIP to principal.ip instead of target.ip."
新增遺漏的欄位 "Map jsonPayload.vmInstanceName to principal.hostname."
對應巢狀或重複的值 "Map jsonPayload.queryName to network.dns.questions.name and jsonPayload.queryType to network.dns.questions.type."
套用條件式邏輯 "If jsonPayload.responseCode is 'NXDOMAIN', set security_result.summary to 'Domain does not exist'. Otherwise, leave it empty."
設定事件類型 "Set metadata.event_type to NETWORK_DNS for all DNS query logs."
對應供應商專屬欄位 "Map jsonPayload.alias_query_response_code to additional.fields with key 'alias_query_response_code'."
移除對應關係 "Stop mapping jsonPayload.protocol to network.application_protocol."

提交並啟用自訂剖析器

確認 UDM 輸出內容正確無誤後,按一下「Submit」(提交),即可儲存並啟用產生的自訂剖析器。

如要捨棄剖析器草稿,請按一下「捨棄」。如要移除已儲存的 AI 生成自訂剖析器,請開啟剖析器,然後點按「Delete Custom Parser」(刪除自訂剖析器) 下方的「Delete」(刪除)。

排解 AI 自訂剖析器生成問題

下表列出使用 AI 生成自訂剖析器時可能遇到的常見問題,以及解決方法:

問題或症狀 解析度
您沒有看到「Create Parser with AI」(使用 AI 建立剖析器) 選項。 執行個體未啟用這項功能。請與 Google SecOps 代表聯絡。
找不到該記錄類型的記錄,因此無法生成。 剖析器代理需要所選記錄類型的原始記錄。請先擷取該記錄類型的原始記錄,再重新開始生成。
因其他原因而無法生成。 生成失敗時,無法手動分類。再次觸發生成作業。如果問題持續發生,請與支援團隊聯絡,提交客服案件。
生成作業需要較長時間才能完成。 生成作業通常需要 30 到 90 分鐘。如果記錄來源複雜,包含許多不同格式或大型結構定義,則需要較長時間。您可以關閉頁面,稍後再返回「SIEM 設定」>「剖析器」。
許多欄位仍未對應。 新增說明記錄欄位的文件連結,並開始新的工作階段,或使用修正提示對應缺少的欄位。
修正提示變更了不相關的對應關係。 在後續提示中說明修正內容 (例如 "Revert the change to principal.ip and map jsonPayload.sourceIP to it again.")。或者,提交並啟用剖析器,手動編輯程式碼。
「顯示 UDM 輸出內容」中部分記錄剖析失敗。 將失敗的記錄貼到「原始記錄」窗格,然後傳送修正提示,引用記錄中未剖析的部分。

使用 AI 建立剖析器擴充功能

Google SecOps 的預設記錄剖析器剖析記錄來源時,可能會省略客戶專屬的自訂屬性、選項欄位或特殊遙測資料。使用 AI 剖析器擴充功能 (使用 AI 編寫擴充功能) 可執行下列操作:

  • 從原始記錄擷取其他欄位,並對應至標準 UDM 欄位或自訂 additional.fields。
  • 套用條件邏輯和值轉換,例如將字串動作對應至 UDM 列舉類型。
  • 在多輪對話工作階段中,以互動方式調整生成的擴充功能,不必從頭開始。

重要術語

  • 統合資料模型 (UDM):Google SecOps 用來儲存及分析記錄資料的標準資料結構。

事前準備

開始之前,請確認已滿足下列先決條件:

  • 用量配額:每 24 小時最多可執行 10 個 AI 剖析器擴充功能生成工作階段,每個工作階段最多可傳送 5 則訊息。

撰寫提示的最佳做法

如要取得準確的剖析器擴充功能,請遵循下列提示指南:

  1. 明確指定來源和目標 (建議):盡可能明確指出要擷取原始記錄的哪個部分,以及要填入哪個 UDM 欄位路徑。例如:principal.ip、target.user.email_addresses 或 security_result.action。這樣就能建立完全符合您需求的擴充功能。

  2. 使用引號標示完全比對常值:在非結構化記錄中參照常值字串、分隔符或範例值時,請用引號括住,例如 "198.51.100.0" 或 "allow"。

  3. 使用 additional.fields 處理自訂欄位:對於沒有專屬 UDM 欄位的專屬或供應商專屬屬性,請指示 AI 使用明確的鍵名稱 (例如 additional.fields["application"]) 將其對應至 additional.fields。

生成剖析器擴充功能

您可以從 Google SecOps 的下列任一位置,啟動剖析器擴充功能工作流程:

  • 剖析器設定頁面:前往「Parsers」(剖析器) 頁面,選取並擴充任何現有的記錄剖析器。
  • 搜尋網頁:在「搜尋」網頁調查記錄時,直接從含有未剖析欄位的事件開啟擴充功能建立流程。

如要從「剖析器」頁面產生剖析器擴充功能,請按照下列步驟操作:

  1. 在 Google SecOps 中,前往「Parsers」(剖析器) 設定頁面。
  2. 搜尋要延長保留期限的記錄類型。
  3. 按一下剖析器旁的選單,然後選取擴充選項。
  4. 在「RAW LOG」欄位中,貼上要剖析的記錄範例。
  5. 在「擴展方法」部分,選取「使用 AI 生成」分頁標籤。
  6. 在提示詞欄位中,以淺顯易懂的英文描述擷取作業。
  7. 按一下「確認」。

    系統會生成擴充功能程式碼,並更新「UDM Output」(UDM 輸出內容) 窗格。

修正剖析器擴充功能

您可以透過多輪即時通訊工作階段,逐步建構及調整剖析器擴充功能。提交後續提示時,AI 會根據先前生成的擴充內容,套用新的指示。除非您明確要求覆寫或移除,否則系統會自動保留先前對話中的現有對應和條件邏輯。

  1. 在提示詞欄位中輸入後續指令,調整生成的程式碼。
  2. 按一下「確認」。
  3. 每次輸入提示後,請預覽生成的擴充功能程式碼、檢查 UDM 輸出範例,並確認或調整邏輯。

以下範例工作流程說明如何透過反覆修正,在多個回合中建構剖析器擴充功能:

  1. 第 1 輪 (初始擷取):
    • 使用者提示:「將來源 IP『198.51.100.0』擷取至 principal.ip,並將目的地 IP『198.51.100.1』擷取至 target.ip。」
    • 結果:AI 會生成對應 principal.ip 和 target.ip 的擴充功能。
  2. Turn 2 (additive mapping):
    • 使用者提示:「Also map virtual system string vsys1 to observer.administrative_domain.」
    • 結果:AI 會更新擴充功能,對應 observer.administrative_domain,同時保留第 1 輪的 IP 對應。
  3. 第 3 輪 (條件式修正):
    • 使用者提示:「此外,請將動作字串 allow 對應至 security_result[0].action,並設為 ALLOW。」
    • 結果:AI 會在先前所有擷取內容的基礎上,整合條件式動作列舉對應。

驗證剖析器擴充功能

  1. 點選「Validate」(驗證)。
  2. 程序完成後,請查看驗證指標。

存取參考資訊

請參考下列範例,為剖析器擴充功能撰寫準確的提示。

結構化記錄提示

如果是結構化記錄,資料會整理成具名索引鍵、屬性或 XML 標記,請在提示中指定欄位名稱或路徑。

JSON 記錄範例
{
  "insertId": "u0mlpdesys",
  "logName": "projects/sample-project-id/logs/cloudaudit.googleapis.com%2Fdata_access",
  "protoPayload": {
    "authenticationInfo": {
      "principalEmail": "analyst@example-domain.com"
    },
    "methodName": "GenerateAccessToken",
    "requestMetadata": {
      "callerIp": "203.0.113.195",
      "callerSuppliedUserAgent": "google-cloud-sdk gcloud/392.0.0"
    },
    "resourceName": "projects/-/serviceAccounts/110649196922301550006",
    "serviceName": "iamcredentials.googleapis.com"
  }
}
結構化記錄的提示範例
提示詞 來源欄位或鍵 目標 UDM 欄位
"Map principalEmail to principal.user.email_addresses." principalEmail principal.user.email_addresses
"Extract callerIp to principal.ip and methodName to metadata.product_event_type." callerIp、methodName principal.ip、metadata.product_event_type
"Map resourceName to target.resource.name and serviceName to target.application." resourceName、serviceName target.resource.name、target.application
"From XML tags, map /Event/System/Hostname to principal.hostname." /Event/System/Hostname principal.hostname

非結構化記錄提示

如果是非結構化記錄,請直接從範例記錄、位置參照或描述性標籤指定常值。

非結構化系統記錄訊息範例
<14>Nov  9 18:52:45 198.51.100.1 1,2021/11/09 18:52:45,007051000184334,TRAFFIC,start,2561,2021/11/09 18:52:45,198.51.100.0,198.51.100.1,0.0.0.0,0.0.0.0,any allow,,,ping,vsys1,LAN,LAN,ethernet1/2,ethernet1/2,LFPpan,2021/11/09 18:52:45,9729,6,0,0,2048,0,0x100000,icmp,allow,444,444,0,6
非結構化記錄的提示範例
提示詞 常值或說明範例 目標 UDM 欄位
"Extract source IP '198.51.100.0' to principal.ip and destination IP '198.51.100.1' to target.ip." '198.51.100.0'、'198.51.100.1' principal.ip、target.ip
"Extract the application string 'ping' from the log and map it to additional.fields['application']." 'ping' additional.fields["application"]
"Map rule name 'any allow' to security_result.rule_id." 'any allow' security_result[0].rule_id
"Extract sent bytes and received bytes into network.sent_bytes and network.received_bytes." 記錄中的數值位元組計數器 network.sent_bytes、network.received_bytes

條件式邏輯提示

說明條件邏輯,將原始記錄值正規化為特定 UDM 列舉。

  • 列舉正規化:"If the firewall action in the log is 'allow', set security_result.action to ALLOW; otherwise set security_result.action to BLOCK."
  • 條件式欄位對應:"If the protocol is 'icmp', map the ICMP type and code into network.icmp.type and network.icmp.code."
  • 狀態對應:"When the log status contains 'success' or '0', set security_result.severity to INFO; if it contains 'error', set it to ERROR."

用量限制

為維持最佳效能和資源可用性,AI 剖析功能會強制執行下列預設用量配額:

  • 每位客戶每 24 小時最多可執行 10 次 AI 剖析器擴充功能生成工作階段。
  • 在單一工作階段中,您最多只能傳送 5 則訊息 (包括初始提示和後續修正),用於建立及修正剖析器擴充功能。

如果達到工作階段的回合或訊息上限,可以提交或儲存目前的工作,或開始新的工作階段 (受每日工作階段配額限制)。如果是自訂剖析器,提交並啟用後,您可以像其他自訂剖析器一樣,手動編輯程式碼。

後續步驟

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。