自動抽出の概要

以下でサポートされています。

このドキュメントでは、データの取り込み、処理、分析の機能を強化するために、データが自動的に抽出される方法の概要について説明します。

Google Security Operations は、事前構築済みのパーサーを使用して、統合データモデル（UDM）スキーマを使用してログデータを抽出して構造化します。これらのパーサーの管理とメンテナンスは、不完全なデータ抽出、管理するパーサーの増加、ログ形式の進化に伴う頻繁な更新の必要性など、いくつかの制限により困難になる可能性があります。

これらの課題に対処するには、自動抽出機能を使用します。この機能は、Google SecOps に取り込まれた JSON 形式と XML 形式のログから Key-Value ペアを自動的に抽出します。また、JSON メッセージを含む Syslog 形式のログもサポートしています。この抽出されたデータは、extracted という UDM のマップ型フィールドに保存されます。このデータは、UDM 検索クエリ、ネイティブ ダッシュボード、YARA-L ルールで使用できます。

抽出されたフィールドを使用する UDM 検索では、検索クエリのパフォーマンスを向上させるために、クエリに metadata.log_type を含めることをおすすめします。

自動抽出の利点は、パーサーへの依存度が低減されることです。これにより、パーサーが存在しない場合や、ログの解析に失敗した場合でも、データが引き続き利用可能になります。

未加工ログからデータを解析して抽出する

  1. 解析: Google SecOps は、ログタイプに固有のパーサーを使用してログの解析を試みます（利用可能な場合）。特定のパーサーが存在しない場合や、パースが失敗した場合、Google SecOps は一般的なパーサーを使用して、取り込まれたタイムスタンプ、ログタイプ、メタデータ ラベルなどの基本情報を抽出します。

  2. データ抽出: 自動抽出はデフォルトでは有効になっていません。オプトインして、ログから抽出する特定のフィールド（データポイント）を選択します。

  3. イベントの拡充: Google SecOps は、解析されたデータとカスタム形式のフィールドを組み合わせて、拡充されたイベントを作成し、より多くのコンテキストと詳細を提供します。

  4. ダウンストリーム データ転送: これらの拡充されたイベントは、さらに分析と処理を行うために他のシステムに送信されます。

  • パーサーがある場合: デフォルトの自動抽出は行われません。エクストラクタを操作するセクションで説明されているように、必要な特定のフィールドを明示的にオプトインする必要があります。
  • パーサーがない場合: 自動抽出が自動的に開始され、最初の 100 個のフィールドが抽出されます。

エクストラクタを操作する

エクストラクタを使用すると、サポートされているすべてのログソースからフィールドを抽出できます。また、ログ管理を最適化するように設計されています。エクストラクタを使用すると、イベントサイズを縮小し、解析効率を向上させ、データ抽出をより適切に制御できます。これは、新しいログタイプの管理や処理時間の短縮に特に役立ちます。

エクストラクタを作成するには、[設定] メニューを使用するか、未加工ログ検索を実行します。

エクストラクタを作成する

  1. 次のいずれかの方法で [追加フィールドを抽出] ペインに移動します。

    • [Settings] > [Data Management] > [Parsers] をクリックします。SIEM のみのプラットフォームを使用している場合は、[設定] > [パーサー] に移動します。次の操作を行います。
      1. 表示された [PARSERS] テーブルで、パーサー（ログソース）を特定し、 [メニュー] > [パーサーを拡張] > [追加フィールドを抽出] をクリックします。
    • 未加工ログスキャンを使用して、次の操作を行います。
      1. [ログソース] メニューから、必要なログソース（パーサー）を選択します。
      2. 未加工のログ結果からログソースを選択して、[イベントデータ] ペインを開きます。
      3. [イベントデータ] ペインで、[パーサーを管理] > [パーサーを拡張] > [追加のフィールドを抽出] をクリックします。
    • UDM 検索を使用して、次の操作を行います。
      1. UDM 検索結果の [EVENTS] タブで、ログソースを選択して [Event Viewer] ペインを表示します。
      2. [未加工ログ] タブで、[パーサーを管理] > [パーサーを拡張] > [追加フィールドを抽出] をクリックします。

  2. [追加フィールドを抽出] ペインの [抽出元を選択] タブで、必要な未加工ログフィールドを選択します。デフォルトでは、最大 100 個のフィールドを選択できます。抽出できる追加フィールドがない場合は、警告通知が表示されます。

    [Reference Raw Log] タブをクリックして、未加工のログデータを表示し、UDM 出力をプレビューします。

  3. [保存] をクリックします。

新しく作成された抽出ツールには EXTRACTOR というラベルが付けられます。抽出されたフィールドは、UDM 出力に extracted.field{"fieldName"} として表示されます。

エクストラクタの詳細を表示する

  1. [PARSERS] テーブルのエクストラクタ行に移動し、 [メニュー] > [パーサーを拡張] > [拡張機能を表示] をクリックします。
  2. [カスタム パーサーを表示] ページで、[拡張機能と抽出されたフィールド] タブをクリックします。

このタブには、パーサー拡張機能と抽出フィールドに関する情報が表示されます。[カスタム パーサーを表示] ページで、フィールドの変更や削除、パーサー出力のプレビューを行うことができます。

制限事項

  • バッチ UDM イベントのサイズが 8.2 MB を超えると、未加工ログと抽出されたすべてのフィールドが破棄されます。
  • 1 つの UDM イベントが 500 KB を超えると、抽出されたフィールドはドロップされます。

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。