検索のデータ可用性について
このドキュメントでは、エンドツーエンドのデータフローとレイテンシを含むデータの取り込みのライフサイクルと、これらの要因が、最近取り込まれたデータをクエリして分析する際の可用性に与える影響について詳しく説明します。
Google SecOps でデータを取り込んで処理する
このセクションでは、Google SecOps がセキュリティ データを取り込み、処理、分析する方法について説明します。
データの取り込み
データ取り込みパイプラインは、次のようなソースから未加工のセキュリティ データを収集することから始まります。
- 内部システムのセキュリティ ログ
- Cloud Storage に格納されるデータ
- セキュリティ オペレーション センター（SOC）やその他の内部システム
Google SecOps は、安全な取り込み方法のいずれかを使用して、このデータをプラットフォームに取り込みます。
主な取り込み方法は次のとおりです。
直接 Google Cloud 取り込み
Google SecOps は、直接 Google Cloud 取り込みを使用して、組織の Google CloudCloud Logging、Cloud Asset Inventory メタデータ、Security Command Center Premium の検出結果などから、ログデータとテレメトリー データを自動的にプルします。
取り込み API
公開 REST 取り込み API を使用して、データを Google SecOps に直接送信します。この方法は、カスタム インテグレーションの場合や、非構造化ログまたは事前フォーマットされた統合データモデル（UDM）イベントとしてデータを送信する場合に使用します。
Bindplane エージェント
汎用性の高い Bindplane エージェント を環境（オンプレミスまたは他のクラウド）にデプロイして、さまざまなソースからログを収集し、Google SecOps に転送できます。
データフィード
Google SecOps では、データフィードを構成して、特定のサードパーティ クラウド ストレージ バケット（Amazon S3 など）やサードパーティ API（Okta や Microsoft 365 など）などのサードパーティ ソースからログをプルします。
正規化とデータの拡充
データが Google SecOps に到着すると、プラットフォームは次のステージで処理を行います。
解析と正規化
パーサーは、まず未加工のログデータを処理して検証、抽出を行い、 元の形式から標準化された UDMに変換します。解析と正規化 により、単一の一貫したスキーマを使用して、異なるデータソース（ファイアウォール ログ、 エンドポイント データ、クラウドログなど）を分析できます。元の未加工ログは、UDM イベントとともに保存されます。
インデックス登録
正規化後、Google SecOps は UDM データにインデックスを付けて、大規模なデータセット全体で高速なクエリ速度を実現し、UDM イベントを検索可能にします。
UDM エイリアスと拡充
- Google SecOps は、UDM エイリアスと拡充
を実行して、ログエンティティのコンテキスト データと指標を特定して追加することで、
UDM イベントに価値のあるコンテキストを追加します。たとえば、ユーザーの
login nameをさまざまなIP addresses、hostnames、MAC addressesに接続します。 - 位置情報: Google SecOps は、IP アドレスに 位置情報 データを追加します。
- Google SecOps は、UDM エイリアスと拡充
を実行して、ログエンティティのコンテキスト データと指標を特定して追加することで、
UDM イベントに価値のあるコンテキストを追加します。たとえば、ユーザーの
心電図の拡充
Google SecOps は、複数のソース（IdP、CMDB、脅威インテリジェンスなど）のコンテキストをマージする 心電図エイリアス を実行して、 エンティティ コンテキスト グラフに統合されたエンティティ プロファイルを作成します。
脅威インテリジェンス: Google SecOps は、イベントデータを Google Threat Intelligence やセーフ ブラウジングなどのソースを含む Google の膨大な脅威インテリジェンスと自動的に比較して、
domains、IP addresses、file hashesなどの既知の悪意のある脅威を特定します。WHOIS: Google SecOps は、ドメイン名に 公開登録 WHOIS 情報を追加します。
分析に使用できるデータ
処理と拡充が完了すると、UDM データはすぐに分析に使用できます。
リアルタイム検出
検出エンジン は、ライブルールが有効になっているカスタムルールと Google 製のルールを、ライブの受信データに対して自動的に実行して、脅威を特定し、アラートを生成します。
検索と調査
アナリストは、検索方法を使用して、この正規化および拡充されたすべてのデータを検索できます。たとえば、UDM 検索を使用して、関連するエンティティ（
user、asset、悪意のあるdomainなど）をピボットし、アラートを調査します。
検索方法
Google SecOps には、データの検索にいくつかの異なる方法が用意されており、それぞれ異なる目的で使用できます。
UDM 検索
UDM 検索は最も高速な主要な 検索方法で、ほとんどの調査に使用されます。
- 検索対象: 正規化およびインデックス登録された UDM イベントをクエリします。すべてのデータがこの標準形式に解析されるため、1 つのクエリを作成して、さまざまなプロダクト（Windows、Okta、Linux など）で同じアクティビティ（ログインなど）を検索できます。
- 仕組み: 特定の構文を使用して、フィールド、演算子、値をクエリします。
例:
principal.hostname = "win-server" AND target.ip = "10.1.2.3"通常、結果は取り込みから 2 ～ 15 分以内に利用可能になります。
未加工ログ検索
未加工ログ検索を使用して、UDM フィールドにマッピングされていない可能性のある、元の解析されていないログメッセージ内の情報を検索します。この検索方法は高速なハンティングに最適化されており、通常、ファイル ハッシュや IP アドレスなどの特定の指標に対して 2 秒以内に結果を返します。
- 検索対象: 解析と正規化の 前に、ログの元の未加工テキストをスキャンします。これは、インデックス登録されていない UDM フィールドである特定の文字列、コマンドライン引数、その他のアーティファクトを検索する場合に便利です。
- 仕組み:
raw =接頭辞を使用します。インデックス登録されたフィールドを検索しないため、UDM 検索よりも遅くなる可能性があります。 - 例（文字列）:
raw = "PsExec.exe" - 例（正規表現）:
raw = /admin\$/
統計検索
統計検索は、数百万行のデータを集計する長期的なトレンドに使用します。プラットフォームで統計分析とグループ化を行う必要があるため、これらのクエリの読み込み時間が長くなることが予想されます。
自然言語検索（Gemini）
自然言語検索（Gemini）では、平易な英語で質問できます。Gemini は、この質問を正式な UDM クエリに変換します。
- 検索対象: UDM データをクエリするための会話型インターフェースを提供します。
- 仕組み: 質問を入力すると、Gemini が基盤となる UDM 検索クエリを生成します。このクエリは実行または絞り込むことができます。
- 例: 「過去 24 時間以内にユーザー 'bob' からのログインに失敗したものをすべて表示する」
SOAR 検索
SOAR 検索は、SOAR コンポーネントに固有のものです。ログのハンティングではなく、セキュリティ インシデントの管理に使用します。
- 検索対象: SOAR プラットフォーム内のケース とエンティティ （ユーザー、アセット、IP アドレスなど）を検索します。
- 仕組み: 自由形式またはフィールドベースのフィルタを使用して、ID、アラート名、ステータス、割り当てられたユーザーなどでケースを検索できます。
- 例:
CaseIds:180またはAlertName:Brute Forceを検索する
データの取り込みパイプラインの検索可用性
エンドツーエンドのデータの可用性は、イベントが発生してから Google SecOps で検索またはルール実行に使用できるようになるまでの合計時間です。このレイテンシは、次の 2 つのコンポーネントの合計です。
ソース側の可用性の遅延: イベントが発生してから、ソースシステムが取り込みに使用できるログデータを作成するまでの時間。この遅延は、ソースシステムのアーキテクチャ、処理、バッチ処理、API 公開スケジュールによって異なります。Google SecOps はこの遅延に影響を与えることはできません。たとえば、システムがストレージ バケットにログを書き込む場合や、API エンドポイントにログを公開する場合に遅延が発生します。
Google SecOps の処理時間: Google SecOps がデータを受信してから処理するまでに必要な時間。この期間には、取り込み、解析、正規化、インデックス登録、拡充などの内部パイプライン ステージが含まれます。
データの可視化タイムラインのトラブルシューティングを行う際は、両方のコンポーネントを考慮する必要があります。
データソースに起因する遅延
ソース側の可用性の遅延に影響を与える要因は次のとおりです。
- バッチ処理: 一部のシステムでは、設定された間隔（1 時間ごとなど）でログがバッチで生成されます。
- API レイテンシ: ソース API では、新しいイベントをクエリ可能にする際に固有の遅延が発生する可能性があります。
- イベントの作成と公開の時刻: ログ内のイベントのタイムスタンプは、ログが確定して収集可能になるタイムスタンプよりもはるかに早い場合があります。
- スロットリング: ソース側の API レート上限により、データの取得が遅くなる可能性があります。
- 初期バックフィル: 大量の過去のデータの提供と取り込みには時間がかかります。
これらの遅延は、データソースとログタイプによって異なります。取り込み方法の詳細については、データの取り込みの概要をご覧ください。Feed Management API リファレンスでは、Microsoft Graph、SentinelOne、Okta、CrowdStrike などのログタイプに関する具体的な考慮事項について説明しています。
Google SecOps の処理時間
システムは、新しく取り込まれたデータを複数のステップで処理します。これらのステップの期間によって、新しく取り込まれたデータをクエリして分析できるようになるタイミングが決まります。
次の表に、新しく取り込まれたデータの処理ステップを検索方法別に示します。これらのステップが完了すると、新しく取り込まれたデータを検索できるようになります。
| 検索方法 | 検索対象のデータ | 可用性時間に影響する処理ステップ |
|---|---|---|
| 正規化および拡充された UDM イベント |
|
|
| 未加工ログ検索 | 元の解析されていないログテキスト |
|
| 検出エンジン（ルール） | 正規化されたイベント |
|
| SOAR 検索 | ケースとエンティティ |
ログではなく、アラートとケースを検索するため、ライフサイクルが異なります。時間は次の要素に基づいています。
|
データフローの例
次の例は、Google SecOps がセキュリティ データを取り込み、処理、強化、分析して、検索や詳細な分析に使用できるようにする方法を示しています。
データ処理ステップの例
- Amazon S3 や Google Cloudなどのクラウド サービスからセキュリティ データを取得します。Google SecOps は、転送中のデータを暗号化します。
- 暗号化されたセキュリティ データを分離して、アカウントに保存します。アクセスは、プロダクトのサポート、開発、メンテナンスを行うお客様と少数の Google 担当者に 限定されます。
- 未加工のセキュリティ データを解析して検証し、処理と表示を容易にします。
- データを正規化してインデックスを付け、迅速な検索を可能にします。
- 解析およびインデックス登録されたデータをアカウントに保存します。
- コンテキスト データで拡充します。
- ユーザーがセキュリティ データを検索して確認するための安全なアクセスを提供します。
- セキュリティ データを Google Threat Intelligence マルウェア データベースと比較して、一致するものを特定します。アセットビューなどの Google SecOps イベントビューで、[VT コンテキスト] をクリックすると、Google Threat Intelligence の情報が表示されます。 Google SecOps は、セキュリティ データを Google Threat Intelligence と共有しません。
検索の可用性までの予想時間の例
新しく取り込まれたデータを検索できるようになるまでの予想時間は、データフローに沿ったフロー時間の合計です。
たとえば、UDM 検索でのデータの可用性の平均時間は、データが Google SecOps 取り込みサービスに送信されてから約 5 分 30 秒です。
| データフローのステップ | 説明 | フロー時間 |
|---|---|---|
| Cloud Storage から未加工ログ へ | Cloud Storage から未加工ログを取り込みます。 | 30 秒未満 |
| セキュリティ ログ からデータ転送サービス へ | 内部システムからプラットフォームにセキュリティ ログを送信します。 | なし |
| データ転送サービス から未加工ログ へ | さまざまなソースから受信した未加工のセキュリティ データを取り込みパイプラインに送信します。 | 30 秒未満 |
| 未加工ログ から解析と検証 へ | 未加工ログを解析して UDM 形式に検証します。 | 3 分未満 |
| 解析と検証 からインデックス へ | 解析された UDM データにインデックスを付けて、高速検索を実現します。 | なし |
| インデックス から解析された顧客データ へ | インデックス登録されたデータを、解析された顧客データとして分析に使用できるようにします。 | 2 分未満 |
トラブルシューティング
このセクションでは、トラブルシューティングのガイダンスを提供します。
レイテンシと上限
Google SecOps プラットフォーム内での処理と可視化の遅延は、Google SecOps がデータを受信した後、次のアーキテクチャ上の上限の影響を受けます。
- 検索の可視性: 取り込みから 2 ～ 15 分後。
- ルール実行: イベントの到着から 5 ～ 10 分後。
さらにサポートが必要な場合コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。