検索で利用可能なデータについて
このドキュメントでは、エンドツーエンドのデータフローとレイテンシ、これらの要因が最近取り込まれたデータのクエリと分析の可用性にどのように影響するかなど、データの取り込みライフサイクルについて詳しく説明します。
Google SecOps でデータを取り込んで処理する
このセクションでは、Google SecOps がセキュリティ データを取り込み、処理、分析する方法について説明します。
データの取り込み
データの取り込みパイプラインは、次のようなソースから未加工のセキュリティ データを収集することから始まります。
- 内部システムのセキュリティ ログ
- Cloud Storage に格納されるデータ
- セキュリティ オペレーション センター(SOC)やその他の内部システム
Google SecOps は、安全な取り込み方法のいずれかを使用して、このデータをプラットフォームに取り込みます。
主な取り込み方法は次のとおりです。
直接 Google Cloud 取り込み
Google SecOps は、直接 Google Cloud 取り込みを使用して、Cloud Logging、Cloud Asset Inventory のメタデータ、Security Command Center Premium の検出結果など、組織の Google Cloudからログとテレメトリー データを自動的に取り込みます。
Ingestion API
公開 REST Ingestion API を使用して、Google SecOps にデータを直接送信します。このメソッドは、カスタム統合に使用するか、非構造化ログまたは事前フォーマットされた統合データモデル(UDM)イベントとしてデータを送信するために使用します。
Bindplane エージェント
多用途の Bindplane エージェントを環境(オンプレミスまたは他のクラウド)にデプロイして、さまざまなソースからログを収集し、Google SecOps に転送できます。
データフィード
Google SecOps では、特定のサードパーティ クラウド ストレージ バケット(Amazon S3 など)やサードパーティ API(Okta や Microsoft 365 など)などのサードパーティ ソースからログを pull するようにデータフィードを構成します。
正規化とデータの拡充
データが Google SecOps に到着すると、プラットフォームは次のステージでデータを処理します。
解析と正規化
パーサーは、まず未加工のログデータを処理して、元の形式から標準化された UDM にデータを検証、抽出、変換します。解析と正規化により、一貫性のある単一のスキーマを使用して、異なるデータソース(ファイアウォール ログ、エンドポイント データ、クラウドログなど)を分析できます。元の未加工ログは UDM イベントとともに保存されます。
インデックス登録
正規化後、Google SecOps は UDM データのインデックスを作成して、大規模なデータセット全体で高速なクエリ速度を実現し、UDM イベントを検索可能にします。
UDM のエイリアスと拡充
- Google SecOps は、UDM のエイリアス設定と拡充を実行して、ログ エンティティのコンテキスト データとインジケーターを特定して追加することで、UDM イベントを貴重なコンテキストで拡充します。たとえば、ユーザーの
login nameをさまざまなIP addresses、hostnames、MAC addressesに接続します。 - 位置情報: Google SecOps は、位置情報データを使用して IP アドレスを拡充します。
- Google SecOps は、UDM のエイリアス設定と拡充を実行して、ログ エンティティのコンテキスト データとインジケーターを特定して追加することで、UDM イベントを貴重なコンテキストで拡充します。たとえば、ユーザーの
心電図の拡充
Google SecOps は、ECG エイリアスを実行します。これは、複数のソース(IdP、CMDB、脅威インテリジェンスなど)のコンテキストを統合して、エンティティ コンテキスト グラフに統合エンティティ プロファイルを構築します。
脅威インテリジェンス: Google SecOps は、イベントデータを Google の膨大な脅威インテリジェンス(Google Threat Intelligence やセーフ ブラウジングなどのソースを含む)と自動的に比較して、
domains、IP addresses、file hashesなどの既知の悪意のある脅威を特定します。WHOIS: Google SecOps は、ドメイン名に公開登録 WHOIS 情報を追加します。
分析用のデータの可用性
処理と拡充が行われた UDM データは、すぐに分析に使用できます。
リアルタイム検出
検出エンジンは、ライブルールが有効になっているカスタムルールと Google が作成したルールを、受信したライブデータに対して自動的に実行して、脅威を特定し、アラートを生成します。
検索と調査
アナリストは、検索方法を使用して、この正規化および拡充されたすべてのデータを検索できます。たとえば、UDM 検索を使用して、関連するエンティティ(
userからasset、悪意のあるdomainなど)をピボットし、アラートを調査します。
検索方法
Google SecOps には、データを検索するための複数の方法が用意されており、それぞれ異なる目的で使用されます。
UDM 検索
UDM 検索は、最も一般的で高速な検索方法であり、ほとんどの調査で使用されます。
- 検索対象: 正規化され、インデックスに登録された UDM イベントをクエリします。すべてのデータがこの標準形式に解析されるため、1 つのクエリを記述して、すべての異なるプロダクト(Windows、Okta、Linux など)で同じアクティビティ(ログインなど)を検索できます。
- 仕組み: 特定の構文を使用して、フィールド、演算子、値をクエリします。
例:
principal.hostname = "win-server" AND target.ip = "10.1.2.3"通常、結果は取り込みから 2 ~ 15 分以内に利用可能になります。
未加工ログ検索
未加工ログ検索を使用すると、UDM フィールドにマッピングされていない可能性のある、解析前の元のログ メッセージ内の項目を検索できます。この検索方法は、高速なハンティングに最適化されており、通常、ファイル ハッシュや IP アドレスなどの特定のインジケーターに対して 2 秒未満で結果を返します。
- 検索対象: 解析と正規化が行われる前のログの元の未加工テキストをスキャンします。これは、特定の文字列、コマンドライン引数、インデックスに登録されていない UDM フィールドなどのアーティファクトを検索する場合に便利です。
- 仕組み:
raw =接頭辞を使用します。インデックスに登録されたフィールドを検索しないため、UDM 検索よりも時間がかかることがあります。 - 例(文字列):
raw = "PsExec.exe" - 例(正規表現):
raw = /admin\$/
統計検索
数百万行のデータを集計する長期的な傾向を把握するには、統計検索を使用します。プラットフォームで統計分析とグループ化を実行する必要があるため、これらのクエリの読み込み時間が長くなることが予想されます。
自然言語検索(Gemini)
自然言語検索(Gemini)を使用すると、平易な英語で質問できます。Gemini は、その質問を正式な UDM クエリに変換します。
- 検索対象: UDM データをクエリするための会話型インターフェースを提供します。
- 仕組み: 質問を入力すると、Gemini が基盤となる UDM 検索クエリを生成します。このクエリは、実行または調整できます。
- 例: 「過去 24 時間にユーザー 'bob' が失敗したログインをすべて表示して」
SOAR 検索
SOAR 検索は SOAR コンポーネントに固有のものです。これは、ログを検索するためではなく、セキュリティ インシデントを管理するために使用します。
- 検索対象: SOAR プラットフォーム内のケースとエンティティ(ユーザー、アセット、IP アドレスなど)を検索します。
- 仕組み: フリーテキストまたはフィールドベースのフィルタを使用して、ID、アラート名、ステータス、割り当てられたユーザーなどでケースを検索できます。
- 例:
CaseIds:180またはAlertName:Brute Forceで検索します。
空室状況を検索するためのデータの取り込みパイプライン
エンドツーエンドのデータ可用性とは、イベントが発生してから、Google SecOps で検索またはルール実行に使用できるようになるまでの合計時間です。このレイテンシは、次の 2 つのコンポーネントの合計です。
ソース側の可用性の遅延: イベントが発生してから、ソースシステムがログデータを取り込み可能にするまでの時間。この遅延は、ソースシステムのアーキテクチャ、処理、バッチ処理、API の公開スケジュールによって異なります。Google SecOps はこの遅延に影響を与えることはできません。たとえば、システムがログをストレージ バケットに書き込むときや、API エンドポイントに公開するときに遅延が発生します。
Google SecOps の処理時間: Google SecOps がデータを受信してから処理するまでに必要な時間。この期間には、取り込み、解析、正規化、インデックス登録、拡充などの内部パイプライン ステージが含まれます。
データの可視性のタイムラインのトラブルシューティングを行う際は、両方のコンポーネントを考慮する必要があります。
データソースに起因する遅延
ソース側の可用性遅延には、次の要因が影響する可能性があります。
- バッチ処理: 一部のシステムでは、設定された間隔(1 時間ごとなど)でログがバッチ処理で生成されます。
- API のレイテンシ: ソース API では、新しいイベントをクエリ可能にする際に固有の遅延が発生することがあります。
- イベントの作成時間と公開時間: ログ内のイベント タイムスタンプは、ログが確定して収集可能になるタイムスタンプよりもはるかに早い場合があります。
- スロットリング: 移行元 API のレート制限により、データの取得が遅くなることがあります。
- 初期バックフィル: 大量の過去のデータを提供して取り込むには時間がかかります。
これらの遅延は、データソースとログタイプによって異なります。取り込み方法の詳細については、データの取り込みの概要をご覧ください。Feed Management API リファレンスでは、Microsoft Graph、SentinelOne、Okta、CrowdStrike などのログタイプに関する特定の考慮事項について説明しています。
Google SecOps の処理時間
システムは、新しく取り込まれたデータをいくつかのステップで処理します。これらのステップの所要時間によって、新しく取り込まれたデータがクエリと分析に使用できるようになるタイミングが決まります。
次の表に、新しく取り込まれたデータの処理手順を検索方法別に示します。これらの手順が完了すると、新しく取り込まれたデータを検索できるようになります。
| 検索方法 | 検索中のデータ | 可用性時間に影響する処理ステップ |
|---|---|---|
| 正規化され、拡充された UDM イベント |
|
|
| 未加工ログ検索 | 元の未解析のログテキスト |
|
| 検出エンジン(ルール) | 正規化されたイベント |
|
| SOAR 検索 | ケースとエンティティ |
これは、ログではなくアラートとケースを検索するため、別のライフサイクルです。時刻は、以下の情報に基づいています。
|
データフローの例
次の例は、Google SecOps がセキュリティ データを取り込み、処理、強化、分析して、検索やさらなる分析に利用できるようにする方法を示しています。
データ処理ステップの例
- Amazon S3 などのクラウド サービスまたはGoogle Cloudからセキュリティ データを取得します。Google SecOps は、転送中のデータを暗号化します。
- 暗号化されたセキュリティ データを分離してアカウントに保存します。アクセスは、お客様と、プロダクトのサポート、開発、メンテナンスを行う少数の Google 担当者に限定されます。
- 未加工のセキュリティ データを解析して検証し、処理と表示を容易にします。
- データを正規化してインデックスを付け、迅速な検索を可能にする。
- 解析とインデックス付けを終えたデータをアカウントに保存します。
- コンテキスト データで拡充します。
- ユーザーがセキュリティ データを検索して確認するための安全なアクセスを提供します。
- セキュリティ データを Google Threat Intelligence マルウェア データベースと比較して、一致するものを特定します。SIEM 検索で、ドメイン、ファイルハッシュ、IP アドレスの [概要] タブを開き、[VT コンテキスト] をクリックして Google Threat Intelligence の情報を表示します。Google SecOps は、セキュリティ データを Google Threat Intelligence と共有しません。
検索が利用可能になるまでの予想時間の例
新しく取り込まれたデータが検索で使用できるようになるまでの予想時間は、データフローに沿ったフロー期間の合計です。
たとえば、UDM 検索でデータが利用可能になるまでの一般的な平均時間は、データが Google SecOps 取り込みサービスに送信されてから約 5 分 30 秒です。
| データフロー ステップ | 説明 | フローの所要時間 |
|---|---|---|
| Cloud Storage から未加工ログ | Cloud Storage から未加工ログを取り込みます。 | 30 秒未満 |
| セキュリティ ログからデータ転送サービス | 内部システムからプラットフォームにセキュリティ ログを送信します。 | なし |
| データ転送サービスから未加工ログ | さまざまなソースから受信した未加工のセキュリティ データを、取り込みパイプラインに送信します。 | 30 秒未満 |
| 未加工ログを解析して検証 | 未加工ログを UDM 形式に解析して検証します。 | 3 分未満 |
| 解析と検証からインデックス | 解析された UDM データをインデックスに登録して、高速検索を実現します。 | なし |
| インデックスから解析された顧客データ | インデックスに登録されたデータを、解析された顧客データとして分析に利用できるようにします。 | 2 分未満 |
トラブルシューティング
このセクションでは、トラブルシューティングのガイダンスについて説明します。
レイテンシと上限
Google SecOps プラットフォーム内での処理と可視化の遅延は、Google SecOps がデータを受信した後の次のアーキテクチャ上の制限の対象となります。
- 検索の可視性: 取り込みから 2 ~ 15 分後。
- ルールの実行: イベントの到着から 5 ~ 10 分後。
さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。