取り込み量を最適化する
このガイドでは、Google Security Operations のデータ処理パイプラインの構成に焦点を当てて、取り込み量を最適化する方法について説明します。この機能により、ソースに関係なく、データが完全に取り込まれる前に、データをフィルタ、変換、秘匿化する統一された方法が提供されます。この方法により、データ品質と脅威検出の効率が向上します。
このガイドは、Google SecOps へのログ取り込みを管理するセキュリティ エンジニア、Google SecOps アナリスト、クラウド管理者を対象としています。
フィルタされていない大量のログを取り込むと、予算とリソースに負担がかかる可能性があります。その結果、コストが増加し、検索と分析の機能が低下します。また、無関係なデータが大量に存在することで、セキュリティ アナリストが重要なアラートを見逃す可能性が高くなります。効果的なフィルタリングは、費用対効果が高く効率的な Google SecOps のデプロイに不可欠です。
始める前に
次のものが揃っていること、または次の操作を行っていることを確認します。
- Identity and Access Management(IAM)ロール: 事前定義された Chronicle API
Adminロール(roles/chronicle.admin)、または次のいずれかの権限を含むカスタムロール。chronicle.logProcessingPipelines.*chronicle.logTypes.getchronicle.logTypes.listchronicle.feeds.getchronicle.feeds.listchronicle.logs.list
- Bindplane のバージョン: Bindplane Server コンソール バージョン 1.96.4 以降が必要です。
- Bindplane Cloud では、認証に Workload Identity 連携(WIF)がサポートされています。セルフホスト型の Bindplane デプロイには、サービス アカウントの JSON キー認証情報が必要です。
- プロセッサ ノードを構成するための Bindplane 管理コンソールまたは Google SecOps Data Pipeline API へのアクセス。
- ボリューム削減のためにフィルタ、変換、秘匿化プロセッサを構成するために必要な正確なフィールド、ログタイプ、条件を特定します。
- 取り込み方法に関連付けられた特定のログタイプ、コレクタ ID(Bindplane ソースの場合)、またはフィード名(データフィードの場合)を照合して、パイプライン ストリーム入力を定義します。
- Google Cloud ログを取り込む場合は、必要な Logging エクスポート フィルタを定義して、データが SecOps パイプラインに到達する前にアップストリーム フィルタリングを実装し、コストを最大限に削減します。
- ログデータを理解する。
- 大量のログや価値の低いログを特定する: 現在の取り込み指標を分析して、ボリュームと費用に最も大きく影響しているログの種類とソースを特定します。詳細については、取り込み指標の概要をご覧ください。
- フィルタ条件を決定する: 破棄、変換、または秘匿化するログを確実に識別する特定のフィールド、値、パターン(正規表現)、または条件を決定します。
- 取り込み方法を把握する: 各ターゲット ログソースの取り込み方法(Direct、Bindplane、Feed、API)を把握します。これは、パイプライン ストリームの構成方法に影響します。
主な用語
- データ処理パイプライン: ログデータが到着したときに、保存とインデックス登録の前にフィルタ、変換、秘匿化を行う機能。
- フィルタ / フィルタリング: ボリューム最適化の主な機能。セキュリティ分析に不要なイベントを選択的にドロップする条件を定義します。
- 変換: 完全修飾ドメイン名(FQDN)の削除やイベント内の詳細なフィールドの削除など、ユーザビリティを向上させるためにログ形式を変更するために使用される機能。
- Redact: ログが保存される前に機密情報をマスクまたは完全に削除する機能。コンプライアンスとプライバシーの保護に役立ちます。
- Bindplane エージェント: オンプレミス システムまたは他のクラウド システムから収集されたログの取り込み方法。
- フィード: Cloud Storage、Amazon S3、サードパーティ API などのソースから取り込まれたデータの取り込み方法。
- Ingestion API: カスタムログデータを送信する方法。データ処理パイプラインを使用してサーバーサイドでフィルタリングできます。
- アップストリーム フィルタリング: Logging エクスポート フィルタを使用してソースで Google Cloud ログをフィルタリングする、推奨されるベスト プラクティス。これにより、コストを最適化できます。
- ストリーム: ログタイプと取り込みソース(フィードや API など)によって定義される特定のデータフロー。データ処理パイプラインへの入力として機能します。
- プロセッサ ノード: データを順番に操作する 1 つ以上のプロセッサ(フィルタ、変換、秘匿化アクション)を含むパイプライン内のコンポーネント。
- 宛先: データ処理パイプラインのエンドポイント。通常は、処理されたデータが最終的な取り込みと分析のために送信される Google SecOps インスタンスです。
データ処理パイプラインを使用して最適化する
Google SecOps のデータ処理パイプラインは、データの取り込みプロセスをパース前に制御する堅牢な機能を提供します。ログが保存され、インデックスに登録される前に、ログが到着したときに適用されるルールとアクションを定義できます。詳細については、データ処理パイプラインを設定して管理するをご覧ください。
主な機能
- フィルタ: 音量の最適化で最も重要な要素です。未加工のログ コンテンツ、属性、正規表現を使用して条件を定義し、セキュリティ分析に不要なイベントを選択的にドロップできます。これは、ノイズとコストを削減するうえで重要です。
- 変換: ログ形式を変更して、ユーザビリティを向上させたり、イベント内の不要なデータを削除したりします。たとえば、ホスト名から FQDN を削除する、JSON ペイロードを解析して再構築する、冗長だが無関係なフィールドを削除するなどです。
- 秘匿化: ログが保存される前に、個人を特定できる情報(PII)などの機密情報をマスクまたは完全に削除して、コンプライアンスとプライバシー要件を遵守します。
普遍的な適用性
データ処理パイプラインの主な利点は、あらゆる取り込み方法のデータに適用できることです。これにより、次の対象に一貫したフィルタリング レイヤが提供されます。
- Google Cloud 組み込みログ
- Bindplane エージェントを使用して収集されたログ
- フィードを介して取り込まれたデータ
- Ingestion API を介して送信されたカスタムログ
詳細については、このガイドのメソッド固有のフィルタリング戦略をご覧ください。
データ処理パイプラインでフィルタリングを実装する
ステップ 1: パイプラインを設定する
データ処理パイプラインは、Bindplane 管理コンソールまたは公開されている Google SecOps Data Pipeline API を使用して構成および管理できます。ストリーム(入力)の定義、プロセッサ ノード(フィルタ、変換、秘匿化)の構成、パイプライン デプロイの管理を行うことができます。
詳細な設定手順については、データ処理パイプラインを設定して管理するをご覧ください。
ステップ 2: フィルタリング用のプロセッサを構成する
パイプライン内で、プロセッサをノードに追加できます。ボリュームを減らすには、主にフィルタ プロセッサを使用する必要があります。これらのプロセッサを構成して、条件または正規表現に基づいてログをドロップできます。OTTL(OpenTelemetry Transformation Language)構文を使用して、カスタム パイプラインの条件とステートメントを構成します。
- 条件: ログデータのフィールドまたは属性を評価します。
- 正規表現: 未加工のログメッセージ内のパターンを照合します。
- OTTL の例: ステートメントの例は
set(attributes["labels.myLabel.value"], "myValue")です。
フィルタリングは重要ですが、Transform プロセッサを使用して、保持するログから不要な大きなフィールドを削除したり、Redact プロセッサを使用して機密データを無効にしたりすることも検討できます。
ステップ 3: メソッド固有のフィルタリング戦略
以降のセクションでは、主な取り込みタイプごとに、データ処理パイプラインでフィルタリングを行う方法について説明します。
Google Cloud ログ
アップストリーム フィルタリング(推奨されるベスト プラクティス): 費用を最適化するため、Cloud Logging のエクスポート フィルタを使用して、ソースで Google Cloud ログをフィルタリングすることをおすすめします。これにより、不要なログが Google SecOps に送信されるのを防ぐことができます。必要に応じて、データ処理パイプラインを使用して追加のフィルタリングを行うことができます。詳細については、 Google Cloud データの取り込みガイド、特にエクスポート フィルタ設定をカスタマイズするセクションをご覧ください。
パイプライン アプリケーション: データ処理パイプラインを構成し、適切な Google Cloud ログタイプと取り込み方法(直接またはクラウド ネイティブ)を選択します。コンテンツに基づいて不要なログをドロップするフィルタ プロセッサを定義します。
Bindplane Agent
オンプレミス システムや他のクラウド システムから Bindplane エージェントによって収集されたログは、データ処理パイプラインを使用してフィルタできます。Bindplane ソースに関連付けられているログタイプとコレクタ ID に一致するようにストリームを構成します。詳細については、Google SecOps で Bindplane を使用するをご覧ください。
データフィード
フィードを使用して取り込まれたデータ(Cloud Storage、Amazon S3、サードパーティ API など)の場合、パイプライン ストリームの構成時にフィード名とログタイプを選択することで、データ処理パイプライン フィルタを適用できます。詳細については、フィードを操作するガイドをご覧ください。
Chronicle API の取り込み方法
Chronicle API の取り込みメソッドを使用してデータを送信する場合でも、データ処理パイプラインを活用できます。API 呼び出しで使用するログタイプと一致するようにパイプライン ストリームを構成します。これにより、カスタム ログ ストリームのサーバーサイド フィルタリングが可能になります。詳細については、Chronicle API の取り込み方法のガイドをご覧ください。
ベスト プラクティス
- 可能な場合はアップストリームをフィルタする: Google Cloudで説明したように、ログは常に可能な限りソースに近い場所でフィルタします。これは、データ転送と処理のオーバーヘッドを削減するため、最も費用対効果の高いアプローチです。
- 具体的に指定する: 既知の大量で価値の低いログを除外するために、最初は狭く明確に定義されたフィルタを使用します。有用なデータが誤って削除される可能性がある、過度に広範なフィルタは避けてください。
- 反復と改良: フィルタの効果を定期的に確認します。適切なイベントをキャッチしているか?フィルタリングが必要な新しいノイズはありますか?
- フィルタを文書化する: どのようなフィルタがどのような理由で設定されているかを記録しておきます。特に、複雑な正規表現や条件付きロジックを使用している場合は、この記録が重要になります。
検証とテスト
- テスト: フィルタは、まず非本番環境またはデータの小さなサブセットでテストする必要があります。
- フィルタを検証する: Bindplane コンソールのパイプライン エディタ内のテスト機能を使用します。これにより、サンプルログを入力し、プロセッサが適用された後の出力を確認して、フィルタが想定どおりに機能していることを確認できます。
- 取り込みをモニタリングする: パイプラインをデプロイした後、Google SecOps の取り込みダッシュボードをモニタリングして、データ量と費用への影響を観察します。詳細については、取り込み指標の概要をご覧ください。
- 構成を表示する: Google SecOps UI の [設定] > [データ マネジメント] > [データ処理] で、すべての構成を表示できます。
- 外部管理: 構成を検索し、[Open in Bindplane] をクリックして Bindplane コンソールに直接移動し、高度な管理を行うことができます。
制限事項
- サービスの上限: 過度に複雑な正規表現や、パイプラインあたりのプロセッサ数が多いと、パフォーマンスに影響したり、上限が適用されたりする可能性があります。サービスの上限で Google SecOps の上限を確認してください。
- Google SecOps パッケージ: Google SecOps パッケージの機能と性能を把握しておいてください。詳細については、Google SecOps パッケージをご覧ください。
- 再利用性: 1 つのログタイプまたはソースのパイプライン構成は強力ですが、調整なしで別のログタイプまたはソースに直接再利用できない場合があります。
- 最大プロセッサ数: パイプラインごとに最大 10 個のプロセッサを定義します。
- 正規表現のパフォーマンス: 正規表現の一致が過剰になると、タイムアウトによりパイプラインの作成やデプロイが失敗する可能性があるため、過剰な正規表現の一致は避けてください。データを JSON に解析して、特定のフィールドでフィルタすることをおすすめします。
- ストリームの関連付けの制約: 同じログタイプの異なるフィードに対して異なるパイプラインを作成できますが、まったく同じストリーム定義(同じフィード、同じログタイプのキャッチオールなど)を複数のアクティブなパイプラインに関連付けることはできません。ログタイプを [すべての取り込み方法] に設定すると、キャッチオールとして機能し、そのログタイプの特定のフィードに他のパイプラインを構成できなくなります。
さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。