검색에 사용할 수 있는 데이터 이해하기

다음에서 지원:

이 문서에서는 엔드 투 엔드 데이터 흐름과 지연 시간, 그리고 이러한 요소가 최근 수집된 데이터를 쿼리 및 분석에 사용할 수 있는지 여부에 미치는 영향을 포함하여 데이터 수집 수명 주기를 자세히 설명합니다.

Google SecOps에서 데이터 수집 및 처리

이 섹션에서는 Google SecOps가 보안 데이터를 수집, 처리, 분석하는 방법을 설명합니다.

데이터 수집

데이터 수집 파이프라인은 다음과 같은 소스에서 원시 보안 데이터를 수집하는 것으로 시작됩니다.

  • 내부 시스템의 보안 로그
  • Cloud Storage에 저장된 데이터
  • 보안 운영 센터(SOC) 및 기타 내부 시스템

Google SecOps는 안전한 수집 방법 중 하나를 사용하여 이 데이터를 플랫폼으로 가져옵니다.

기본 수집 방법은 다음과 같습니다.

  • 직접 Google Cloud 수집

    Google SecOps는 직접 Google Cloud 수집을 사용하여 Cloud Logging, Cloud 애셋 인벤토리 메타데이터, Security Command Center Premium 발견 항목을 포함한 조직의 Google Cloud에서 로그 및 원격 분석 데이터를 자동으로 가져옵니다.

  • Ingestion API

    공개 REST Ingestion API를 사용하여 Google SecOps에 데이터를 직접 전송합니다. 이 방법은 커스텀 통합에 사용하거나 데이터를 비정형 로그 또는 사전 형식화된 통합 데이터 모델(UDM) 이벤트로 전송하는 데 사용됩니다.

  • Bindplane 에이전트

    환경(온프레미스 또는 다른 클라우드)에 다목적 Bindplane 에이전트를 배포하여 다양한 소스에서 로그를 수집하고 Google SecOps로 전달할 수 있습니다.

  • 데이터 피드

    Google SecOps에서는 특정 서드 파티 클라우드 스토리지 버킷(예: Amazon S3) 또는 서드 파티 API(예: Okta 또는 Microsoft 365)와 같은 서드 파티 소스에서 로그를 가져오도록 데이터 피드를 구성합니다.

정규화 및 데이터 보강

데이터가 Google SecOps에 도착하면 플랫폼은 다음 단계를 통해 데이터를 처리합니다.

  1. 파싱 및 정규화

    파서는 먼저 원시 로그 데이터를 처리하여 데이터를 원래 형식에서 표준화된 UDM으로 검증, 추출, 변환합니다. 파싱 및 정규화를 사용하면 단일의 일관된 스키마를 사용하여 서로 다른 데이터 소스(예: 방화벽 로그, 엔드포인트 데이터, 클라우드 로그)를 분석할 수 있습니다. 원래 원시 로그는 UDM 이벤트와 함께 저장됩니다.

  2. 색인 생성

    정규화 후 Google SecOps는 UDM 데이터의 색인을 생성하여 대규모 데이터 세트에서 빠른 쿼리 속도를 제공하므로 UDM 이벤트를 검색할 수 있습니다.

  3. UDM 별칭 지정 및 보강

    • Google SecOps는 로그 항목의 문맥 데이터와 지표를 식별하고 추가하여 유용한 컨텍스트로 UDM 이벤트를 보강하는 UDM 별칭 지정 및 보강을 수행합니다. 예를 들어 사용자의 login name를 다양한 IP addresses, hostnames, MAC addresses에 연결합니다.
    • 위치정보: Google SecOps는 IP 주소를 위치정보 데이터로 보강합니다.
  4. 심전도 보강

    • Google SecOps는 여러 소스(예: IdP, CMDB, 위협 인텔리전스)의 컨텍스트를 병합하는 ECG 별칭 지정을 수행하여 항목 컨텍스트 그래프에 통합 항목 프로필을 빌드합니다.

    • 위협 인텔리전스: Google SecOps는 Google Threat Intelligence 및 세이프 브라우징과 같은 소스를 포함하여 Google의 방대한 위협 인텔리전스와 이벤트 데이터를 자동으로 비교하여 domains, IP addresses, file hashes와 같은 알려진 악성 위협을 식별합니다.

    • WHOIS: Google SecOps는 공개 등록 WHOIS 정보로 도메인 이름을 보강합니다.

분석에 사용할 수 있는 데이터

처리 및 보강된 후 UDM 데이터를 즉시 분석할 수 있습니다.

  • 실시간 감지

    감지 엔진은 실시간 규칙이 사용 설정된 커스텀 및 Google에서 빌드한 규칙을 실시간 수신 데이터에 대해 자동으로 실행하여 위협을 식별하고 알림을 생성합니다.

  • 검색 및 조사

    분석가는 검색 방법을 사용하여 이 모든 정규화되고 보강된 데이터를 검색할 수 있습니다. 예를 들어 UDM 검색을 사용하여 관련 항목(예: user, asset, 악성 domain) 간에 피벗하고 알림을 조사합니다.

검색 메서드

Google SecOps는 데이터를 검색하는 여러 가지 방법을 제공하며, 각 방법은 서로 다른 용도로 사용됩니다.

UDM 검색은 대부분의 조사에 사용되는 기본적이고 가장 빠른 검색 방법입니다.

  • 검색 대상: 정규화되고 색인이 생성된 UDM 이벤트를 쿼리합니다. 모든 데이터가 이 표준 형식으로 파싱되므로 하나의 쿼리를 작성하여 모든 제품(예: Windows, Okta, Linux)에서 동일한 활동(예: 로그인)을 찾을 수 있습니다.
  • 작동 방식: 특정 문법을 사용하여 필드, 연산자, 값을 쿼리합니다.
  • 예: principal.hostname = "win-server" AND target.ip = "10.1.2.3"

    결과는 일반적으로 수집 후 2~15분 이내에 확인할 수 있습니다.

원시 로그 검색을 사용하여 UDM 필드에 매핑되지 않았을 수 있는 파싱되지 않은 원본 로그 메시지에서 항목을 찾습니다. 이 검색 방법은 빠른 추적에 최적화되어 있으며 일반적으로 파일 해시나 IP 주소와 같은 특정 지표에 대해 2초 이내에 결과를 반환합니다.

  • 검색 대상: 파싱 및 정규화되기 전의 원본 로그 텍스트를 스캔합니다. 이는 색인이 생성되지 않은 UDM 필드인 특정 문자열, 명령줄 인수 또는 기타 아티팩트를 찾는 데 유용합니다.
  • 작동 방식: raw = 프리픽스를 사용합니다. 색인이 생성된 필드를 검색하지 않으므로 UDM 검색보다 느릴 수 있습니다.
  • 예(문자열): raw = "PsExec.exe"
  • 예(정규식): raw = /admin\$/

수백만 행의 데이터를 집계하는 장기 추세에는 통계 검색을 사용합니다. 플랫폼에서 통계 분석 및 그룹화를 수행해야 하므로 이러한 쿼리의 로드 시간이 더 길어질 수 있습니다.

자연어 검색(Gemini)

자연어 검색(Gemini)을 사용하면 일반적인 영어로 질문할 수 있으며, Gemini가 이를 정식 UDM 쿼리로 변환합니다.

  • 검색 대상: UDM 데이터를 쿼리할 수 있는 대화형 인터페이스를 제공합니다.
  • 작동 방식: 질문을 입력하면 Gemini가 기본 UDM 검색어를 생성하며, 이를 실행하거나 세분화할 수 있습니다.
  • 예시: "지난 24시간 동안 'bob' 사용자의 실패한 로그인 모두 표시"

SOAR 검색은 SOAR 구성요소에만 적용됩니다. 로그를 탐색하는 것이 아니라 보안 사고를 관리하는 데 사용합니다.

  • 검색 대상: SOAR 플랫폼 내에서 케이스 및 항목(예: 사용자, 애셋, IP 주소)을 검색합니다.
  • 작동 방식: 자유 텍스트 또는 필드 기반 필터를 사용하여 ID, 알림 이름, 상태, 할당된 사용자 등으로 케이스를 찾을 수 있습니다.
  • 예: CaseIds:180 또는 AlertName:Brute Force 검색

검색 가능성을 위한 데이터 수집 파이프라인

엔드 투 엔드 데이터 가용성은 이벤트가 발생한 시점부터 Google SecOps에서 검색 또는 규칙 실행에 사용할 수 있는 시점까지의 총 시간입니다. 이 지연 시간은 다음 두 구성요소의 합계입니다.

  1. 소스 측 가용성 지연: 이벤트가 발생한 시점과 소스 시스템에서 수집을 위해 로그 데이터를 사용할 수 있게 되는 시점 사이의 시간입니다. 이 지연 시간은 소스 시스템의 아키텍처, 처리, 일괄 처리, API 게시 일정에 따라 달라집니다. Google SecOps는 이 지연에 영향을 미칠 수 없습니다. 예를 들어 시스템이 스토리지 버킷에 로그를 쓰거나 API 엔드포인트에 로그를 게시할 때 지연이 발생할 수 있습니다.

  2. Google SecOps 처리 시간: Google SecOps가 데이터를 수신한 후 처리하는 데 필요한 시간입니다. 이 기간에는 수집, 파싱, 정규화, 색인 생성, 보강과 같은 내부 파이프라인 단계가 포함됩니다.

데이터 공개 상태 타임라인 문제를 해결할 때는 두 구성요소를 모두 고려해야 합니다.

데이터 소스에서 발생하는 지연

다음 요소는 소스 측 가용성 지연에 영향을 줄 수 있습니다.

  • 일괄 처리: 일부 시스템은 설정된 간격(예: 매시간)으로 로그를 일괄 생성합니다.
  • API 지연 시간: 소스 API에는 새 이벤트를 쿼리할 수 있도록 하는 데 고유한 지연이 있을 수 있습니다.
  • 이벤트 생성 및 게시 시간: 로그의 이벤트 타임스탬프는 로그가 완료되고 수집할 수 있게 되는 타임스탬프보다 훨씬 이전일 수 있습니다.
  • 제한: 소스 측 API 비율 제한으로 인해 데이터 검색 속도가 느려질 수 있습니다.
  • 초기 백필: 대량의 이전 데이터를 제공하고 수집하는 데 시간이 걸립니다.

이러한 지연은 데이터 소스 및 로그 유형에 따라 다릅니다. 수집 방법에 대한 자세한 내용은 데이터 수집 개요를 참조하세요. 피드 관리 API 참조에서는 Microsoft Graph, SentinelOne, Okta, CrowdStrike와 같은 로그 유형에 대한 구체적인 고려사항을 설명합니다.

Google SecOps 처리 시간

시스템은 새로 수집된 데이터를 여러 단계를 거쳐 처리합니다. 이러한 단계의 기간에 따라 새로 수집된 데이터를 쿼리 및 분석에 사용할 수 있는 시점이 결정됩니다.

다음 표에서는 새로 수집된 데이터의 처리 단계를 검색 방법별로 분류합니다. 이 단계가 완료되면 새로 수집된 데이터를 검색할 수 있습니다.

검색 메소드 검색되는 데이터 가용성 시간에 영향을 미치는 처리 단계
정규화 및 보강된 UDM 이벤트
  1. 수집: 로그가 Google SecOps 수집 지점에 도착합니다.
  2. 파싱: 원시 로그가 특정 파서에 의해 식별되고 처리됩니다.
  3. 정규화: 데이터가 추출되어 UDM 스키마에 매핑됩니다.
  4. 색인 생성(UDM): 정규화된 UDM 레코드는 빠르고 구조화된 검색을 위해 색인이 생성됩니다.
  5. 보강: 컨텍스트(위협 인텔리전스, 지리적 위치, 사용자 또는 애셋 데이터)가 추가됩니다.
원시 로그 검색 파싱되지 않은 원본 로그 텍스트
  1. 수집: 로그가 Google SecOps 수집 지점에 도착합니다.
감지 엔진(규칙) 정규화된 이벤트
  1. UDM 이벤트 사용 가능 여부: UDM 검색에 나열된 단계와 동일합니다.
  2. 감지 평가: 규칙 엔진은 '마이크로 배치'로 로그를 평가하며, 일반적으로 이벤트가 도착한 후 5~10분 이내에 감지를 실행합니다.
SOAR 검색 케이스 및 항목 이는 로그가 아닌 알림 및 케이스를 검색하므로 다른 수명 주기입니다. 시간은 다음을 기준으로 합니다.
  1. UDM 이벤트 가용성: 'UDM 검색'에 나열된 것과 동일한 처리 단계를 사용합니다.
  2. 감지: 감지 엔진 규칙이 UDM 이벤트와 일치해야 합니다.
  3. 알림 생성: 시스템이 감지에서 공식 알림을 생성합니다.
  4. 케이스 생성: SOAR 플랫폼이 알림을 수집하고 케이스를 생성합니다.

데이터 흐름 예시

다음 예시에서는 Google SecOps가 보안 데이터를 수집, 처리, 보강, 분석하여 검색 및 추가 분석에 사용할 수 있도록 하는 방법을 보여줍니다.

데이터 처리 단계의 예

  1. Amazon S3와 같은 클라우드 서비스 또는Google Cloud에서 보안 데이터를 검색합니다. Google SecOps는 전송 중 데이터를 암호화합니다.
  2. 암호화된 보안 데이터를 계정에 분리하여 저장합니다. 액세스는 제품 지원, 개발, 유지보수를 위해 고객과 소수의 Google 직원으로 제한됩니다.
  3. 원시 보안 데이터를 파싱하고 유효성을 검사하므로 데이터를 더 쉽게 처리하고 볼 수 있습니다.
  4. 빠른 검색을 위해 데이터를 정규화하고 색인을 생성합니다.
  5. 파싱되고 색인이 생성된 데이터를 계정 내에 저장합니다.
  6. 문맥 데이터로 보강합니다.
  7. 사용자가 보안 데이터를 검색하고 검토할 수 있도록 안전한 액세스를 제공합니다.
  8. 보안 데이터를 Google Threat Intelligence 멀웨어 데이터베이스와 비교하여 일치 항목을 식별합니다. SIEM 검색에서 도메인, 파일 해시 또는 IP 주소의 개요 탭을 열고 VT 컨텍스트를 클릭하여 Google Threat Intelligence 정보를 확인합니다. Google SecOps는 보안 데이터를 Google Threat Intelligence와 공유하지 않습니다.

Google SecOps로 데이터 전달 및 처리

Google 검색에서 사용할 수 있을 때까지 예상되는 시간의 예

새로 수집된 데이터를 검색에 사용할 수 있을 때까지 예상되는 시간은 데이터 흐름에 따른 흐름 기간의 합계입니다.

예를 들어 UDM 검색에서 데이터 가용성의 일반적인 평균 시간은 데이터가 Google SecOps 수집 서비스로 전송된 시점으로부터 약 5분 30초입니다.

데이터 흐름 단계 설명 흐름 지속 시간
Cloud Storage에서 원시 로그로 Cloud Storage에서 원시 로그를 수집합니다. 30초 미만
보안 로그에서 데이터 전달 서비스로 내부 시스템에서 플랫폼으로 보안 로그를 전송합니다. 해당 사항 없음
원시 로그에 대한 데이터 전달 서비스 다양한 소스에서 수신한 원시 보안 데이터를 수집 파이프라인으로 전송합니다. 30초 미만
원시 로그에서 파싱 및 검증 원시 로그를 UDM 형식으로 파싱하고 검증합니다. 3분 미만
파싱 및 검증에서 색인으로 빠른 검색을 위해 파싱된 UDM 데이터의 색인을 생성합니다. 해당 사항 없음
색인에서 파싱된 고객 데이터로 이동 색인 생성된 데이터를 분석을 위해 파싱된 고객 데이터로 사용할 수 있게 합니다. 2분 미만

문제 해결

이 섹션에서는 문제 해결 가이드를 제공합니다.

지연 시간 및 한도

Google SecOps 플랫폼 내의 처리 및 시각화 지연은 Google SecOps가 데이터를 수신한 후 다음 아키텍처 한도가 적용됩니다.

  • 검색 노출: 처리 후 2~15분
  • 규칙 실행: 이벤트 도착 후 5~10분

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.