자동 추출 개요

다음에서 지원:

이 문서에서는 데이터를 수집, 처리, 분석하는 기능을 향상시키기 위해 데이터를 자동으로 추출하는 방법을 간략하게 설명합니다.

Google Security Operations는 사전 빌드된 파서를 사용하여 통합 데이터 모델(UDM) 스키마를 통해 로그 데이터를 추출하고 구조화합니다. 이러한 파서를 관리하고 유지보수하는 것은 불완전한 데이터 추출, 관리해야 하는 파서 수 증가, 로그 형식 진화에 따른 빈번한 업데이트 요구사항 등 여러 제한사항으로 인해 어려울 수 있습니다.

이러한 문제를 해결하기 위해 자동 추출 기능을 사용할 수 있습니다. 이 기능은 Google SecOps에 수집된 JSON 형식 및 XML 형식 로그에서 키-값 쌍을 자동으로 추출합니다. 또한 JSON 메시지가 포함된 Syslog 형식의 로그도 지원합니다. 이 추출된 데이터는 extracted라는 UDM 맵 유형 필드에 저장됩니다. 그런 다음 UDM 검색어, 기본 대시보드, YARA-L 규칙 내에서 이 데이터를 사용할 수 있습니다.

권장사항에 따라 추출된 필드를 사용하는 UDM 검색은 검색어 성능을 개선하기 위해 쿼리에 metadata.log_type을 포함해야 합니다.

자동 추출의 이점은 파서에 대한 의존도를 줄여 파서가 없거나 로그를 파싱하지 못하는 경우에도 데이터를 계속 사용할 수 있다는 것입니다.

원시 로그에서 데이터 파싱 및 추출

  1. 파싱: Google SecOps는 로그 유형에 맞는 파서(사용 가능한 경우)를 사용하여 로그를 파싱하려고 시도합니다. 특정 파서가 없거나 파싱에 실패하면 Google SecOps는 일반 파서를 사용하여 수집된 타임스탬프, 로그 유형, 메타데이터 라벨과 같은 기본 정보를 추출합니다.

  2. 데이터 추출: 자동 추출은 기본적으로 사용 설정되지 않습니다. 로그에서 추출할 특정 필드(데이터 포인트)를 선택합니다.

  3. 이벤트 보강: Google SecOps는 파싱된 데이터와 커스텀 형식 필드를 결합하여 보강된 이벤트를 만들어 더 많은 컨텍스트와 세부정보를 제공합니다.

  4. 다운스트림 데이터 전송: 그런 다음 이러한 보강된 이벤트는 추가 분석 및 처리를 위해 다른 시스템으로 전송됩니다.

  • 파서가 있는 경우: 기본 자동 추출이 발생하지 않습니다. 추출기 작업 섹션에 설명된 대로 필요한 특정 필드를 명시적으로 선택해야 합니다.
  • 파서가 없는 경우: 자동 추출이 자동으로 시작되고 처음 100개의 필드를 추출합니다.

추출기 작업

추출기를 사용하면 지원되는 모든 로그 소스에서 필드를 추출할 수 있으며, 로그 관리를 최적화하도록 설계되었습니다. 추출기를 사용하면 이벤트 크기를 줄이고 파싱 효율성을 높이며 데이터 추출을 더 효과적으로 제어할 수 있습니다. 이는 특히 새 로그 유형을 관리하거나 처리 시간을 최소화하는 데 유용합니다.

설정 메뉴를 사용하거나 원시 로그 검색을 수행하여 추출기를 만들 수 있습니다.

추출기 만들기

  1. 다음 방법 중 하나를 사용하여 추가 필드 추출 창으로 이동합니다.

    • thought 설정 > 데이터 관리 > 파서를 클릭합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 파서로 이동합니다. 다음 단계를 따르세요.
      1. 표시되는 파서 테이블에서 파서(로그 소스)를 식별하고 메뉴 > 파서 확장 > 추가 필드 추출을 클릭합니다.
    • 원시 로그 스캔을 사용하고 다음을 수행합니다.
      1. 로그 소스 메뉴에서 필요한 로그 소스(파서)를 선택합니다.
      2. 원시 로그 결과에서 로그 소스를 선택하여 이벤트 데이터 창을 엽니다.
      3. 이벤트 데이터 창에서 파서 관리 > 파서 확장 > 추가 필드 추출을 클릭합니다.
    • UDM 검색을 사용하여 다음을 수행합니다.
      1. UDM 검색 결과의 이벤트 탭에서 로그 소스를 선택하여 이벤트 뷰어 창을 표시합니다.
      2. 원시 로그 탭에서 파서 관리 > 파서 확장 > 추가 필드 추출을 클릭합니다.

  2. 추가 필드 추출 창의 추출기 선택 탭에서 필요한 원시 로그 필드를 선택합니다. 기본적으로 최대 100개의 필드를 선택할 수 있습니다. 추출할 수 있는 추가 필드가 없으면 경고 알림이 표시됩니다.

    참조 원시 로그 탭을 클릭하여 원시 로그 데이터를 보고 UDM 출력을 미리 봅니다.

  3. 저장을 클릭합니다.

새로 생성된 추출기는 EXTRACTOR로 라벨이 지정됩니다. 추출된 필드는 UDM 출력에 extracted.field{"fieldName"}로 표시됩니다.

추출기 세부정보 보기

  1. 파서 테이블의 추출기 행으로 이동하여 메뉴 > 파서 확장 > 확장 프로그램 보기를 클릭합니다.
  2. 커스텀 파서 보기 페이지에서 확장 프로그램 및 추출된 필드 탭을 클릭합니다.

이 탭에는 파서 확장 프로그램 및 추출기 필드에 대한 정보가 표시됩니다. 커스텀 파서 보기 페이지에서 필드를 수정하거나 삭제하고 파서 출력을 미리 볼 수 있습니다.

제한사항

  • 일괄 UDM 이벤트 크기가 8.2MB를 초과하면 원시 로그와 추출된 모든 필드가 삭제됩니다.
  • 단일 UDM 이벤트가 500KB를 초과하면 추출된 필드가 삭제됩니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.