Ringkasan ekstraksi otomatis

Didukung di:

Dokumen ini memberikan ringkasan tentang cara data diekstrak secara otomatis untuk meningkatkan kemampuan menyerap, memproses, dan menganalisis data.

Google Security Operations menggunakan parser bawaan untuk mengekstrak dan menyusun data log menggunakan skema Model Data Terpadu (UDM). Mengelola dan memelihara parser ini dapat menjadi tantangan karena beberapa batasan: ekstraksi data yang tidak lengkap, jumlah parser yang terus bertambah untuk dikelola, dan persyaratan untuk sering melakukan update seiring berkembangnya format log.

Untuk mengatasi tantangan ini, Anda dapat menggunakan fitur ekstraksi otomatis. Fitur ini otomatis mengekstrak key-value pair dari log berformat JSON dan XML yang diserap ke Google SecOps. Layanan ini juga mendukung log berformat Syslog yang menyertakan pesan JSON. Data yang diekstrak ini disimpan di kolom jenis peta UDM yang disebut extracted. Kemudian, Anda dapat menggunakan data ini dalam kueri penelusuran UDM, Dasbor Native, dan aturan YARA-L.

Sebagai praktik terbaik, penelusuran UDM yang menggunakan kolom yang diekstrak harus menyertakan metadata.log_type dalam kueri untuk meningkatkan performa kueri penelusuran.

Manfaat ekstraksi otomatis adalah berkurangnya ketergantungan pada parser, sehingga memastikan data tetap tersedia, bahkan saat parser tidak ada atau gagal mengurai log.

Mengurai dan mengekstrak data dari log mentah

  1. Penguraian: Google SecOps mencoba mengurai log menggunakan parser khusus untuk jenis log, jika tersedia. Jika tidak ada parser tertentu, atau jika penguraian gagal, Google SecOps akan menggunakan parser umum untuk mengekstrak informasi dasar seperti stempel waktu yang diserap, jenis log, dan label metadata.

  2. Ekstraksi Data: Ekstraksi otomatis tidak diaktifkan secara default. Aktifkan dan pilih kolom (titik data) tertentu yang ingin Anda ekstrak dari log.

  3. Pengayaan Peristiwa: Google SecOps menggabungkan data yang diuraikan dan kolom berformat kustom untuk membuat peristiwa yang diperkaya, sehingga memberikan lebih banyak konteks dan detail.

  4. Transfer Data Downstream: Peristiwa yang diperkaya ini kemudian dikirim ke sistem lain untuk analisis dan pemrosesan lebih lanjut.

  • Jika ada parser: Ekstraksi otomatis default tidak akan terjadi. Anda harus secara eksplisit memilih kolom tertentu yang diperlukan, seperti yang dijelaskan di bagian Bekerja dengan ekstraktor.
  • Jika tidak ada parser: Ekstraksi otomatis akan otomatis dimulai dan mengekstrak 100 kolom pertama.

Menggunakan ekstraktor

Ekstraktor memungkinkan Anda mengekstrak kolom dari semua sumber log yang didukung, dan dirancang untuk mengoptimalkan pengelolaan log. Dengan menggunakan ekstraktor, Anda dapat mengurangi ukuran peristiwa, meningkatkan efisiensi penguraian, dan mendapatkan kontrol yang lebih baik atas ekstraksi data. Hal ini sangat berguna untuk mengelola jenis log baru atau meminimalkan waktu pemrosesan.

Anda dapat membuat ekstraktor menggunakan menu Settings atau dengan melakukan penelusuran log mentah.

Membuat pengekstrak

  1. Buka panel Extract Additional Fields menggunakan salah satu metode berikut:

    • Klik Settings > Manajemen Data > Parsers. Jika Anda menggunakan platform khusus SIEM, buka Settings > Parsers. Lakukan hal berikut:
      1. Di tabel PARSERS yang muncul, identifikasi parser (sumber log) dan klik Menu > Extend Parser > Extract Additional Fields.
    • Gunakan Pemindaian Log Mentah dan lakukan hal berikut:
      1. Pilih sumber log (parser) yang diperlukan dari menu Log Sources.
      2. Dari hasil log mentah, pilih sumber log untuk membuka panel DATA PERISTIWA.
      3. Di panel EVENT DATA, klik Manage Parser > Extend Parser > Extract Additional Fields.
    • Gunakan penelusuran UDM dan lakukan hal berikut:
      1. Di tab EVENTS pada hasil penelusuran UDM, pilih sumber log untuk melihat panel Event Viewer.
      2. Di tab Raw Log, klik Manage Parser > Extend Parser > Extract Additional Fields.

  2. Di tab Select Extractors pada panel Extract Additional fields, pilih kolom log mentah yang diperlukan. Secara default, Anda dapat memilih hingga 100 kolom. Jika tidak ada kolom tambahan yang tersedia untuk ekstraksi, pemberitahuan peringatan akan ditampilkan.

    Klik tab Reference Raw Log untuk melihat data log mentah dan melihat pratinjau output UDM.

  3. Klik Simpan.

Ekstraktor yang baru dibuat diberi label sebagai EXTRACTOR. Kolom yang diekstrak ditampilkan dalam output UDM sebagaiextracted.field{"fieldName"}.

Melihat detail ekstraktor

  1. Buka baris ekstraktor di tabel PARSERS, lalu klik Menu > Extend Parser > View Extension.
  2. Di halaman VIEW CUSTOM PARSERS, klik tab Extensions and Extracted Fields.

Tab ini menampilkan informasi tentang ekstensi parser dan kolom ekstraktor. Anda dapat mengubah atau menghapus kolom dan melihat pratinjau output parser kustom dari halaman VIEW CUSTOM PARSERS.

Batasan

  • Jika ukuran peristiwa UDM batch melebihi 8,2 MB, log mentah dan semua kolom yang diekstrak akan dihapus.
  • Jika satu peristiwa UDM melebihi 500 KB, kolom yang diekstrak akan dihapus.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.