Memahami ketersediaan data untuk penelusuran

Didukung di:

Dokumen ini menjelaskan siklus proses penyerapan data, termasuk aliran data dan latensi menyeluruh, serta pengaruh faktor-faktor ini terhadap ketersediaan data yang baru diserap untuk pembuatan kueri dan analisis.

Menyerap dan memproses data di Google SecOps

Bagian ini menjelaskan cara Google SecOps menyerap, memproses, dan menganalisis data keamanan.

Penyerapan data

Pipeline penyerapan data dimulai dengan mengumpulkan data keamanan mentah Anda dari sumber seperti:

  • Log keamanan dari sistem internal Anda
  • Data yang disimpan di Cloud Storage
  • Pusat Operasi Keamanan (SOC) dan sistem internal lainnya

Google SecOps membawa data ini ke platform menggunakan salah satu metode penyerapan yang aman.

Metode penyerapan utamanya adalah:

  • Penyerapan Google Cloud langsung

    Google SecOps menggunakan penyerapan langsung Google Cloud untuk otomatis menarik log dan data telemetri dari organisasi Anda Google Cloud, termasuk Cloud Logging, metadata Inventaris Aset Cloud, dan temuan Security Command Center Premium.

  • Ingestion API

    Kirim data langsung ke Google SecOps menggunakan Ingestion API REST publiknya. Anda menggunakan metode ini untuk integrasi kustom atau untuk mengirim data sebagai log tidak terstruktur atau peristiwa Unified Data Model (UDM) yang telah diformat sebelumnya.

  • Agen Bindplane

    Anda dapat men-deploy agen Bindplane yang serbaguna di lingkungan Anda (lokal atau cloud lain) untuk mengumpulkan log dari berbagai sumber dan meneruskannya ke Google SecOps.

  • Feed data

    Di Google SecOps, Anda mengonfigurasi feed data untuk mengambil log dari sumber pihak ketiga, seperti bucket penyimpanan cloud pihak ketiga tertentu (seperti Amazon S3) atau API pihak ketiga (seperti Okta atau Microsoft 365).

Normalisasi dan pengayaan data

Setelah data masuk ke Google SecOps, platform akan memprosesnya melalui tahap-tahap berikut:

  1. Penguraian dan normalisasi

    Parser terlebih dahulu memproses data log mentah untuk memvalidasi, mengekstrak, dan mengubah data dari format aslinya menjadi UDM standar. Penguraian dan normalisasi memungkinkan Anda menganalisis sumber data yang berbeda (misalnya, log firewall, data endpoint, log cloud) menggunakan satu skema yang konsisten. Log mentah asli tetap disimpan bersama peristiwa UDM.

  2. Pengindeksan

    Setelah normalisasi, Google SecOps mengindeks data UDM untuk memberikan kecepatan kueri yang cepat di seluruh set data yang sangat besar, sehingga peristiwa UDM dapat ditelusuri.

  3. Aliasing dan pengayaan UDM

    • Google SecOps melakukan pengayaan dan aliasing UDM untuk memperkaya peristiwa UDM dengan konteks yang berharga, dengan mengidentifikasi dan menambahkan data konteks dan indikator untuk entitas log. Misalnya, ID ini menghubungkan login name pengguna ke berbagai IP addresses, hostnames, dan MAC addresses miliknya.
    • Geolokasi: Google SecOps memperkaya alamat IP dengan data geolokasi.
  4. Pengayaan EKG

    • Google SecOps melakukan aliasing ECG yang menggabungkan konteks dari beberapa sumber (seperti IdP, CMDB, dan threat intelligence), untuk membangun profil entity gabungan dalam grafik konteks entity.

    • Threat intelligence: Google SecOps otomatis membandingkan data peristiwa dengan threat intelligence Google yang luas, termasuk sumber seperti Google Threat Intelligence dan Safe Browsing, untuk mengidentifikasi ancaman berbahaya yang diketahui, seperti domains, IP addresses, dan file hashes.

    • WHOIS: Google SecOps memperkaya nama domain dengan informasi WHOIS pendaftaran publiknya.

Ketersediaan data untuk analisis

Setelah diproses dan diperkaya, data UDM akan segera tersedia untuk dianalisis:

  • Deteksi real-time

    Detection Engine secara otomatis menjalankan aturan kustom dan buatan Google yang mengaktifkan Live Rule terhadap data masuk langsung untuk mengidentifikasi ancaman dan membuat pemberitahuan.

  • Penelusuran dan investigasi

    Analis dapat menggunakan Metode penelusuran untuk menelusuri semua data yang telah dinormalisasi dan diperkaya ini. Misalnya, menggunakan penelusuran UDM untuk beralih antara entitas terkait (seperti user, ke asset, ke domain berbahaya), dan menyelidiki pemberitahuan.

Metode penelusuran

Google SecOps menyediakan beberapa metode berbeda untuk menelusuri data Anda, yang masing-masing memiliki tujuan berbeda.

Penelusuran UDM adalah metode penelusuran utama dan tercepat, yang digunakan untuk sebagian besar investigasi.

  • Yang ditelusuri: Menelusuri peristiwa UDM yang dinormalisasi dan diindeks. Karena semua data diuraikan ke dalam format standar ini, Anda dapat menulis satu kueri untuk menemukan aktivitas yang sama (seperti login) di semua produk yang berbeda (misalnya, Windows, Okta, Linux).
  • Cara kerjanya: Anda menggunakan sintaksis tertentu untuk mengkueri kolom, operator, dan nilai.
  • Contoh: principal.hostname = "win-server" AND target.ip = "10.1.2.3"

    Hasil biasanya tersedia dalam waktu 2–15 menit setelah penyerapan.

Gunakan Penelusuran log mentah untuk menemukan sesuatu dalam pesan log asli yang belum diurai dan mungkin belum dipetakan ke kolom UDM. Metode penelusuran ini dioptimalkan untuk perburuan berkecepatan tinggi, yang biasanya menampilkan hasil dalam waktu kurang dari 2 detik untuk indikator tertentu seperti hash file atau alamat IP.

  • Yang ditelusuri: Menelusuri teks mentah asli dari log sebelum diuraikan dan dinormalisasi. Hal ini berguna untuk menemukan string tertentu, argumen command line, atau artefak lain yang bukan kolom UDM yang diindeks.
  • Cara kerjanya: Anda menggunakan awalan raw =. Penelusuran ini bisa lebih lambat daripada penelusuran UDM karena tidak menelusuri kolom yang diindeks.
  • Contoh (String): raw = "PsExec.exe"
  • Contoh (Regex): raw = /admin\$/

Gunakan Penelusuran statistik untuk tren jangka panjang yang menggabungkan jutaan baris data. Karena platform harus melakukan analisis dan pengelompokan statistik, waktu pemuatan untuk kueri ini akan lebih lama.

Penelusuran bahasa alami (Gemini)

Penelusuran bahasa alami (Gemini) memungkinkan Anda menggunakan bahasa Inggris sederhana untuk mengajukan pertanyaan, yang kemudian diterjemahkan oleh Gemini menjadi kueri UDM formal.

  • Yang ditelusuri: Gemini menyediakan antarmuka percakapan untuk mengkueri data UDM.
  • Cara kerjanya: Anda mengetik pertanyaan, dan Gemini akan membuat kueri penelusuran UDM yang mendasarinya untuk Anda, yang kemudian dapat Anda jalankan atau perbaiki.
  • Contoh: "Tampilkan semua login yang gagal dari pengguna 'bob' dalam 24 jam terakhir"

Penelusuran SOAR khusus untuk komponen SOAR. Anda menggunakannya untuk mengelola insiden keamanan, bukan untuk mencari di log.

  • Yang ditelusuri: Menelusuri Kasus dan Entitas (seperti pengguna, aset, alamat IP) dalam platform SOAR.
  • Cara kerjanya: Anda dapat menggunakan filter berbasis kolom atau teks bebas untuk menemukan kasus, misalnya, berdasarkan ID, nama notifikasi, status, dan pengguna yang ditugaskan.
  • Contoh: Telusuri CaseIds:180 atau AlertName:Brute Force

Pipeline penyerapan data untuk ketersediaan penelusuran

Ketersediaan data menyeluruh adalah total waktu antara saat peristiwa terjadi dan saat peristiwa tersebut tersedia untuk penelusuran atau eksekusi aturan di Google SecOps. Latensi ini adalah jumlah dari dua komponen berikut:

  1. Penundaan ketersediaan sisi sumber: Waktu antara saat peristiwa terjadi dan saat sistem sumber menyediakan data log untuk penyerapan. Penundaan ini bergantung pada arsitektur, pemrosesan, pengelompokan, dan jadwal publikasi API sistem sumber. Google SecOps tidak dapat memengaruhi penundaan ini. Contohnya mencakup penundaan saat sistem menulis log ke bucket penyimpanan atau memublikasikannya ke endpoint API.

  2. Waktu pemrosesan Google SecOps: Waktu yang diperlukan Google SecOps untuk memproses data setelah menerimanya. Durasi ini mencakup tahap pipeline internal seperti penyerapan, penguraian, normalisasi, pengindeksan, dan pengayaan.

Anda harus mempertimbangkan kedua komponen tersebut saat memecahkan masalah terkait rentang waktu visibilitas data.

Penundaan yang berasal dari sumber data

Faktor-faktor berikut dapat memengaruhi keterlambatan ketersediaan di sisi sumber:

  • Pemrosesan batch: Beberapa sistem menghasilkan log dalam batch pada interval yang ditetapkan (misalnya, setiap jam).
  • Latensi API: API sumber dapat memiliki penundaan yang melekat dalam membuat peristiwa baru dapat dikueri.
  • Waktu pembuatan dan publikasi peristiwa: Stempel waktu peristiwa dalam log mungkin jauh lebih awal daripada stempel waktu saat log diselesaikan dan tersedia untuk pengumpulan.
  • Throttling: Batas kapasitas API sisi sumber dapat memperlambat pengambilan data.
  • Pengisian ulang awal: Menyajikan dan menyerap data historis dalam jumlah besar memerlukan waktu.

Penundaan ini bervariasi menurut sumber data dan jenis log. Untuk mengetahui detail selengkapnya tentang metode penyerapan, lihat Ringkasan penyerapan data. Referensi API pengelolaan feed menjelaskan pertimbangan khusus untuk jenis log seperti Microsoft Graph, SentinelOne, Okta, dan CrowdStrike.

Waktu pemrosesan Google SecOps

Sistem memproses data yang baru diserap melalui beberapa langkah. Durasi langkah-langkah ini menentukan kapan data yang baru diserap tersedia untuk kueri dan analisis.

Tabel berikut menguraikan langkah-langkah pemrosesan untuk data yang baru diserap berdasarkan metode penelusuran. Data yang baru diserap dapat ditelusuri setelah langkah-langkah ini selesai.

Metode penelusuran Data yang ditelusuri Langkah pemrosesan yang berkontribusi pada waktu ketersediaan
Peristiwa UDM yang dinormalisasi dan diperkaya
  1. Penyerapan: Log tiba di titik penyerapan Google SecOps.
  2. Penguraian: Log mentah diidentifikasi dan diproses oleh parser spesifiknya.
  3. Normalisasi: Data diekstrak dan dipetakan ke skema UDM.
  4. Pengindeksan (UDM): Data UDM yang dinormalisasi diindeks untuk penelusuran yang cepat dan terstruktur.
  5. Pengayaan: Konteks (threat intelligence, geolokasi, data pengguna atau aset) ditambahkan.
Penelusuran log mentah Teks log asli yang belum diurai
  1. Penyerapan: Log tiba di titik penyerapan Google SecOps.
Detection Engine (Aturan) Peristiwa yang dinormalisasi
  1. Ketersediaan peristiwa UDM: Langkah yang sama seperti yang tercantum untuk penelusuran UDM.
  2. Evaluasi deteksi: Rules Engine mengevaluasi log dalam "micro-batch", yang biasanya memicu deteksi dalam waktu 5–10 menit setelah peristiwa terjadi.
Penelusuran SOAR Kasus dan entitas Ini adalah siklus proses yang berbeda, karena menelusuri pemberitahuan dan kasus, bukan log. Waktu didasarkan pada:
  1. Ketersediaan peristiwa UDM: Menggunakan langkah-langkah pemrosesan yang sama seperti yang tercantum untuk "Penelusuran UDM".
  2. Detection: Aturan Detection Engine harus cocok dengan peristiwa UDM.
  3. Pembuatan pemberitahuan: Sistem membuat pemberitahuan formal dari deteksi.
  4. Pembuatan kasus: Platform SOAR menyerap pemberitahuan dan membuat kasus.

Contoh aliran data

Contoh berikut menunjukkan cara Google SecOps menyerap, memproses, meningkatkan, dan menganalisis data keamanan Anda, sehingga tersedia untuk penelusuran dan analisis lebih lanjut.

Contoh langkah-langkah pemrosesan data

  1. Mengambil data keamanan dari layanan cloud seperti Amazon S3 atau dari Google Cloud. Google SecOps mengenkripsi data ini saat dalam pengiriman.
  2. Memisahkan dan menyimpan data keamanan terenkripsi Anda di akun Anda. Akses dibatasi untuk Anda dan sejumlah kecil personel Google untuk dukungan, pengembangan, dan pemeliharaan produk.
  3. Mengurai dan memvalidasi data keamanan mentah, sehingga lebih mudah diproses dan dilihat.
  4. Menormalisasi dan mengindeks data untuk penelusuran cepat.
  5. Menyimpan data yang diuraikan dan diindeks dalam akun Anda.
  6. Memperkaya dengan data konteks.
  7. Menawarkan akses yang aman bagi pengguna untuk menelusuri dan meninjau data keamanan mereka.
  8. Membandingkan data keamanan Anda dengan database malware Google Threat Intelligence untuk mengidentifikasi kecocokan. Di SIEM Search, buka tab Overview untuk domain, hash file, atau alamat IP, lalu klik VT Context untuk melihat informasi Google Threat Intelligence. Google SecOps tidak membagikan data keamanan Anda kepada Google Threat Intelligence.

Alur dan pemrosesan data ke Google SecOps

Contoh perkiraan waktu hingga ketersediaan Penelusuran

Perkiraan waktu hingga data yang baru diserap tersedia untuk Penelusuran adalah jumlah durasi alur di sepanjang aliran data.

Misalnya, waktu rata-rata standar untuk ketersediaan data dalam penelusuran UDM adalah sekitar 5 menit dan 30 detik sejak data dikirim ke layanan penyerapan Google SecOps.

Langkah aliran data Deskripsi Durasi alur
Cloud Storage ke Log mentah Menyerap log mentah dari Cloud Storage. Kurang dari 30 detik
Log keamanan ke Layanan penerusan data Mengirimkan log keamanan dari sistem internal ke platform. T/A
Layanan penerusan data ke Log mentah Mengirim data keamanan mentah yang diterima dari berbagai sumber ke pipeline penyerapan. Kurang dari 30 detik
Raw logs ke Parse and validate Mengurai dan memvalidasi log mentah ke dalam format UDM. Kurang dari 3 menit
Mengurai dan memvalidasi ke Indeks Mengindeks data UDM yang diurai untuk penelusuran cepat. T/A
Indeks ke data pelanggan yang diurai Menyediakan data yang diindeks sebagai data pelanggan yang diurai untuk analisis. Kurang dari 2 menit

Pemecahan masalah

Bagian ini memberikan panduan pemecahan masalah.

Latensi dan batas

Penundaan pemrosesan dan visualisasi dalam platform Google SecOps tunduk pada batasan arsitektur berikut setelah Google SecOps menerima data:

  • Visibilitas penelusuran: 2 hingga 15 menit setelah penyerapan.
  • Eksekusi aturan: 5 hingga 10 menit setelah peristiwa diterima.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.