Memahami ketersediaan data untuk penelusuran
Dokumen ini menjelaskan siklus proses penyerapan data, termasuk aliran data dan latensi menyeluruh, serta pengaruh faktor-faktor ini terhadap ketersediaan data yang baru diserap untuk pembuatan kueri dan analisis.
Menyerap dan memproses data di Google SecOps
Bagian ini menjelaskan cara Google SecOps menyerap, memproses, dan menganalisis data keamanan.
Penyerapan data
Pipeline penyerapan data dimulai dengan mengumpulkan data keamanan mentah Anda dari sumber seperti:
- Log keamanan dari sistem internal Anda
- Data yang disimpan di Cloud Storage
- Pusat Operasi Keamanan (SOC) dan sistem internal lainnya
Google SecOps membawa data ini ke platform menggunakan salah satu metode penyerapan yang aman.
Metode penyerapan utamanya adalah:
Penyerapan Google Cloud langsung
Google SecOps menggunakan penyerapan langsung Google Cloud untuk otomatis menarik log dan data telemetri dari organisasi Anda Google Cloud, termasuk Cloud Logging, metadata Inventaris Aset Cloud, dan temuan Security Command Center Premium.
Ingestion API
Kirim data langsung ke Google SecOps menggunakan Ingestion API REST publiknya. Anda menggunakan metode ini untuk integrasi kustom atau untuk mengirim data sebagai log tidak terstruktur atau peristiwa Unified Data Model (UDM) yang telah diformat sebelumnya.
Agen Bindplane
Anda dapat men-deploy agen Bindplane yang serbaguna di lingkungan Anda (lokal atau cloud lain) untuk mengumpulkan log dari berbagai sumber dan meneruskannya ke Google SecOps.
Feed data
Di Google SecOps, Anda mengonfigurasi feed data untuk mengambil log dari sumber pihak ketiga, seperti bucket penyimpanan cloud pihak ketiga tertentu (seperti Amazon S3) atau API pihak ketiga (seperti Okta atau Microsoft 365).
Normalisasi dan pengayaan data
Setelah data masuk ke Google SecOps, platform akan memprosesnya melalui tahap-tahap berikut:
Penguraian dan normalisasi
Parser terlebih dahulu memproses data log mentah untuk memvalidasi, mengekstrak, dan mengubah data dari format aslinya menjadi UDM standar. Penguraian dan normalisasi memungkinkan Anda menganalisis sumber data yang berbeda (misalnya, log firewall, data endpoint, log cloud) menggunakan satu skema yang konsisten. Log mentah asli tetap disimpan bersama peristiwa UDM.
Pengindeksan
Setelah normalisasi, Google SecOps mengindeks data UDM untuk memberikan kecepatan kueri yang cepat di seluruh set data yang sangat besar, sehingga peristiwa UDM dapat ditelusuri.
Aliasing dan pengayaan UDM
- Google SecOps melakukan pengayaan dan aliasing UDM
untuk memperkaya peristiwa UDM dengan konteks yang berharga, dengan mengidentifikasi dan menambahkan
data konteks dan indikator untuk entitas log. Misalnya, ID ini menghubungkan
login namepengguna ke berbagaiIP addresses,hostnames, danMAC addressesmiliknya. - Geolokasi: Google SecOps memperkaya alamat IP dengan data geolokasi.
- Google SecOps melakukan pengayaan dan aliasing UDM
untuk memperkaya peristiwa UDM dengan konteks yang berharga, dengan mengidentifikasi dan menambahkan
data konteks dan indikator untuk entitas log. Misalnya, ID ini menghubungkan
Pengayaan EKG
Google SecOps melakukan aliasing ECG yang menggabungkan konteks dari beberapa sumber (seperti IdP, CMDB, dan threat intelligence), untuk membangun profil entity gabungan dalam grafik konteks entity.
Threat intelligence: Google SecOps otomatis membandingkan data peristiwa dengan threat intelligence Google yang luas, termasuk sumber seperti Google Threat Intelligence dan Safe Browsing, untuk mengidentifikasi ancaman berbahaya yang diketahui, seperti
domains,IP addresses, danfile hashes.WHOIS: Google SecOps memperkaya nama domain dengan informasi WHOIS pendaftaran publiknya.
Ketersediaan data untuk analisis
Setelah diproses dan diperkaya, data UDM akan segera tersedia untuk dianalisis:
Deteksi real-time
Detection Engine secara otomatis menjalankan aturan kustom dan buatan Google yang mengaktifkan Live Rule terhadap data masuk langsung untuk mengidentifikasi ancaman dan membuat pemberitahuan.
Penelusuran dan investigasi
Analis dapat menggunakan Metode penelusuran untuk menelusuri semua data yang telah dinormalisasi dan diperkaya ini. Misalnya, menggunakan penelusuran UDM untuk beralih antara entitas terkait (seperti
user, keasset, kedomainberbahaya), dan menyelidiki pemberitahuan.
Metode penelusuran
Google SecOps menyediakan beberapa metode berbeda untuk menelusuri data Anda, yang masing-masing memiliki tujuan berbeda.
Penelusuran UDM
Penelusuran UDM adalah metode penelusuran utama dan tercepat, yang digunakan untuk sebagian besar investigasi.
- Yang ditelusuri: Menelusuri peristiwa UDM yang dinormalisasi dan diindeks. Karena semua data diuraikan ke dalam format standar ini, Anda dapat menulis satu kueri untuk menemukan aktivitas yang sama (seperti login) di semua produk yang berbeda (misalnya, Windows, Okta, Linux).
- Cara kerjanya: Anda menggunakan sintaksis tertentu untuk mengkueri kolom, operator, dan nilai.
Contoh:
principal.hostname = "win-server" AND target.ip = "10.1.2.3"Hasil biasanya tersedia dalam waktu 2–15 menit setelah penyerapan.
Penelusuran log mentah
Gunakan Penelusuran log mentah untuk menemukan sesuatu dalam pesan log asli yang belum diurai dan mungkin belum dipetakan ke kolom UDM. Metode penelusuran ini dioptimalkan untuk perburuan berkecepatan tinggi, yang biasanya menampilkan hasil dalam waktu kurang dari 2 detik untuk indikator tertentu seperti hash file atau alamat IP.
- Yang ditelusuri: Menelusuri teks mentah asli dari log sebelum diuraikan dan dinormalisasi. Hal ini berguna untuk menemukan string tertentu, argumen command line, atau artefak lain yang bukan kolom UDM yang diindeks.
- Cara kerjanya: Anda menggunakan awalan
raw =. Penelusuran ini bisa lebih lambat daripada penelusuran UDM karena tidak menelusuri kolom yang diindeks. - Contoh (String):
raw = "PsExec.exe" - Contoh (Regex):
raw = /admin\$/
Penelusuran statistik
Gunakan Penelusuran statistik untuk tren jangka panjang yang menggabungkan jutaan baris data. Karena platform harus melakukan analisis dan pengelompokan statistik, waktu pemuatan untuk kueri ini akan lebih lama.
Penelusuran bahasa alami (Gemini)
Penelusuran bahasa alami (Gemini) memungkinkan Anda menggunakan bahasa Inggris sederhana untuk mengajukan pertanyaan, yang kemudian diterjemahkan oleh Gemini menjadi kueri UDM formal.
- Yang ditelusuri: Gemini menyediakan antarmuka percakapan untuk mengkueri data UDM.
- Cara kerjanya: Anda mengetik pertanyaan, dan Gemini akan membuat kueri penelusuran UDM yang mendasarinya untuk Anda, yang kemudian dapat Anda jalankan atau perbaiki.
- Contoh: "Tampilkan semua login yang gagal dari pengguna 'bob' dalam 24 jam terakhir"
Penelusuran SOAR
Penelusuran SOAR khusus untuk komponen SOAR. Anda menggunakannya untuk mengelola insiden keamanan, bukan untuk mencari di log.
- Yang ditelusuri: Menelusuri Kasus dan Entitas (seperti pengguna, aset, alamat IP) dalam platform SOAR.
- Cara kerjanya: Anda dapat menggunakan filter berbasis kolom atau teks bebas untuk menemukan kasus, misalnya, berdasarkan ID, nama notifikasi, status, dan pengguna yang ditugaskan.
- Contoh: Telusuri
CaseIds:180atauAlertName:Brute Force
Pipeline penyerapan data untuk ketersediaan penelusuran
Ketersediaan data menyeluruh adalah total waktu antara saat peristiwa terjadi dan saat peristiwa tersebut tersedia untuk penelusuran atau eksekusi aturan di Google SecOps. Latensi ini adalah jumlah dari dua komponen berikut:
Penundaan ketersediaan sisi sumber: Waktu antara saat peristiwa terjadi dan saat sistem sumber menyediakan data log untuk penyerapan. Penundaan ini bergantung pada arsitektur, pemrosesan, pengelompokan, dan jadwal publikasi API sistem sumber. Google SecOps tidak dapat memengaruhi penundaan ini. Contohnya mencakup penundaan saat sistem menulis log ke bucket penyimpanan atau memublikasikannya ke endpoint API.
Waktu pemrosesan Google SecOps: Waktu yang diperlukan Google SecOps untuk memproses data setelah menerimanya. Durasi ini mencakup tahap pipeline internal seperti penyerapan, penguraian, normalisasi, pengindeksan, dan pengayaan.
Anda harus mempertimbangkan kedua komponen tersebut saat memecahkan masalah terkait rentang waktu visibilitas data.
Penundaan yang berasal dari sumber data
Faktor-faktor berikut dapat memengaruhi keterlambatan ketersediaan di sisi sumber:
- Pemrosesan batch: Beberapa sistem menghasilkan log dalam batch pada interval yang ditetapkan (misalnya, setiap jam).
- Latensi API: API sumber dapat memiliki penundaan yang melekat dalam membuat peristiwa baru dapat dikueri.
- Waktu pembuatan dan publikasi peristiwa: Stempel waktu peristiwa dalam log mungkin jauh lebih awal daripada stempel waktu saat log diselesaikan dan tersedia untuk pengumpulan.
- Throttling: Batas kapasitas API sisi sumber dapat memperlambat pengambilan data.
- Pengisian ulang awal: Menyajikan dan menyerap data historis dalam jumlah besar memerlukan waktu.
Penundaan ini bervariasi menurut sumber data dan jenis log. Untuk mengetahui detail selengkapnya tentang metode penyerapan, lihat Ringkasan penyerapan data. Referensi API pengelolaan feed menjelaskan pertimbangan khusus untuk jenis log seperti Microsoft Graph, SentinelOne, Okta, dan CrowdStrike.
Waktu pemrosesan Google SecOps
Sistem memproses data yang baru diserap melalui beberapa langkah. Durasi langkah-langkah ini menentukan kapan data yang baru diserap tersedia untuk kueri dan analisis.
Tabel berikut menguraikan langkah-langkah pemrosesan untuk data yang baru diserap berdasarkan metode penelusuran. Data yang baru diserap dapat ditelusuri setelah langkah-langkah ini selesai.
| Metode penelusuran | Data yang ditelusuri | Langkah pemrosesan yang berkontribusi pada waktu ketersediaan |
|---|---|---|
| Peristiwa UDM yang dinormalisasi dan diperkaya |
|
|
| Penelusuran log mentah | Teks log asli yang belum diurai |
|
| Detection Engine (Aturan) | Peristiwa yang dinormalisasi |
|
| Penelusuran SOAR | Kasus dan entitas |
Ini adalah siklus proses yang berbeda, karena menelusuri pemberitahuan dan kasus, bukan log. Waktu didasarkan pada:
|
Contoh aliran data
Contoh berikut menunjukkan cara Google SecOps menyerap, memproses, meningkatkan, dan menganalisis data keamanan Anda, sehingga tersedia untuk penelusuran dan analisis lebih lanjut.
Contoh langkah-langkah pemrosesan data
- Mengambil data keamanan dari layanan cloud seperti Amazon S3 atau dari Google Cloud. Google SecOps mengenkripsi data ini saat dalam pengiriman.
- Memisahkan dan menyimpan data keamanan terenkripsi Anda di akun Anda. Akses dibatasi untuk Anda dan sejumlah kecil personel Google untuk dukungan, pengembangan, dan pemeliharaan produk.
- Mengurai dan memvalidasi data keamanan mentah, sehingga lebih mudah diproses dan dilihat.
- Menormalisasi dan mengindeks data untuk penelusuran cepat.
- Menyimpan data yang diuraikan dan diindeks dalam akun Anda.
- Memperkaya dengan data konteks.
- Menawarkan akses yang aman bagi pengguna untuk menelusuri dan meninjau data keamanan mereka.
- Membandingkan data keamanan Anda dengan database malware Google Threat Intelligence untuk mengidentifikasi kecocokan. Di SIEM Search, buka tab Overview untuk domain, hash file, atau alamat IP, lalu klik VT Context untuk melihat informasi Google Threat Intelligence. Google SecOps tidak membagikan data keamanan Anda kepada Google Threat Intelligence.
Contoh perkiraan waktu hingga ketersediaan Penelusuran
Perkiraan waktu hingga data yang baru diserap tersedia untuk Penelusuran adalah jumlah durasi alur di sepanjang aliran data.
Misalnya, waktu rata-rata standar untuk ketersediaan data dalam penelusuran UDM adalah sekitar 5 menit dan 30 detik sejak data dikirim ke layanan penyerapan Google SecOps.
| Langkah aliran data | Deskripsi | Durasi alur |
|---|---|---|
| Cloud Storage ke Log mentah | Menyerap log mentah dari Cloud Storage. | Kurang dari 30 detik |
| Log keamanan ke Layanan penerusan data | Mengirimkan log keamanan dari sistem internal ke platform. | T/A |
| Layanan penerusan data ke Log mentah | Mengirim data keamanan mentah yang diterima dari berbagai sumber ke pipeline penyerapan. | Kurang dari 30 detik |
| Raw logs ke Parse and validate | Mengurai dan memvalidasi log mentah ke dalam format UDM. | Kurang dari 3 menit |
| Mengurai dan memvalidasi ke Indeks | Mengindeks data UDM yang diurai untuk penelusuran cepat. | T/A |
| Indeks ke data pelanggan yang diurai | Menyediakan data yang diindeks sebagai data pelanggan yang diurai untuk analisis. | Kurang dari 2 menit |
Pemecahan masalah
Bagian ini memberikan panduan pemecahan masalah.
Latensi dan batas
Penundaan pemrosesan dan visualisasi dalam platform Google SecOps tunduk pada batasan arsitektur berikut setelah Google SecOps menerima data:
- Visibilitas penelusuran: 2 hingga 15 menit setelah penyerapan.
- Eksekusi aturan: 5 hingga 10 menit setelah peristiwa diterima.
Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.