Mengelola pipeline pemrosesan data

Didukung di:

Google SecOps SIEM

Catatan: Fitur ini tercakup dalam Persyaratan Penawaran Pra-GA dari Persyaratan Khusus Layanan Google Security Operations. Fitur pra-GA mungkin memiliki dukungan terbatas, dan perubahan pada fitur pra-GA mungkin tidak kompatibel dengan versi pra-GA lainnya. Untuk mengetahui informasi selengkapnya, lihat Panduan Layanan Dukungan Teknis Google SecOps dan Persyaratan Khusus Layanan Google SecOps.
Jika fitur ini tidak terlihat di lingkungan Anda, lihat Mengelola fitur pratinjau atau hubungi administrator sistem Anda.

Perhatian: Ingestion API tidak digunakan lagi dan akan dihentikan pada 20 Juli 2027. Untuk menyerap log ke Google SecOps, gunakan Chronicle API. Untuk mengetahui detail tentang cara bermigrasi, lihat Bermigrasi dari API SIEM lama ke Chronicle API.

Dokumen ini membantu engineer keamanan menyiapkan dan mengelola pipeline pemrosesan data di Google SecOps untuk memfilter peristiwa, mengubah kolom, atau menyamarkan nilai sensitif sebelum penyerapan. Fitur ini memberikan kontrol pra-penguraian yang andal atas proses penyerapan data. Dengan mengikuti metode yang direkomendasikan dalam panduan ini, Anda dapat mengoptimalkan kompatibilitas data, mengurangi biaya, dan melindungi informasi sensitif dalam Google SecOps.

Catatan: Fitur ini hanya tersedia untuk pengguna Google SecOps Enterprise dan Enterprise Plus.

Pemrosesan data menyederhanakan pengelolaan log melalui tindakan inti berikut:

• Filter: Kurangi gangguan dan biaya dengan hanya menyerap peristiwa yang relevan.
• Transformasi: Mengubah format data, mengurai kolom, dan memperkaya log untuk kegunaan yang lebih baik.
• Redact: Melindungi informasi sensitif dengan menyamarkan atau menghapus nilai sensitif sebelum penyimpanan.

Diagram berikut menggambarkan cara data Anda mengalir ke Google SecOps dan cara sistem memproses data tersebut:

Anda dapat mengonfigurasi pemrosesan data untuk aliran data lokal dan cloud menggunakan konsol pengelolaan Bindplane atau dengan menggunakan Google SecOps Data Pipeline API publik secara langsung.

Kasus penggunaan umum

Contoh kasus penggunaan untuk pemrosesan data mencakup hal berikut:

• Menghapus key-value pair kosong dari log mentah.
• Menyamarkan data sensitif.
• Menambahkan label penyerapan dari konten log mentah.
• Di lingkungan multi-instance, terapkan label penyerapan ke data log penyerapan langsung untuk mengidentifikasi instance aliran sumber (sepertiGoogle Cloud Workspace).
• Memfilter data Palo Alto Cortex menurut nilai kolom.
• Mengurangi data SentinelOne berdasarkan kategori.
• Ekstrak informasi host dari feed dan log penyerapan langsung, lalu petakan ke kolom ingestion_source untuk Cloud Monitoring.

Terminologi utama

Pemrosesan data menggunakan elemen berikut:

• Aliran data: Aliran data tertentu, yang ditentukan oleh jenis log dan sumber penyerapan (seperti feed atau API), yang berfungsi sebagai input ke pipeline pemrosesan data.
• Node pemroses: Komponen dalam pipeline yang berisi satu atau beberapa pemroses, seperti tindakan filter, transformasi, atau penyuntingan. Pemroses ini memanipulasi data secara berurutan saat melewati node.
• Tujuan: Endpoint pipeline pemrosesan data, biasanya instance Google SecOps tempat data yang diproses dikirim untuk penyerapan dan analisis akhir.

Sebelum memulai

Sebelum Anda mulai menyiapkan pipeline pemrosesan data, tinjau persyaratan berikut:

• Dampak parser dan UDM: Pipeline pemrosesan data mengubah data log mentah sebelum mencapai parser Google SecOps. Modifikasi ini dapat memengaruhi cara parser menafsirkan log dan mengonversinya ke format Model Data Terpadu (UDM). Sebelum mengaktifkan pipeline untuk feed atau jenis log, pastikan aturan pemfilteran, transformasi, atau penyuntingan Anda tidak mengubah data secara tidak sengaja sehingga mencegah parser menghasilkan peristiwa UDM yang benar.

• Dukungan API: Pemrosesan data didukung untuk streaming berbasis push dengan memanggil Chronicle API. Filter yang dikonfigurasi di Pengelola Pemrosesan Data (DPM) diterapkan setelah data diterima oleh Chronicle Ingestion API. Oleh karena itu, filter ini tidak mencegah pelanggan mencapai kuota dan batas Ingestion API, seperti batas API importPushLog, karena batas ini dievaluasi sebelum pemfilteran DPM terjadi. Untuk mengelola dan tetap berada dalam batas API Ingestion secara efektif, pelanggan harus menerapkan pemfilteran di sumber data itu sendiri, bukan mengandalkan filter DPM.

  Catatan: Pipeline pemrosesan data hanya berlaku untuk log yang diserap menggunakan Chronicle API modern. Log yang diserap menggunakan API penyerapan lama tidak mengalir melalui pipeline pemrosesan data.

• Visibilitas data: Data yang diserap dari forwarder dan Bindplane diberi tag dengan collectorID yang berbeda dari aliran penyerapan langsung. Untuk mendukung visibilitas log penuh, Anda harus memilih semua metode penyerapan saat mengkueri sumber data atau secara eksplisit mereferensikan collectorID yang relevan saat berinteraksi dengan API.

• Penyiapan konsol Bindplane: Jika Anda berencana menggunakan konsol Bindplane untuk penyiapan dan pengelolaan, selesaikan langkah-langkah berikut:

  1. Di konsol Google SecOps, berikan salah satu peran berikut kepada pengguna atau akun layanan yang akan Anda gunakan untuk mengonfigurasi integrasi Bindplane:

     • Peran khusus dengan izin berikut:

       • chronicle.logProcessingPipelines.associateStreams
       • chronicle.logProcessingPipelines.create
       • chronicle.logProcessingPipelines.delete
       • chronicle.logProcessingPipelines.dissociateStreams
       • chronicle.logProcessingPipelines.fetchAssociatedPipeline
       • chronicle.logProcessingPipelines.fetchSampleLogsByStreams
       • chronicle.logProcessingPipelines.get
       • chronicle.logProcessingPipelines.list
       • chronicle.logProcessingPipelines.testPipeline
       • chronicle.logProcessingPipelines.update
       • chronicle.logTypes.get
       • chronicle.logTypes.list
       • chronicle.feeds.get
       • chronicle.feeds.list
       • chronicle.logs.list
       • chronicle.parsers.list: Izin ini hanya diperlukan jika Anda menggunakan tindakan Validate SecOps Parser Bindplane.
       • chronicle.parsers.runParser: Izin ini hanya diperlukan jika Anda menggunakan tindakan Validate SecOps Parser Bindplane.

       Sebaiknya gunakan peran khusus dengan izin yang diperlukan yang ditentukan.

       Untuk mengetahui informasi selengkapnya, lihat Membuat dan mengelola peran khusus serta Mengonfigurasi kontrol akses fitur menggunakan IAM.

     • Peran Chronicle API Admin roles/chronicle.admin yang telah ditetapkan.

       Untuk mengetahui detailnya, lihat Menetapkan peran Project IAM Admin di project khusus.

  2. Instal konsol Bindplane Server. Untuk SaaS atau lokal, lihat Menginstal konsol Bindplane Server. Pastikan Anda menginstal Bindplane versi terbaru (atau Bindplane versi 1.96.4 atau yang lebih baru).

  3. Di konsol Bindplane, hubungkan instance tujuan Google SecOps ke project Bindplane Anda. Untuk mengetahui detailnya, lihat Menghubungkan ke instance Google SecOps.

Menghubungkan ke instance Google SecOps

Catatan: Untuk menggunakan fitur pemrosesan data Google SecOps, Anda harus menginstal Bindplane versi terbaru (atau Bindplane versi 1.96.4 atau yang lebih baru).

Sebelum memulai, pastikan Anda memiliki izin administrator project Bindplane untuk mengakses halaman Project Integrations.

Instance Google SecOps berfungsi sebagai tujuan untuk output data Anda.

Untuk terhubung ke instance Google SecOps menggunakan konsol Bindplane Server, lakukan hal berikut:

1. Di konsol Bindplane Server, klik Menu, lalu pilih Setelan project.
2. Di halaman Setelan project, buka kartu Integrations, lalu klik Connect to Google SecOps untuk membuka jendela Edit Integration.

3. Masukkan detail untuk instance tujuan Google SecOps.
   Instance ini menyerap data yang diproses (output dari pemrosesan data Anda), sebagai berikut:

   Kolom	Deskripsi
   Region	Region instance Google SecOps Anda. Untuk menemukan instance di konsol Google Cloud , buka Security > Detections and Controls > Google Security Operations > Instance details.
   ID Pelanggan	ID Pelanggan instance Google SecOps Anda. Di konsol Google SecOps, buka Settings > Administration > Profile > Organization details.
   Google Cloud nomor project	Google Cloud nomor project instance Google SecOps Anda. Untuk menemukan nomor project di konsol Google SecOps, buka Settings > Administration > Profile > Organization details.
   Kredensial	Kredensial Akun Layanan adalah nilai JSON yang diperlukan untuk mengautentikasi dan mengakses Google SecOps Data Pipeline API. Dapatkan nilai JSON ini dari file kredensial Akun Layanan Google. Akun Layanan harus berada di project yang sama Google Cloud dengan instance Google SecOps Anda dan memerlukan hak istimewa peran Chronicle API Admin (roles/chronicle.admin) atau peran khusus dengan izin yang diperlukan (lihat Prasyarat). Untuk mengetahui informasi tentang cara membuat Akun Layanan dan mendownload file JSON, lihat Membuat dan menghapus kunci Akun Layanan. Atau, deployment Bindplane Cloud mendukung Workload Identity Federation (WIF) untuk autentikasi. WIF tidak didukung dalam deployment Bindplane yang dihosting sendiri. Untuk mengetahui informasi selengkapnya, lihat Menghubungkan Integrasi Google SecOps dengan Autentikasi WIF.

4. Klik Hubungkan. Jika detail koneksi Anda sudah benar dan Anda berhasil terhubung ke Google SecOps, Anda dapat mengharapkan hal berikut:

   • Koneksi ke instance Google SecOps akan terbuka.
   • Saat pertama kali Anda terhubung, tab SecOps Pipelines akan muncul di konsol Bindplane.
   • Konsol Bindplane menampilkan data yang diproses yang sebelumnya Anda siapkan untuk instance ini menggunakan API. Sistem akan mengonversi beberapa pemroses yang Anda konfigurasi menggunakan API menjadi pemroses Bindplane, dan menampilkan pemroses lainnya dalam format OpenTelemetry Transformation Language (OTTL) mentah. Anda dapat menggunakan konsol Bindplane untuk mengedit pipeline dan pemroses yang sebelumnya disiapkan menggunakan API.

5. Setelah berhasil membuat koneksi ke instance Google SecOps, Anda siap menyiapkan pemrosesan data.

Menyiapkan pemrosesan data menggunakan konsol Bindplane

Bagian ini menjelaskan cara menyediakan dan men-deploy pipeline pemrosesan log baru di Google SecOps menggunakan konsol Bindplane. Anda juga dapat menggunakan konsol Bindplane untuk mengelola pipeline yang sebelumnya disiapkan menggunakan API.

Membuat pipeline Google SecOps baru

Pipeline Google SecOps adalah container bagi Anda untuk mengonfigurasi satu container pemrosesan data. Untuk membuat container pipeline Google SecOps baru, lakukan hal berikut:

1. Di Bindplane console, klik tab SecOps Pipelines untuk membuka halaman SecOps Pipelines.
2. Klik Create SecOps Pipeline.

3. Masukkan Nama Pipeline SecOps dan Deskripsi.

   Penting: Anda tidak dapat mengubah nama pipeline Google SecOps setelah membuatnya.

4. Klik Create. Anda dapat melihat container pipeline baru di halaman SecOps Pipelines.

5. Konfigurasikan aliran dan pemroses container pemrosesan data dalam container ini.

Mengonfigurasi container pemrosesan data

Penampung pemrosesan data menentukan aliran data yang akan diserap dan pemroses yang akan diterapkan sebelum data mencapai Tujuan.

Konfigurasi aliran data dan node pemroses di kartu konfigurasi pipeline.

Untuk mengonfigurasi penampung pemrosesan data, lakukan hal berikut:

1. Jika Anda belum melakukannya, buat pipeline Google SecOps baru.
2. Di Bindplane console, klik tab SecOps Pipelines untuk membuka halaman SecOps Pipelines.
3. Pilih pipeline Google SecOps tempat Anda ingin mengonfigurasi penampung pemrosesan data baru.

4. Pada kartu konfigurasi Pipeline:

   1. Tambahkan aliran data.
   2. Konfigurasikan node pemroses. Untuk menambahkan pemroses menggunakan konsol Bindplane, lihat Mengonfigurasi pemroses untuk mengetahui detailnya.
   Catatan: Beberapa pemroses kustom memungkinkan Anda mengedit kode OTTL mentahnya secara langsung.

5. Setelah konfigurasi ini selesai, lihat Meluncurkan pemrosesan data untuk mulai memproses data.

Menambahkan aliran data

Untuk menambahkan aliran data, lakukan hal berikut:

1. Di kartu konfigurasi Pipeline, klik add Add Stream untuk membuka jendela Add Stream.

2. Di jendela Add Stream, masukkan detail untuk kolom berikut:

   Kolom	Deskripsi
   Jenis log	Pilih jenis log data yang akan diserap. Contoh, CrowdStrike Falcon (CS_EDR). Catatan: Ikon peringatan Warning menunjukkan bahwa jenis log sudah dikonfigurasi di aliran lain (baik di pipeline ini atau pipeline lain di instance Google SecOps Anda). Untuk menggunakan jenis log yang tidak tersedia, Anda harus menghapusnya terlebih dahulu dari konfigurasi aliran data lainnya. Untuk mengetahui petunjuk cara menemukan konfigurasi aliran data tempat jenis log dikonfigurasi, lihat Memfilter konfigurasi pipeline SecOps.
   Metode penyerapan	Pilih metode penyerapan yang akan digunakan untuk menyerap data untuk jenis log yang dipilih. Metode penyerapan ini sebelumnya telah ditentukan untuk instance Google SecOps Anda. Anda harus memilih salah satu opsi berikut: All Ingestion Methods: Mencakup semua metode penyerapan untuk jenis log yang dipilih. Jika Anda memilih opsi ini, Anda tidak akan dapat menambahkan aliran data berikutnya yang menggunakan metode penyerapan tertentu untuk jenis log yang sama. Pengecualian: Anda dapat memilih metode penyerapan spesifik lainnya yang belum dikonfigurasi untuk jenis log ini di aliran data lain. Metode penyerapan tertentu, seperti Cloud Native Ingestion, Feed, Modern Chronicle Ingestion API, atau Workspace Ingestion.
   Feed	Jika Anda memilih Feed sebagai metode penyerapan, kolom berikutnya akan muncul dengan daftar feed yang tersedia di Settings > Pengelolaan Data > Feeds di instance Google SecOps Anda untuk jenis log yang dipilih. Anda harus memilih feed yang relevan untuk menyelesaikan konfigurasi. Untuk melihat dan mengelola feed yang tersedia, buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.

3. Klik Add Stream untuk menyimpan aliran data baru.Aliran data baru akan langsung muncul di kartu konfigurasi Pipeline. Streaming akan otomatis terhubung ke node pemroses dan Tujuan Google SecOps.

Memfilter konfigurasi pipeline SecOps

Kotak penelusuran di halaman SecOps Pipelines memungkinkan Anda memfilter dan menemukan pipeline Google SecOps (container pemrosesan data) berdasarkan beberapa elemen konfigurasi. Anda dapat memfilter pipeline dengan menelusuri kriteria tertentu, seperti jenis log, metode penyerapan, atau nama feed.

Gunakan sintaksis berikut untuk memfilter:

• logType:value
• ingestionMethod:value
• feed:value

Misalnya, untuk mengidentifikasi konfigurasi streaming yang berisi jenis log tertentu, di kotak penelusuran, masukkan logtype: dan pilih jenis log dari daftar yang dihasilkan.

Mengonfigurasi pemroses

Penampung pemrosesan data memiliki satu node pemroses, yang menyimpan satu atau beberapa pemroses. Setiap pemroses memanipulasi data aliran secara berurutan:

1. Pemroses pertama memproses data streaming mentah.
2. Output yang dihasilkan dari pemroses pertama langsung menjadi input untuk pemroses berikutnya dalam urutan.
3. Urutan ini berlanjut untuk semua pemroses berikutnya, sesuai urutan kemunculannya di panel Processors, dengan output dari satu pemroses menjadi input untuk pemroses berikutnya.
4. Konfigurasikan node pemroses dengan menambahkan, menghapus, atau mengubah urutan satu atau beberapa pemroses.

Catatan: Saat mengonfigurasi pemroses, tentukan maksimum 10 pemroses per pipeline. Selain itu, hindari pencocokan ekspresi reguler yang berlebihan, karena hal ini dapat menyebabkan pembuatan pipeline gagal karena waktu pemrosesan yang lama. Untuk solusi yang lebih efisien, uraikan data ke JSON dan telusuri kolom tertentu.

Persyaratan saat mengonfigurasi pemroses Unroll

• Pemroses Unroll tidak dapat beroperasi langsung pada string mentah. Hal ini memerlukan representasi objek internal terstruktur, seperti JSON, XML, atau CSV yang diuraikan.
• Anda harus menempatkan pemroses Transform yang sesuai sebelum pemroses Unroll di pipeline untuk mengurai payload log mentah sebelum membuka roll.
• Contoh JSON: Untuk mengurai string payload JSON mentah sebelum membuka elemen array, sisipkan pemroses transformasi dengan pernyataan OTTL: set(body, ParseJSON(body)).
• Format lainnya: Langkah-langkah transformasi pra-penguraian serupa diperlukan untuk data log yang diformat sebagai CSV, XML, atau YAML.

Catatan: Pemroses Unroll didasarkan pada unrollprocessor OpenTelemetry Collector.

Tabel berikut mencantumkan pemroses:

Jenis prosesor	Kemampuan
Filter	Filter menurut ketentuan
Filter	Memfilter menurut status HTTP
Filter	Filter menurut nama metrik
Filter	Memfilter menurut ekspresi reguler
Filter	Memfilter menurut tingkat keparahan
Penyuntingan	Menyamarkan data sensitif
Transformasi	Tambahkan kolom
Transformasi	Coalesce
Transformasi	Concat
Transformasi	Salin kolom
Transformasi	Menghapus kolom
Transformasi	Marshal
Transformasi	Pindahkan kolom
Transformasi	Mengurai CSV
Transformasi	Mengurai JSON
Transformasi	Mengurai nilai kunci
Transformasi	Mengurai kolom tingkat keparahan
Transformasi	Mengurai stempel waktu
Transformasi	Mengurai dengan ekspresi reguler
Transformasi	Mengurai XML
Transformasi	Mengganti nama kolom
Transformasi	Tulis ulang stempel waktu
Transformasi	Bagi
Transformasi	Transformasi
Buka gulungan	Pemisahan peristiwa Memisahkan bagian log menjadi beberapa peristiwa log individual

Menambahkan pemroses

Untuk menambahkan pemroses, ikuti langkah-langkah berikut:

1. Di kartu konfigurasi Pipeline, klik node Processor untuk membuka jendela Edit Processors. Jendela Edit Processors dibagi menjadi panel-panel berikut, yang disusun berdasarkan aliran data:

   • Input (atau data sumber): Data log streaming masuk terbaru (sebelum diproses)
   • Konfigurasi (atau daftar pemroses): Pemroses dan konfigurasinya
   • Output (atau hasil): Data log hasil keluar terbaru (setelah pemrosesan)

   Jika pipeline sebelumnya telah diluncurkan, sistem akan menampilkan data log masuk terbaru (sebelum pemrosesan) dan data log keluar terbaru (setelah pemrosesan) di panel.

2. Klik Add Processor untuk menampilkan daftar pemroses. Untuk memudahkan Anda, daftar pemroses dikelompokkan menurut jenis pemroses. Untuk mengatur daftar dan menambahkan paket Anda sendiri, pilih satu atau beberapa pemroses, lalu klik Tambahkan paket Pemroses baru.

3. Dalam daftar pemroses, pilih Processor yang akan ditambahkan.

4. Konfigurasikan pemroses sesuai kebutuhan.

5. Klik Save untuk menyimpan konfigurasi pemroses di node Processor.

Sistem akan segera menguji konfigurasi baru dengan memproses sampel baru dari data aliran masuk (dari panel Input) dan menampilkan data keluar yang dihasilkan di panel Output.

Meluncurkan pipeline pemrosesan data

Setelah konfigurasi streaming dan pemroses selesai, Anda harus meluncurkan pipeline untuk mulai memproses data:

1. Klik Mulai peluncuran. Tindakan ini akan langsung mengaktifkan pemrosesan data dan memungkinkan infrastruktur Google mulai memproses data sesuai dengan konfigurasi Anda. Jika peluncuran berhasil, nomor versi penampung pemrosesan data akan bertambah dan ditampilkan di samping name penampung.

Menyiapkan pemrosesan data menggunakan metode API

Sebagai alternatif untuk konsol Bindplane, Anda dapat menggunakan metode pipeline data Google SecOps untuk mengelola data yang diproses. Metode pipeline data ini mencakup pembuatan, pembaruan, penghapusan, dan pencatatan pipeline, serta pengaitan feed dan jenis log dengan pipeline.

Catatan: Untuk mengetahui dokumentasi Bindplane yang lebih mendetail, lihat Pipeline Google SecOps.

Untuk menggunakan contoh di bagian ini, lakukan hal berikut:

• Ganti parameter khusus pelanggan (misalnya, URL dan ID feed) dengan parameter yang sesuai dengan lingkungan Anda sendiri.
• Masukkan autentikasi Anda sendiri. Di bagian ini, token pemilik disamarkan dengan ******.

Mencantumkan semua pipeline dalam instance Google SecOps tertentu

Perintah berikut mencantumkan semua pipeline yang ada di instance Google SecOps tertentu:

curl --location 'https://abc.def.googleapis.com/v123/'\
'projects/projectabc-byop/locations/us/'\
'instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/'\
'logProcessingPipelines' \
--header 'Authorization: Bearer ******'

Membuat pipeline dasar dengan satu pemroses

Untuk membuat pipeline dasar dengan satu prosesor transformasi yang meng-upsert nilai untuk label penyerapan kustom, dan mengaitkan tiga sumber dengannya, lakukan hal berikut:

1. Jalankan perintah berikut:

   curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer ******' \
   --data '{
       "displayName": "Example Pipeline",
       "description": "My description",
       "processors": [
           {
               "transformProcessor": {
                   "statements": [
                       "set(attributes[\"labels.myLabel.value\"], \"myValue\")"
                   ]
               }
           }
       ]
   }'
   

2. Dari respons, salin nilai kolom name.

3. Jalankan perintah berikut untuk mengaitkan tiga aliran data (jenis log, jenis log dengan ID kolektor, dan feed) dengan pipeline. Gunakan nilai kolom name sebagai nilai {pipelineName}.

   curl --location 'https://abc.def.googleapis.com/v123/{pipelineName}:associateStreams' \
       --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer ******' \
   --data '{
       "streams": [
           {
               "logType": "MICROSOFT_SENTINEL"
           },
           {
               "logType": "A10_LOAD_BALANCER",
               "collectorId": "dddddddd-dddd-dddd-dddd-dddddddddddd"
           },
           {
               "feed": "1a1a1a1a-1a1a-1a1a-1a1a-1a1a1a1a1a1a"
           }
       ]
   }'
   

Membuat pipeline dengan tiga pemroses

Pipeline menggunakan pemroses berikut:

• Filter: Memfilter log yang cocok dengan kondisi berdasarkan label penyerapan.
• Transform: Melakukan upsert pada nilai namespace.
• Penyamaran: Menyamarkan alamat email dan nomor jaminan sosial dari data log berdasarkan pola ekspresi reguler kustom.

Untuk membuat pipeline dan mengaitkan tiga sumber dengannya, lakukan hal berikut:

1. Jalankan perintah berikut:

   curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer ******' \
   --data-raw '{
       "displayName": "My Pipeline 2",
       "description": "My description 2",
       "processors": [
           {
               "filterProcessor": {
                   "logConditions": [
                       "attributes[\"labels.log_source.value\"] == \"myLogSourceToFilterOut\""
                   ]
               }
           },
           {
               "transformProcessor": {
                   "statements": [
                       "set(attributes[\"environment_namespace\"], \"myValue\")"
                   ]
               }
           },
           {
               "redactProcessor": {
                   "blockedValues": [
                       "\\b\\d{3}[- ]\\d{2}[- ]\\d{4}\\b",
                       "\\b[a-zA-Z0-9._/\\+\\-—|]+@[A-Za-z0-9\\-—|]+\\.[a-zA-Z|]{2,6}\\b"
                   ],
                   "allowAllKeys": true
               }
           }
       ]
   }'
   

2. Dari respons, salin nilai kolom name.

3. Jalankan perintah berikut untuk mengaitkan tiga aliran data (jenis log, jenis log dengan ID kolektor, dan feed) dengan pipeline. Gunakan nilai kolom name sebagai nilai {pipelineName}.

   curl --location 'https://abc.def.googleapis.com/v123/{pipelineName}:associateStreams' \
       --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer ******' \
   --data '{
       "streams": [
           {
               "logType": "MICROSOFT_SENTINEL"
           },
           {
               "logType": "A10_LOAD_BALANCER",
               "collectorId": "dddddddd-dddd-dddd-dddd-dddddddddddd"
           },
           {
               "feed": "1a1a1a1a-1a1a-1a1a-1a1a-1a1a1a1a1a1a"
           }
       ]
   }'
   

Pemecahan masalah

Bagian ini menguraikan ekspektasi performa dan memberikan perbaikan mandiri untuk masalah umum.

Latensi dan batas

Jika Anda mengonfigurasi agen menggunakan Ingestion API, Anda mungkin mengalami waktu konfirmasi yang lebih lama untuk pipeline Google SecOps bervolume rendah.

Rata-rata latensi dapat meningkat dari 700 milidetik hingga 2 detik. Tingkatkan periode waktu tunggu dan memori sesuai kebutuhan. Waktu konfirmasi menurun saat throughput data melebihi 4 MB.

Validasi dan pengujian

Anda dapat melihat detail pemrosesan data dari konsol Google SecOps:

Melihat semua konfigurasi pemrosesan data

1. Di konsol Google SecOps, buka Settings > Manajemen Data > Pemrosesan Data tempat Anda dapat melihat semua pipeline yang dikonfigurasi.
2. Di kotak penelusuran Incoming Data Pipelines, telusuri pipeline yang Anda buat. Anda dapat menelusuri berdasarkan elemen, seperti nama pipeline atau komponen. Hasil penelusuran menampilkan pemroses pipeline dan ringkasan konfigurasinya.
3. Dari ringkasan pipeline, Anda dapat melakukan salah satu tindakan berikut:
   • Tinjau konfigurasi pemroses.
   • Salin detail konfigurasi.
   • Klik Open in Bindplane untuk mengakses dan mengelola pipeline langsung di dalam konsol Bindplane.

Melihat feed yang dikonfigurasi

Untuk melihat feed yang dikonfigurasi di sistem Anda, lakukan hal berikut:

1. Di konsol Google SecOps, buka Settings > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds. Halaman Feed menampilkan semua feed yang Anda konfigurasi di sistem.
2. Arahkan kursor ke setiap baris untuk menampilkan menu ⋮ Lainnya, tempat Anda dapat melihat detail feed, mengedit, menonaktifkan, atau menghapus feed.
3. Klik View Details untuk melihat jendela detail.
4. Klik Open in Bindplane untuk membuka konfigurasi aliran data untuk feed tersebut di konsol Bindplane.

Melihat detail pemrosesan data untuk jenis log yang tersedia

Untuk melihat detail pemrosesan data di halaman Available Log Types, tempat Anda dapat melihat semua jenis log yang tersedia, lakukan hal berikut:

1. Di konsol Google SecOps, buka Setelan > Pengelolaan Data > Jenis Log yang Tersedia. Jika Anda menggunakan platform khusus SIEM, buka Settings > Available Log Types. Halaman utama menampilkan semua jenis log Anda.
2. Arahkan kursor ke setiap baris feed untuk menampilkan menu more_vert Lainnya. Menu ini memungkinkan Anda melihat, mengedit, menonaktifkan, atau menghapus detail feed.
3. Klik Lihat Pemrosesan Data untuk melihat konfigurasi feed.
4. Klik Open in Bindplane untuk membuka konfigurasi pemroses untuk pemroses tersebut di konsol Bindplane.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.