Mengekspor ke project BigQuery yang dikelola sendiri

Didukung di:

Google Security Operations memungkinkan Anda mengekspor data Model Data Terpadu (UDM) ke project yang dikelola sendiri yang Anda miliki dan kelola. Anda dapat menautkan project Google Cloud Anda sendiri ke instance Google SecOps dan mengelola izin IAM secara independen tanpa bergantung pada setelan yang dikelola Google. Anda juga dapat mengaktifkan dan mengonfigurasi fitur Bring Your Own BigQuery (BYOBQ) dengan memilih Setelan > Pengelolaan Data > Ekspor Data.

Google SecOps mengekspor kategori data berikut ke project BigQuery Anda:

  • udm_events: data log yang dinormalisasi ke dalam skema UDM.
  • udm_events_aggregates: data gabungan yang diringkas berdasarkan setiap jam peristiwa yang dinormalisasi.
  • entity_graph: Ada tiga dimensi (data kontekstual, data turunan, dan konteks global) pada grafik entity. Semua data kontekstual dan data turunan, serta sebagian data konteks global adalah data yang ditulis dan disimpan sebagai UDM.
  • rule_detections: deteksi yang ditampilkan oleh aturan yang dijalankan di Google SecOps.
  • ioc_matches: Kecocokan IOC yang ditemukan terhadap peristiwa UDM.
  • ingestion_metrics: metrik yang terkait dengan pipeline penyerapan dan normalisasi (diekspor secara default).
  • udm_enum_value_to_name_mapping: memetakan nilai enum ke nama kolom UDM (diekspor secara default).
  • entity_enum_value_to_name_mapping: memetakan nilai enum ke nama kolom entity (diekspor secara default).

Periode retensi data

Jika Anda adalah pelanggan lama, periode retensi yang Anda tetapkan menentukan berapa lama data yang diekspor untuk BigQuery tetap berada di project yang dikelola Google.

Periode retensi dimulai dari tanggal data ekspor paling awal. Anda dapat mengonfigurasi periode retensi terpisah untuk setiap sumber data, hingga maksimum yang sesuai dengan periode retensi log default di Google SecOps.

Jika tidak ada periode retensi yang ditentukan, perilaku defaultnya adalah terus mengekspor data tanpa pembersihan atau penghapusan, untuk membatasi periode retensi.

Dalam hal ini, Anda dapat menetapkan periode retensi data ke Unlimited:

  • Klik Setelan > Pengelolaan Data > Ekspor Data.
  • Di kolom Periode Retensi pada tabel Ekspor Data, pilih Tidak Terbatas dari daftar untuk jenis data yang relevan.

Kemudian, Anda dapat menyiapkan aturan siklus proses objek di bucket penyimpanan Google Cloud untuk menghapus objek sesuai kebutuhan.

Migrasi data untuk pelanggan lama

Jika Anda adalah pelanggan lama, data Anda dari project lama yang dikelola Google tidak akan dimigrasikan ke project yang dikelola sendiri. Karena data tidak dimigrasikan, data Anda berada di dua project terpisah. Untuk mengkueri data dalam rentang waktu yang mencakup tanggal aktivasi project yang dikelola sendiri, Anda harus menyelesaikan salah satu tindakan berikut:

  • Gunakan satu kueri yang menggabungkan data di kedua project.
  • Jalankan dua kueri terpisah pada masing-masing project, satu untuk data sebelum tanggal aktivasi project yang dikelola sendiri dan satu untuk data setelahnya. Saat periode retensi untuk project yang dikelola Google berakhir, data tersebut akan dihapus. Setelah itu, Anda hanya dapat mengkueri data yang ada dalam project Google CloudAnda.

Izin yang diperlukan untuk mengekspor data

Untuk mengakses data BigQuery, jalankan kueri Anda dalam BigQuery itu sendiri. Tetapkan peran IAM berikut kepada pengguna yang memerlukan akses:

Memulai ekspor data BigQuery ke project yang Anda kelola sendiri

  1. Buat project Google Cloud tempat Anda ingin mengekspor data. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi project Google Cloud untuk Google SecOps.

  2. Tautkan project yang dikelola sendiri ke instance Google SecOps untuk membuat koneksi antara Google SecOps dan project yang dikelola sendiri. Untuk mengetahui informasi selengkapnya, lihat Menautkan Google Security Operations ke layanan Google Cloud . Anda juga dapat mengaktifkan dan mengonfigurasi fitur Bring Your Own BigQuery (BYOBQ) dengan memilih Setelan > Pengelolaan Data > Ekspor Data.

  3. Untuk memvalidasi bahwa data diekspor ke project yang Anda kelola sendiri, periksa tabel di bagian set data datalake di BigQuery.

Anda dapat menulis kueri ad-hoc terhadap data Google SecOps yang disimpan di tabel BigQuery. Anda juga dapat membuat analisis yang lebih canggih menggunakan alat pihak ketiga lainnya yang terintegrasi dengan BigQuery.

Semua resource yang dibuat di project Google Cloud yang Anda kelola sendiri untuk mengaktifkan ekspor, termasuk bucket Cloud Storage dan tabel BigQuery, berada di region yang sama dengan Google SecOps.

Jika Anda mendapatkan error seperti Unrecognized name: <field_name> at [<some_number>:<some_number>] saat membuat kueri BigQuery, berarti kolom yang Anda coba akses tidak ada dalam set data dan karena skema Anda dibuat secara dinamis selama proses ekspor.

Untuk mengetahui informasi selengkapnya tentang data Google SecOps di BigQuery, lihat Data Google SecOps di BigQuery.

Gunakan metode API yang dijelaskan dalam topik berikut untuk mengakses konfigurasi ekspor dan mengelola cara data Anda dikirim ke BigQuery:

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.