Melakukan streaming data dengan BigQuery Export lanjutan

Didukung di:

Google SecOps

Catatan: Fitur ini tercakup dalam Persyaratan Penawaran Pra-GA dari Persyaratan Khusus Layanan Google Security Operations. Fitur pra-GA mungkin memiliki dukungan terbatas, dan perubahan pada fitur pra-GA mungkin tidak kompatibel dengan versi pra-GA lainnya. Untuk mengetahui informasi selengkapnya, lihat panduan Layanan Dukungan Teknis Google SecOps dan Persyaratan Khusus Layanan Google SecOps.
Jika fitur ini tidak terlihat di lingkungan Anda, lihat Mengelola fitur pratinjau atau hubungi administrator sistem Anda.

Dokumen ini menjelaskan cara mengakses dan menggunakan data Google SecOps di BigQuery dengan fitur Advanced BigQuery Export. Sebagai pelanggan Enterprise Plus, Anda dapat menggunakan fitur ini untuk mengakses data keamanan Anda mendekati real-time melalui pipeline data streaming yang terkelola sepenuhnya. Kemampuan ini dapat membantu mengatasi tantangan penting terkait latensi data dalam operasi keamanan serta menghasilkan deteksi dan respons ancaman yang lebih tepat waktu dan efektif.

Sebelum memulai

Tinjau poin-poin berikut yang menentukan persyaratan kelayakan dan tindakan yang diperlukan:

• Khusus pelanggan Enterprise Plus: Fitur ini hanya tersedia untuk pelanggan Google SecOps Enterprise Plus. Untuk semua pelanggan lainnya, lihat Mengekspor ke project BigQuery yang dikelola sendiri.
• Aktivasi fitur diperlukan: Fitur ini diaktifkan berdasarkan permintaan dan mungkin memerlukan konfigurasi awal di instance Google SecOps organisasi Anda. Hubungi perwakilan Google SecOps Anda untuk mengonfirmasi pengaktifan fitur, jika perlu.
• Migrasi data: Saat Anda mengaktifkan fitur ini, data Anda akan mulai diekspor ke project tenant BigQuery baru untuk instance Google SecOps Anda, selain ekspor yang sudah ada ke project BigQuery yang dikelola Google seperti yang dijelaskan dalam Mengekspor ke project BigQuery yang dikelola Google. Operasi ganda ini mendukung peralihan Anda ke fitur baru tanpa gangguan. Anda akan diberi tahu sebelum pipeline ekspor lama dinonaktifkan untuk akun Anda.
• Kontrol Layanan VPC: Advanced BigQuery Export dapat berfungsi dalam perimeter Kontrol Layanan VPC. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi Kontrol Layanan VPC.
• Kunci Enkripsi yang Dikelola Pelanggan (CMEK): BigQuery Export Lanjutan tersedia untuk pelanggan yang telah mengaktifkan CMEK di instance Google SecOps mereka. Untuk mengetahui informasi selengkapnya, lihat CMEK untuk Google SecOps. Jika Anda menggunakan CMEK dengan Kontrol Layanan VPC, lihat Mengonfigurasi Kontrol Layanan VPC untuk Google SecOps untuk mengetahui rekomendasi dan petunjuknya.

Ringkasan fitur

Ekspor BigQuery Lanjutan secara otomatis menyediakan dan mengelola set data Google SecOps penting, termasuk peristiwa Unified Data Model (UDM), deteksi aturan, grafik entitas, dan kecocokan Indikator Kompromi (IoC)—dalam project BigQuery yang aman dan dikelola Google. Anda mendapatkan akses hanya baca yang aman ke data ini melalui set data tertaut BigQuery, yang muncul langsung di project Google Cloud Anda sendiri. Fungsi ini memungkinkan Anda mengkueri data keamanan seolah-olah disimpan secara lokal, tetapi tanpa overhead pengelolaan pipeline atau penyimpanan data.

Google SecOps mengekspor kategori data keamanan berikut ke BigQuery:

• Data peristiwa UDM: Data UDM yang dibuat dari data log yang diserap oleh pelanggan. Data ini diperkaya dengan informasi alias.
• Kecocokan aturan (deteksi): Instance saat aturan cocok dengan satu atau beberapa peristiwa.
• Kecocokan IoC: Artefak (misalnya, domain atau alamat IP) dari peristiwa yang cocok dengan feed IoC. Hal ini mencakup kecocokan ke dan dari feed global serta feed khusus pelanggan.
• Metrik penyerapan: Statistik, seperti jumlah baris log yang diserap, jumlah peristiwa yang dihasilkan dari log, dan jumlah error log yang menunjukkan bahwa log tidak dapat diurai.
• Grafik entity dan hubungan entity: Deskripsi entity dan hubungannya dengan entity lain.

Manfaat utama

Manfaat utama Ekspor BigQuery Lanjutan meliputi:

• Keaktualan data hampir real-time: Arsitektur streaming membuat data keamanan Anda tersedia untuk dikueri dalam hitungan menit setelah penyerapan. Peristiwa UDM, deteksi aturan, dan kecocokan IoC tersedia dengan latensi yang diperkirakan selama 5-10 menit.
• Model biaya yang sederhana dan dapat diprediksi: Google SecOps mencakup semua biaya penyerapan dan penyimpanan data dalam project BigQuery terkelola. Organisasi Anda hanya bertanggung jawab atas biaya analisis BigQuery yang timbul saat Anda menjalankan kueri.
• Akses data tanpa pemeliharaan: Infrastruktur yang mendasarinya dikelola sepenuhnya oleh Google, sehingga tim Anda dapat berfokus pada analisis data, bukan rekayasa data.
• Integritas dan penghapusan duplikat data: Data keamanan sering diperbarui atau diperkaya ulang setelah penyerapan awal. Fitur ini menggunakan penggabungan Bahasa Pengolahan Data (DML) yang mendetail untuk memperbarui data di tempat. Anda akan menerima data yang bersih dan telah dihapus duplikatnya tanpa perlu menulis rutinitas penghapusan duplikat SQL yang kompleks.
• Dukungan MSSP yang lancar (hub-and-spoke): Penyedia Layanan Keamanan Terkelola (MSSP) dapat mengelola analisis secara efisien di beberapa tenant pelanggan dengan berlangganan secara terprogram ke set data tertaut pelanggan dari satu project hub terpusat.
• Kepatuhan bawaan: Fitur ini secara native mendukung Kontrol Layanan VPC, kunci enkripsi yang dikelola pelanggan (CMEK), dan residensi data (DRZ). Log audit yang ditampilkan kepada pelanggan (Transparansi Akses) dikirimkan langsung ke ruang kerja Cloud Logging Anda menggunakan Federated Resource Identification Service (FRIS).

Kasus penggunaan umum

Ekspor BigQuery Lanjutan dirancang untuk analis keamanan, pemburu ancaman, ilmuwan data, dan engineer keamanan yang memerlukan akses langsung berperforma tinggi ke data keamanan baru untuk penyelidikan ad hoc, analisis kustom, dan integrasi dengan alat business intelligence.

Kasus penggunaan umum untuk BigQuery Export Lanjutan mencakup:

• Menjalankan kueri ad hoc langsung di BigQuery.
• Gunakan alat business intelligence Anda sendiri, seperti Microsoft Power BI, untuk membuat dasbor, laporan, dan analisis.
• Gabungkan data Google SecOps dengan set data pihak ketiga.

Arsitektur

Arsitektur BigQuery Export Lanjutan menggunakan pipeline streaming berkelanjutan. Data dari instance Google SecOps Anda dikirim ke project tenant yang dikelola Google dan aman menggunakan BigQuery Storage Write API (gRPC) dengan throughput tinggi.

Google SecOps menggunakan fitur berbagi BigQuery untuk membuat listingan data yang aman dan memberi Anda akses. Di panel Explorer BigQuery, project Google Cloud Anda otomatis berlangganan listingan ini, yang ditampilkan sebagai secops_linked_datalake set data tertaut.

Model ini mendukung isolasi data yang kuat sekaligus memberi Anda akses kueri hanya baca yang lancar.

Terminologi utama

Berikut adalah beberapa istilah dan konsep utama untuk BigQuery Export Lanjutan:

• Project tenant: Project Google Cloud yang dimiliki dan dikelola oleh Google SecOps. Project ini adalah tempat data keamanan yang diekspor disimpan dan dikelola secara fisik. Anda tidak memiliki akses langsung ke project ini.
• BYOP (Bring Your Own Project): Project Google Cloud yang dimiliki organisasi Anda dan ditautkan ke instance Google SecOps Anda. Ini adalah project tempat set data tertaut muncul dan tempat Anda menjalankan kueri serta menimbulkan biaya analisis.
• Project ID: ID unik secara global untuk project Google Cloud Anda yang ditautkan ke instance Google SecOps Anda.
• Set data tertaut: Set data BigQuery hanya baca yang berfungsi sebagai link simbolis atau penunjuk ke set data bersama di project lain. Layanan ini memungkinkan Anda membuat kueri data tanpa menyalinnya, sehingga memberikan akses yang aman sementara penyedia data mengelola penyimpanan fisik.
• DML terperinci (FGDML): Proses backend otomatis yang digunakan Advanced BigQuery Export untuk melakukan upsert (update dan penyisipan). Jika peristiwa terlambat tiba atau diperkaya ulang, sistem akan memperbarui baris yang ada di tempatnya, berdasarkan ID uniknya (misalnya, metadata.id), bukan membuat duplikat.
• Model Data Terpadu (UDM): Skema standar Google yang dapat diperluas untuk mengurai dan menormalisasi data telemetri keamanan dari ratusan produk vendor ke dalam format yang konsisten.
• Penyedia Layanan Keamanan Terkelola (MSSP): Google Cloud MSSP tersertifikasi menawarkan serangkaian lengkap alat dan keahlian untuk memperkuat pertahanan Anda terhadap ancaman keamanan siber yang terus berkembang.

Menyiapkan sistem Anda

Untuk menggunakan BigQuery Export Lanjutan, Anda harus menyiapkan sistem terlebih dahulu. Bergantung pada lingkungan dan persyaratan Anda, ikuti petunjuk di salah satu bagian berikut.

Penyiapan default

Ikuti langkah-langkah berikut untuk menyiapkan sistem Anda agar dapat menggunakan Ekspor BigQuery Lanjutan dan mulai membuat kueri data Anda:

1. Konfirmasi lisensi Anda: Pastikan organisasi Anda memiliki lisensi Google SecOps Enterprise Plus.
2. Identifikasi project Anda: Login ke konsol Google Cloud dan pilih project Google Cloud yang ditautkan ke instance Google SecOps Anda.
3. Temukan set data tertaut: Di konsol BigQuery, gunakan panel Explorer untuk membuka resource project Anda. Anda akan melihat set data tertaut bernama secops_linked_datalake. Kumpulan data ini adalah penunjuk hanya baca ke data keamanan live yang dikelola oleh Google SecOps.

4. Memverifikasi izin Identity and Access Management (IAM): Untuk mengkueri data, akun pengguna atau layanan Anda harus memiliki peran IAM berikut yang diberikan pada project Anda:

   • roles/bigquery.dataViewer: Diperlukan bagi pengguna akhir atau alat BI di organisasi Anda untuk menjalankan kueri SQL terhadap tampilan set data tertaut.
   • roles/bigquery.jobUser: Diperlukan bagi pengguna akhir atau alat BI di organisasi Anda untuk menjalankan kueri SQL terhadap tampilan set data tertaut.
   • Chronicle API Admin: Diperlukan dalam Google SecOps untuk mengeksekusi Dataplane API (misalnya, ProvisionPartnerSubscription) guna mengelola langganan MSSP.

   Peran ini memungkinkan pengguna (seperti analis keamanan dan konsumen data) mengkueri data dalam set data tertaut dan menjalankan tugas BigQuery dalam project mereka.

5. Jalankan kueri pengujian: Buka ruang kerja BigQuery SQL dan jalankan kueri dasar untuk memverifikasi bahwa akses Anda dikonfigurasi dengan benar. Anda dapat menggunakan cuplikan kode berikut:

   SELECT *
   FROM `PROJECT_ID.secops_linked_datalake.events`
   LIMIT 10;
   

   Ganti PROJECT_ID dengan Project ID Google Cloud Anda yang sebenarnya.

Menyiapkan BigQuery Export Lanjutan dalam perimeter Kontrol Layanan VPC

Untuk menyiapkan Ekspor BigQuery Lanjutan dalam perimeter Kontrol Layanan VPC, Anda perlu mengonfigurasi aturan ingress tertentu. Aturan ini memungkinkan akun layanan Google SecOps yang diperlukan untuk berinteraksi dengan BigQuery dan layanan terkait di project yang dilindungi oleh perimeter. Untuk mengetahui petunjuk mendetail dan informasi selengkapnya, lihat Mengonfigurasi Kontrol Layanan VPC untuk Google Security Operations.

• Untuk menyiapkan Ekspor BigQuery Lanjutan dalam perimeter Kontrol Layanan VPC, konfigurasikan aturan ingress berikut:

  - ingressFrom:
      identities:
      - serviceAccount:[e-mail]
      - serviceAccount:[e-mail]
      sources:
      - accessLevel: "*"
    ingressTo:
      operations:
      - serviceName: analyticshub.googleapis.com
        methodSelectors:
        - method: "*"
      - serviceName: bigquery.googleapis.com
        methodSelectors:
        - method: "*"
      resources:
      - projects/PROJECT_NUMBER
  

  Ganti PROJECT_NUMBER dengan nomor project Google Cloud yang ditautkan ke Google SecOps.

Untuk MSSP — Menyiapkan akses terpusat ke data BigQuery sub-tenant Anda

Jika Anda disediakan sebagai MSSP, Anda dapat memanfaatkan API bidang data Google SecOps untuk membuat set data tertaut BigQuery secara terprogram di project "hub" pusat Anda. Set data tertaut ini mengarah ke data BigQuery pelanggan Anda (spoke), sehingga Anda dapat membuat kueri di beberapa tenant dari satu panel terpadu. Proses ini mengharuskan pelanggan Anda memberikan akses ke instance MSSP Anda.

Manfaat utamanya meliputi:

• Visibilitas terpusat: Analisis data keamanan di semua pelanggan Anda di satu tempat.
• Alur kerja yang efisien: Sederhanakan perburuan ancaman dan pelaporan di seluruh basis klien Anda.
• Pengelolaan terprogram: Mengotomatiskan penyiapan dan penghapusan akses data.

Prasyarat

• MSSP

  • Project Google Cloud untuk berfungsi sebagai "hub" pusat Anda.
  • Instance Google SecOps.
  • Izin IAM yang sesuai untuk mengelola set data BigQuery di project hub Anda.

• Pelanggan (Sub-tenant)

  • Lisensi Google SecOps Enterprise Plus.
  • Project Google Cloud (BYOP) yang ditautkan ke instance Google SecOps Anda.
  • Izin IAM yang sesuai untuk mengelola akses Google SecOps API.
  • CLI gcloud terinstal dan terautentikasi.

Langkah 1: Pelanggan memberikan akses MSSP

Pelanggan dapat memanggil ProvisionPartnerSubscription API untuk memberikan izin ke instance Google SecOps MSSP mereka. Google SecOps secara otomatis menyediakan set data tertaut BigQuery, yang diberi nama dalam format secops_linked_datalake_<customer_id> dalam Project Google Cloud MSSP yang ditautkan ke instance Google SecOps MSSP. Set data ini ditautkan ke data Google SecOps pelanggan.

Endpoint API:

POST
https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:provisionPartnerSubscription

Metode

POST

Isi permintaan

Objek JSON kosong.

{}

Contoh perintah CURL (untuk dijalankan oleh pelanggan):

curl -X POST \
  -H "Authorization: Bearer ${OAUTH_TOKEN}" \
  -H "Content-Type: application/json" \
  -d '{}' \
  "https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:provisionPartnerSubscription"

Ganti placeholder berikut:

• CUSTOMER_PROJECT: Project ID atau Nomor Project Google Cloud pelanggan. Lihat Membuat dan mengelola project.
• REGION: Wilayah Google Cloud tempat instance Google SecOps pelanggan berada (misalnya, us, europe-west2). Lihat daftar region.
• CUSTOMER_INSTANCE_ID: ID Instance Google SecOps pelanggan.

Isi respons

Menampilkan ProvisionPartnerSubscriptionResponse yang berisi detail langganan.

{
  "subscriptionDetails": {
    "subscription": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID",
    "linkedDataset": "string"
  }
}

• SUBSCRIBER_PROJECT_ID: Project ID Google Cloud MSSP pelanggan.
• SUBSCRIBER_REGION: Region tempat Project Google Cloud pelanggan berada.
• SUBSCRIPTION_ID: ID unik untuk langganan yang ada.

Langkah 2: MSSP mengkueri data di seluruh tenant

Setelah set data tertaut dari beberapa pelanggan disediakan di Project Google Cloud (MSSP) Anda, Anda dapat menggunakan kueri SQL BigQuery standar untuk menganalisis data. Untuk membuat kueri di beberapa pelanggan, gunakan operator UNION ALL.

Contoh kueri (untuk dijalankan oleh MSSP di project hub mereka):

SELECT event_type, timestamp
FROM `PARTNER_PROJECT_ID.secops_linked_datalake_CUSTOMER_ID_1.events`
WHERE <your_conditions>

UNION ALL

SELECT event_type, timestamp
FROM `PARTNER_PROJECT_ID.secops_linked_datalake_CUSTOMER_ID_2.events`
WHERE <your_conditions>

-- Add more UNION ALL clauses for other customers

Langkah 3: Pelanggan mengaudit akses

Pelanggan dapat memanggil fetchSubscriptions API untuk melihat semua langganan aktif dan instance MSSP yang mengakses datanya.

Endpoint API

GET https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:fetchSubscriptions

Metode

GET

Contoh perintah CURL (untuk dijalankan oleh pelanggan):

curl -X GET \
  -H "Authorization: Bearer ${OAUTH_TOKEN}" \
  "https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:fetchSubscriptions"

Ganti placeholder berikut:

• CUSTOMER_PROJECT: ID Project atau Nomor Project pelanggan Google Cloud . Lihat Membuat dan mengelola project.
• REGION: Region Google Cloud tempat instance Google SecOps pelanggan berada (misalnya, us, europe-west2). Lihat daftar region.
• CUSTOMER_INSTANCE_ID: ID Instance Google SecOps pelanggan.

Isi respons

Menampilkan FetchSubscriptionsResponse dengan daftar langganan aktif.

{
  "subscriptions": [
    {
      "subscription": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID",
      "linkedDataset": "string"
    }
  ]
}

• SUBSCRIBER_PROJECT_ID: Project ID Google Cloud pelanggan. Pelanggan dapat merujuk ke pelanggan atau MSSP.
• SUBSCRIBER_REGION: Region tempat Project Google Cloud pelanggan berada.
• SUBSCRIPTION_ID: ID unik untuk langganan yang ada.

Langkah 4: Pelanggan mencabut akses (jika diperlukan)

Jika pelanggan perlu mencabut akses MSSP, mereka dapat menggunakan API revokePartnerSubscription. Tindakan ini akan segera mencabut izin untuk membuat kueri set data tertaut menggunakan project hub MSSP. ID langganan yang dibatalkan menjadi tidak aktif.

Catatan: Langganan yang ada tidak otomatis dicabut jika instance pelanggan dibatalkan tautannya dari instance MSSP. Pencabutan harus dijalankan secara manual.

Endpoint API

POST https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:revokePartnerSubscription

Metode

POST

Isi permintaan

Memerlukan URI langganan yang akan dicabut, yang diperoleh dari panggilan API fetchSubscriptions.

{
  "subscriptionUri": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID"
}

Contoh perintah CURL (untuk dijalankan oleh pelanggan):

# Set subscription details obtained from Fetch Subscriptions
export SUBSCRIBER_PROJECT_ID="partner-byop-project-id"
export SUBSCRIBER_REGION="subscription-location"
export SUBSCRIPTION_ID="subscription-id"

curl -X POST \
  -H "Authorization: Bearer ${OAUTH_TOKEN}" \
  -H "Content-Type: application/json" \
  -d '{
    "subscriptionUri": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID"
  }' \
  "https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:revokePartnerSubscription"

Ganti placeholder berikut:

• SUBSCRIBER_PROJECT_ID: Google Cloud Project ID pelanggan.
• SUBSCRIBER_REGION: Region tempat Google Cloud Project pelanggan berada.
• SUBSCRIPTION_ID: ID unik untuk langganan yang ada.
• CUSTOMER_PROJECT: Project ID atau Nomor Project Google Cloud pelanggan.
• REGION: Region Google Cloud tempat instance Google SecOps pelanggan berada.
• CUSTOMER_INSTANCE_ID: ID Instance Google SecOps pelanggan.

Isi respons

Objek JSON kosong.

{}

Catatan: Langganan MSSP hub-and-spoke hanya didukung dalam region yang sama. Federasi lintas region (misalnya, AS ke Eropa) tidak didukung.

Membuat kueri data BigQuery

Anda dapat menjalankan kueri langsung di BigQuery atau menghubungkan alat business intelligence Anda sendiri, seperti Microsoft Power BI, ke BigQuery.

Lihat referensi berikut untuk mengetahui informasi selengkapnya tentang kueri:

• Untuk mengetahui informasi tentang cara mengakses dan menjalankan kueri di BigQuery, buka Menjalankan kueri dan pelajari cara menjalankan kueri interaktif dan menjalankan kueri batch.
• Untuk mengetahui informasi tentang cara membuat kueri tabel berpartisi, lihat Membuat kueri tabel berpartisi.

Periode retensi data di project tenant BigQuery Anda

Periode retensi data Anda di BigQuery sama dengan periode retensi data yang dikonfigurasi untuk tenant Google SecOps Anda. Tidak ada setelan terpisah yang dapat dikonfigurasi untuk menyesuaikan kebijakan retensi data Anda di BigQuery. Data akan otomatis dihapus dari tabel BigQuery saat melewati periode retensi tenant Anda.

Set data tertaut

Set data tertaut berisi tabel yang sesuai dengan berbagai jenis data keamanan.

Catatan: Set data tertaut bersifat hanya baca. Ini adalah langkah keamanan penting untuk memastikan integritas dan akurasi data, yang dikelola secara eksklusif oleh pipeline platform Google SecOps.

Tabel berikut memberikan ringkasan set data yang tersedia, keaktualan data targetnya, dan ID unik yang digunakan untuk memastikan integritas data:

Catatan: Beberapa rekaman, seperti peristiwa yang terlambat tiba atau diperkaya ulang, diperbarui menggunakan penggabungan Bahasa Pengolahan Data (DML) yang terperinci. Akibatnya, mungkin ada penundaan hingga 12 jam sebelum data ini muncul di set data BigQuery Anda.

Nama set data	Deskripsi	Keaktualan terbaik yang diharapkan	ID unik untuk penghapusan duplikat
events	Peristiwa keamanan yang dinormalisasi dalam skema UDM. Untuk mengetahui informasi tentang skema, lihat Skema peristiwa Google SecOps.	< 5 menit	id (Representasi string)
rule_detections	Deteksi yang dihasilkan oleh aturan mesin deteksi Google SecOps.	< 5 menit	detection.id
ioc_matches	Kecocokan indikator penyusupan (IOC) yang ditemukan terhadap peristiwa UDM.	< 5 menit	Kunci komposit day_bucket_seconds, feed_log_type, ioc_type, ioc_value
entity_graph	Data kontekstual tentang entitas (pengguna, aset) dan hubungannya.	~4 jam (batch)	Kunci komposit partition_day, metadata.product_entity_id, metadata.event_metadata.id
ingestion_metrics	Statistik tentang volume penyerapan log dan sumber data.	~5 menit	Tidak ada (deret waktu hanya-tambah)
entity_enum_value_to_name_mapping	Memetakan nilai numerik ke nilai string untuk jenis terenumerasi grafik entity.	T/A	Tidak ada
udm_enum_value_to_name_mapping	Memetakan nilai numerik ke nilai string untuk jenis terenumerasi peristiwa UDM.	T/A	Tidak ada

Penting: Hingga BigQuery Export Lanjutan tersedia secara umum, data untuk ingestion_metrics akan terus diekspor hanya ke project BigQuery yang dikelola Google yang sudah ada.

Sampel kueri

Contoh berikut menunjukkan cara membuat kueri set data untuk kasus penggunaan keamanan umum.

Contoh — Menemukan semua koneksi jaringan dari alamat IP tertentu dalam 24 jam terakhir

Kueri ini menelusuri tabel peristiwa untuk menemukan aktivitas jaringan terbaru dari alamat IP yang mencurigakan.

SELECT
  metadata.product_event_type,
  principal.ip,
  target.ip,
  network.application_protocol
FROM
  `PROJECT_ID.secops_linked_datalake.events`
WHERE
  principal.ip = '192.0.2.1'
  AND metadata.event_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR);

• Ganti PROJECT_ID dengan Project ID Google Cloud Anda.

Contoh — Menghitung 10 deteksi aturan teratas yang paling sering muncul

Kueri ini pada tabel rule_detections membantu mengidentifikasi ancaman atau pelanggaran kebijakan paling umum yang terdeteksi di lingkungan Anda.

SELECT
  rule_name,
  COUNT(*) AS detection_count
FROM
  `PROJECT_ID.secops_linked_datalake.rule_detections`
WHERE
  detection.id IS NOT NULL
GROUP BY
  1
ORDER BY
  2 DESC
LIMIT
  10;

• Ganti PROJECT_ID dengan Project ID Google Cloud Anda.

Praktik terbaik

Berikut beberapa praktik terbaik untuk membuat kueri dengan Advanced BigQuery Export:

• Mengoptimalkan biaya kueri: Meskipun penyimpanan gratis, biaya komputasi ditagih ke project Anda, jadi lakukan hal berikut:

  • Hindari SELECT *. Dalam kueri Anda, tentukan hanya kolom yang Anda butuhkan untuk mengurangi jumlah data yang dipindai dan menurunkan biaya kueri.
  • Pastikan kueri Anda memanfaatkan partisi BigQuery (menggunakan kolom waktu partisi hour_time_bucket) dan pengelompokan (hour_time_bucket, log_type, event_type, id) untuk memindai lebih sedikit data dan mengurangi biaya kueri secara signifikan.

• Gunakan filter partisi: Tabel peristiwa dipartisi berdasarkan kolom hour_time_bucket. Selalu sertakan filter klausa WHERE pada kolom ini untuk membatasi kueri ke jangka waktu terkecil yang memungkinkan, yang secara signifikan meningkatkan performa dan mengurangi biaya.

• Menulis kueri yang efisien: Skema UDM bersifat luas dan jarang. Untuk memfilter jenis peristiwa tertentu secara efisien, gunakan WHERE... IS NOT NULL pada kolom yang relevan. Misalnya, untuk menemukan hanya kueri DNS, filter WHERE network.dns.questions.name IS NOT NULL.

• Validasi kueri: Gunakan validator kueri di UI BigQuery sebelum Anda menjalankan kueri. Validator kueri memberikan perkiraan data yang diproses, sehingga membantu Anda menghindari kueri yang tidak terduga besar dan mahal.

• Gunakan tabel pemetaan enum: Advanced BigQuery Export mencakup tabel entity_enum_value_to_name_mapping dan udm_enum_value_to_name_mapping. Gunakan ini untuk menggabungkan peristiwa Anda guna menerjemahkan nilai enum numerik ke dalam string yang dapat dibaca manusia tanpa menulis logika terjemahan manual dalam kueri Anda.

• Integrasi logging audit: BigQuery Export Lanjutan terintegrasi dengan Federated Resource Identification Service (FRIS). Log audit yang ditampilkan kepada pelanggan, yang menggunakan fitur Transparansi Akses Google, dikirimkan secara native di dalam ruang kerja BYOP Cloud Logging Anda jika personel Google mengakses project tenant terkelola.

Batasan umum

Berikut adalah batasan umum untuk fitur BigQuery Export Lanjutan:

• Latensi entity-graph: Set data entity_graph diekspor menggunakan batch processing dan memiliki keaktualan data sekitar empat jam.
• Batas kolom skema UDM: BigQuery memiliki batas sementara 10.000 kolom per tabel. Skema UDM berisi lebih dari 27.000 kolom dan jarang diisi. Pipeline ekspor secara cerdas hanya menyertakan kolom yang terisi untuk peristiwa tertentu, sehingga sebagian besar pelanggan tetap berada jauh di bawah batas. Google SecOps memantau penggunaan kolom dan secara proaktif meminta penambahan batas untuk project tenant Anda jika mendekati nilai minimum ini.
• Periode retensi tidak dapat dikonfigurasi: Periode retensi data untuk semua data keamanan yang diekspor ke BigQuery otomatis disinkronkan dengan periode retensi data project Google SecOps Anda, dan tidak dapat dikonfigurasi secara terpisah.
• Data SOAR tidak didukung: Data dari SOAR Google Security Operations (search_everything_db) tidak didukung di Advanced BigQuery Export.
• Federasi lintas region tidak didukung: Langganan MSSP hub dan spoke didukung dalam region yang sama. Federasi lintas region (misalnya, AS ke Eropa) tidak didukung.
• Peristiwa duplikat mungkin terjadi (kemungkinan kurang dari 1%): Meskipun sistem menggunakan penggabungan DML untuk menangani penghapusan duplikat secara otomatis, karena sifat streaming terdistribusi, ada kemungkinan kecil (< 1%) peristiwa duplikat muncul selama periode penyerapan kasus ekstrem sebelum penggabungan latar belakang selesai.
• Data historis dapat diakses, tetapi memerlukan metode tertentu: Ekspor data dimulai sejak BigQuery Export Lanjutan diaktifkan, dan data lama tetap dapat diakses di project yang ada. Untuk mengkueri data yang diekspor sebelum aktivasi BigQuery Export Lanjutan, Anda harus menggunakan satu kueri yang menggabungkan data di kedua project, atau menjalankan dua kueri terpisah di masing-masing project (satu untuk set data lama dan satu untuk set data baru).

Pemecahan masalah dan dukungan

Tabel berikut memberikan solusi untuk masalah umum yang mungkin Anda alami:

Gejala yang diamati	Kemungkinan penyebab	Tindakan yang disarankan
Kueri gagal dengan Access Denied: User does not have permission.	Pengguna atau akun layanan tidak memiliki peran IAM BigQuery yang diperlukan di Google Cloud project yang ditautkan ke instance Google SecOps Anda.	Berikan peran BigQuery Data Viewer dan BigQuery Job User kepada prinsipal. Verifikasi ini menggunakan gcloud projects get-iam-policy YOUR_PROJECT_ID --flatten="bindings.members" --format='table(bindings.role)' --filter="bindings.members:user:[e-mail]"
Set data secops_linked_datalake tidak terlihat di project BigQuery saya.	1. Anda tidak berada di Google Cloud project yang benar. 2. Organisasi Anda tidak menggunakan paket Enterprise Plus. 3. Organisasi Anda menggunakan paket Enterprise Plus, tetapi Advanced BigQuery Export tidak diaktifkan di instance Google SecOps Anda.	1. Di Google Cloud konsol, pastikan Anda telah memilih project yang ditautkan ke instance Google SecOps Anda. 2. Hubungi perwakilan Google Anda untuk mengonfirmasi tingkat lisensi Google SecOps Anda. 3. Hubungi perwakilan Google SecOps Anda dan minta mereka untuk mengaktifkan Advanced BigQuery Export di instance Google SecOps Anda.
Panggilan API gagal dengan error izin untuk ProvisionPartnerSubscription atau FetchSubscriptions	Identitas pemanggil tidak memiliki izin yang diperlukan.	Pastikan akun layanan atau pengguna yang melakukan panggilan memiliki peran IAM Chronicle API Administrator, yang mencakup izin pada resource instance hub.
Kolom kustom tidak ada atau skema tidak cocok	Jenis log baru atau kolom UDM yang sangat bertingkat telah diproses.	BigQuery Export lanjutan menggunakan update skema dinamis. Saat kolom UDM baru diisi, sistem akan otomatis mendeteksi ketidakcocokan skema, berhenti sejenak, mengupdate skema BigQuery, dan mencoba lagi penyisipan. Anda tidak perlu melakukan apa pun.

Pertanyaan umum (FAQ)

Bagian berikut adalah beberapa pertanyaan umum (FAQ).

Apakah saya perlu mengubah kueri SQL BigQuery lama yang sudah ada untuk menggunakan Ekspor Google SecOps Lanjutan?

Tidak. Untuk mempertahankan kompatibilitas mundur 100%, Google SecOps mengekspos tabel virtual (misalnya, peristiwa, ioc_matches) dalam set data tertaut yang sama persis dengan skema tabel dari fitur ekspor Google SecOps lama.

Dapatkah saya menyesuaikan periode retensi data untuk Advanced BigQuery Export saya?

Tidak. Periode retensi data di Advanced BigQuery Export secara langsung mencerminkan kebijakan retensi data Google SecOps Anda. Saat masa berlaku data di Google SecOps berakhir, data tersebut akan otomatis berakhir dan dihapus dari project tenant BigQuery.

Apakah saya akan dikenai biaya untuk update DML backend dan penghapusan duplikat?

Tidak. Semua biaya komputasi DML terperinci, operasi penyisipan streaming, dan penyimpanan backend ditanggung oleh Google SecOps. Anda hanya membayar untuk kueri yang Anda jalankan secara eksplisit di BYOP.

Apakah fitur ini tersedia untuk paket Google SecOps Standard atau Enterprise?

Tidak. BigQuery Export Lanjutan (penyimpanan terkelola dan streaming) adalah fitur premium yang eksklusif untuk paket Google SecOps Enterprise Plus. Pelanggan Standar dan Enterprise dapat menggunakan model Bring Your Own BigQuery (BYOBQ), dengan menyediakan project BigQuery dan menanggung biaya penyimpanan serta komputasi.

Mengapa saya mungkin melihat perbedaan sementara dalam jumlah antara data di Ekspor BigQuery Lanjutan dan statistik yang ditampilkan di UI Google Security Operations?

Perbedaan sementara dapat terjadi karena sifat streaming yang hampir real-time dari pipeline BigQuery Export Lanjutan. Berikut adalah alasan utamanya:

• Data yang terlambat tiba: Pipeline ekspor dirancang untuk throughput tinggi. Sebagian besar data akan muncul di BigQuery dalam waktu 5 hingga 10 menit. Namun, peristiwa terkadang dapat terlambat sampai ke pipeline pemrosesan karena penundaan jaringan atau masalah sistem sumber. Meskipun sistem berupaya menggabungkan peristiwa yang terlambat ini, ada kemungkinan perbedaan antara statistik UI langsung, yang mencerminkan status terbaru, dengan data BigQuery yang terus diperbarui.

• Pengayaan ulang data: Google SecOps terus memperkaya data peristiwa dengan threat intelligence dan informasi kontekstual terbaru. Ekspor BigQuery Lanjutan mengekspor peristiwa berdasarkan statusnya pada saat pengayaan awal. Jika peristiwa diperkaya ulang dengan informasi baru setelah di-streaming ke BigQuery, versi yang diperbarui ini mungkin tidak langsung terlihat di BigQuery. Hal ini dapat menyebabkan perbedaan saat dibandingkan dengan elemen UI yang selalu menampilkan data yang sepenuhnya diperkaya ulang.

• Latensi penggabungan DML: Untuk menjaga data di BigQuery tetap terbaru dan menangani hal-hal seperti data yang terlambat tiba atau potensi duplikat, pipeline menggunakan operasi MERGE Bahasa Pengolahan Data (DML) di latar belakang. Operasi ini, meskipun efisien, tidak langsung terjadi. Ada latensi yang melekat saat penggabungan ini diproses, terutama untuk update yang mendetail. Selama interval penggabungan ini, kueri terhadap BigQuery mungkin tidak menangkap update mikro terbaru yang sudah terlihat di UI Google Security Operations.

Karena faktor-faktor yang disebutkan (data terlambat, penanganan pengayaan ulang, dan latensi penggabungan), kecocokan 1:1 yang sempurna antara BigQuery dan statistik UI langsung pada detik tertentu mungkin tidak selalu terjadi. Ekspor BigQuery Lanjutan menyediakan data hampir real-time, yang dioptimalkan untuk kasus penggunaan seperti perburuan ancaman, analisis kustom, dan pembuatan dasbor yang memerlukan keaktualan data dalam hitungan menit. Untuk tujuan audit yang memerlukan konsistensi absolut pada satu titik waktu, pertimbangkan potensi perbedaan kecil yang bersifat sementara.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.