透過進階 BigQuery 匯出功能串流資料
本文說明如何使用「進階 BigQuery 匯出」功能,在 BigQuery 中存取及使用 Google SecOps 資料。Enterprise Plus 客戶可以使用這項功能,透過全代管的串流資料管道,近乎即時地存取安全性資料。這項功能有助於解決資安營運中資料延遲的重大難題,進而更及時有效地偵測及應對威脅。
事前準備
請詳閱下列要點,瞭解資格規定和必要行動:
- 僅限 Enterprise Plus 客戶:這項功能僅適用於 Google SecOps Enterprise Plus 客戶。其他客戶請參閱「匯出至自行管理的 BigQuery 專案」。
- 必須啟用這項功能:這項功能需要提出要求才能啟用,且可能需要在貴機構的 Google SecOps 執行個體中進行初始設定。如有需要,請與 Google SecOps 代表聯絡,確認是否已啟用這項功能。
- 資料遷移:啟用這項功能後,資料會開始匯出至 Google SecOps 執行個體的新 BigQuery 租戶專案,同時也會匯出至 Google 管理的 BigQuery 專案 (如「匯出至 Google 管理的 BigQuery 專案」一文所述)。這項雙重作業可支援您順利轉移至新功能,不會造成服務中斷。系統會在停用帳戶的舊匯出管道前通知您。
- VPC Service Controls:進階 BigQuery 匯出功能可在 VPC Service Controls 邊界內運作。詳情請參閱「設定 VPC Service Controls」。
- 客戶自行管理的加密金鑰 (CMEK):如果客戶在 Google SecOps 執行個體上啟用 CMEK,即可使用進階 BigQuery 匯出功能。詳情請參閱「Google SecOps 的 CMEK」。如果您搭配使用 CMEK 和 VPC Service Controls,請參閱「為 Google SecOps 設定 VPC Service Controls」,瞭解相關建議和操作說明。
功能總覽
Advanced BigQuery Export 會自動佈建及管理重要的 Google SecOps 資料集,包括Unified Data Model (UDM) 事件、規則偵測、實體圖表和入侵指標 (IoC) 比對,並將這些資料集儲存在 Google 管理的 BigQuery 專案中,確保安全無虞。您可透過 BigQuery 連結的資料集,安全地以唯讀模式存取這項資料,該資料集會直接顯示在您的專案中 Google Cloud 。這項功能可讓您查詢安全防護資料,就像資料儲存在本機一樣,但不必管理資料管道或儲存空間,因此不會造成額外負擔。
Google SecOps 會將下列類別的安全防護資料匯出至 BigQuery:
- UDM 事件記錄:從客戶擷取的記錄資料建立的 UDM 記錄。這些記錄會加入別名資訊。
- 規則相符 (偵測):規則與一或多個事件相符的例項。
- IoC 比對結果:事件中的構件 (例如網域或 IP 位址) 與 IoC 資訊動態消息相符。包括與全球動態饋給和客戶專屬動態饋給的相符項目。
- 擷取指標:統計資料,例如擷取的記錄行數、從記錄產生的事件數,以及指出記錄無法剖析的記錄錯誤數。
- 實體圖和實體關係:實體及其與其他實體的關係說明。
核心福利
進階 BigQuery 匯出的主要優點包括:
- 近乎即時的資料更新間隔:串流架構可讓您在擷取安全資料後幾分鐘內,查詢這些資料。UDM 事件、規則偵測和 IoC 比對結果的預期延遲時間為 5 到 10 分鐘。
- 簡化且可預測的費用模式:Google SecOps 會支付受管理 BigQuery 專案中的所有資料擷取和儲存費用。貴機構只需負責執行查詢時產生的 BigQuery 分析費用。
- 免維護資料存取權:Google 會全面管理基礎架構,讓團隊專注於資料分析,不必費心處理資料工程。
- 資料完整性和重複資料刪除:初始擷取後,安全性資料會經常更新或重新擴充。這項功能會使用精細的資料操縱語言 (DML) 合併作業,就地更新記錄。您會收到經過清理且不含重複項目的資料,不必編寫複雜的 SQL 重複資料刪除常式。
- 順暢的 MSSP 支援 (中樞輻射型):受管理的安全服務供應商 (MSSP) 可從單一集中式中樞專案,以程式輔助方式訂閱客戶的連結資料集,有效管理多個客戶租戶的 Analytics。
- 內建法規遵循:這項功能原生支援 VPC Service Controls、客戶自行管理的加密金鑰 (CMEK) 和資料落地機制 (DRZ)。系統會使用聯邦資源識別服務 (FRIS),將面向客戶的稽核記錄 (資料存取透明化控管機制) 直接傳送至 Cloud Logging 工作區。
常見用途
進階 BigQuery 匯出功能適用於安全分析師、威脅獵人、資料科學家和安全工程師,可直接存取最新的安全資料,並以高效能進行個案調查、自訂分析,以及與商業智慧工具整合。
進階 BigQuery 匯出功能的常見用途包括:
- 直接在 BigQuery 中執行臨時查詢。
- 使用 Microsoft Power BI 等商業智慧工具,建立資訊主頁、報表和數據分析。
- 將 Google SecOps 資料與第三方資料集彙整。
架構
進階 BigQuery 匯出架構採用持續串流管道。Google SecOps 執行個體的資料會透過高處理量的 BigQuery Storage Write API,推送至安全的 Google 代管租戶專案。
Google SecOps 會使用 BigQuery 共用功能建立安全的資料清單,並提供存取權。在 BigQuery Explorer 窗格中,您的 Google Cloud 專案會自動訂閱這個項目,並顯示為secops_linked_datalake 連結的資料集。
這個模型支援強大的資料隔離功能,同時提供無縫的唯讀查詢存取權。
重要術語
以下是進階 BigQuery Export 的重要詞彙和概念:
- 租戶專案:由 Google SecOps 擁有及管理的專案。 Google Cloud 這項專案會實際儲存及管理匯出的安全性資料。您沒有直接存取這個專案的權限。
- BYOP (自備專案):貴機構擁有並連結至 Google SecOps 執行個體的 Google Cloud 專案。這個專案會顯示已連結的資料集,您可以在這裡執行查詢並產生分析費用。
- 專案 ID:連結至 Google SecOps 執行個體的 Google Cloud 專案全域專屬 ID。
- 連結的資料集:唯讀 BigQuery 資料集,做為其他專案中共用資料集的符號連結或指標。您不必複製資料即可查詢,在資料供應商管理實體儲存空間時,也能安全存取資料。
- 細微 DML (FGDML):進階 BigQuery 匯出功能使用的自動化後端程序,可執行 upsert (更新和插入) 作業。如果事件延遲抵達或重新經過擴充,系統會根據事件的專屬 ID (例如
metadata.id) 就地更新現有資料列,而不是建立重複資料列。 - 統合式資料模型 (UDM):Google 的可擴充標準結構定義,可將數百種供應商產品的安全遙測資料剖析及正規化為一致的格式。
- 受管理的安全服務供應商 (MSSP): Google Cloud 認證 MSSP 提供全套工具和專業知識,協助您強化防禦機制,因應不斷演進的網路安全威脅。
設定系統
如要使用進階 BigQuery Export,請先設定系統。請根據您的環境和需求,按照下列其中一節的說明操作。
預設設定
請按照下列步驟設定系統,使用進階 BigQuery 匯出功能並開始查詢資料:
- 確認授權:確認貴機構擁有 Google SecOps Enterprise Plus 授權。
- 找出專案:登入 Google Cloud 控制台,然後選取連結至 Google SecOps 執行個體的 Google Cloud 專案。
- 找出已連結的資料集:在 BigQuery 控制台中,使用「Explorer」窗格前往專案的資源。您會看到名為「
secops_linked_datalake」的連結資料集。這個資料集是 Google SecOps 管理的即時安全資料的唯讀指標。 驗證 Identity and Access Management (IAM) 權限:如要查詢資料,使用者或服務帳戶必須在專案中具備下列 IAM 角色:
roles/bigquery.dataViewer:貴機構的終端使用者或 BI 工具必須具備這項權限,才能對連結的資料集檢視畫面執行 SQL 查詢。roles/bigquery.jobUser:貴機構的終端使用者或 BI 工具必須具備這項權限,才能對連結的資料集檢視畫面執行 SQL 查詢。Chronicle API Admin:在 Google SecOps 中執行 Dataplane API (例如ProvisionPartnerSubscription) 來管理 MSSP 訂閱項目時,必須提供這項資訊。
使用者 (例如安全分析師和資料消費者) 透過這些角色,即可在連結的資料集中查詢資料,並在專案中執行 BigQuery 工作。
執行測試查詢:開啟 BigQuery SQL 工作區並執行基本查詢,確認存取權設定正確無誤。您可以使用下列程式碼片段:
SELECT * FROM `PROJECT_ID.secops_linked_datalake.events` LIMIT 10;將 PROJECT_ID 替換為實際的 Google Cloud 專案 ID。
在 VPC Service Controls 範圍內設定 BigQuery 進階匯出功能
如要在 VPC Service Controls perimeter 內設定 Advanced BigQuery Export,您需要設定特定輸入規則。這項規則可讓必要的 Google SecOps 服務帳戶,與受邊界保護的專案中的 BigQuery 和相關服務互動。如需詳細操作說明和更多資訊,請參閱「為 Google Security Operations 設定 VPC Service Controls」。
如要在 VPC Service Controls perimeter 中設定 Advanced BigQuery Export,請設定下列輸入規則:
- ingressFrom: identities: - serviceAccount:malachite-advanced-bq-exporter@system.gserviceaccount.com - serviceAccount:malachite-data-export-service@system.gserviceaccount.com sources: - accessLevel: "*" ingressTo: operations: - serviceName: analyticshub.googleapis.com methodSelectors: - method: "*" - serviceName: bigquery.googleapis.com methodSelectors: - method: "*" resources: - projects/PROJECT_NUMBER將
PROJECT_NUMBER替換為您連結至 Google SecOps 的專案編號。 Google Cloud
MSSP:集中管理子租戶的 BigQuery 資料存取權
如果您是 MSSP,可以運用 Google SecOps 資料平面 API,在中央「中樞」專案中以程式輔助方式建立 BigQuery 連結資料集。這些已連結的資料集會指向客戶 (子網) 的 BigQuery 資料,讓您從單一窗格查詢多個租戶。這項程序需要客戶授予 MSSP 執行個體存取權。
主要福利包括:
- 集中式檢視畫面:集中分析所有客戶的安全資料。
- 提升工作效率:簡化客戶群的威脅搜尋和回報作業。
- 程式輔助管理:自動設定及停用資料存取權。
必要條件
MSSP
- 做為中央「中樞」的 Google Cloud 專案。
- Google SecOps 執行個體。
- 具備適當的身分與存取權管理權限,可在中樞專案中管理 BigQuery 資料集。
客戶 (子房客)
- Google SecOps Enterprise Plus 授權。
- 連結至 Google SecOps 執行個體的專案 (BYOP)。 Google Cloud
- 管理 Google SecOps API 存取權的適當 IAM 權限。
gcloud已安裝並驗證 CLI。
步驟 1:客戶授予 MSSP 存取權
客戶可以呼叫 ProvisionPartnerSubscription API,將權限授予 MSSP 的 Google SecOps 執行個體。Google SecOps 會在 MSSP 的 Google Cloud 專案中,自動佈建 BigQuery 連結資料集,並以 secops_linked_datalake_<customer_id> 格式命名。這個資料集會連結至客戶的 Google SecOps 資料。
API 端點:
POST
https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:provisionPartnerSubscription
方法
POST
要求主體
空白 JSON 物件。
{}
CURL 指令範例 (由客戶執行):
curl -X POST \
-H "Authorization: Bearer ${OAUTH_TOKEN}" \
-H "Content-Type: application/json" \
-d '{}' \
"https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:provisionPartnerSubscription"
替換下列預留位置:
- CUSTOMER_PROJECT:客戶的 Google Cloud 專案 ID 或專案編號。請參閱「建立及管理專案」。
- REGION:客戶的 Google SecOps 執行個體所在的 Google Cloud 區域 (例如 us、europe-west2)。請參閱地區清單。
- CUSTOMER_INSTANCE_ID:客戶的 Google SecOps 執行個體 ID。
回應主體
傳回包含訂閱項目詳細資料的 ProvisionPartnerSubscriptionResponse。
{
"subscriptionDetails": {
"subscription": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID",
"linkedDataset": "string"
}
}
- SUBSCRIBER_PROJECT_ID:訂閱者 MSSP 的 Google Cloud 專案 ID。
- SUBSCRIBER_REGION:訂閱者 Google Cloud 專案所在的區域。
- SUBSCRIPTION_ID:現有訂閱項目的專屬 ID。
步驟 2:MSSP 查詢所有租戶的資料
在您的 (MSSP) 專案中佈建多位客戶的連結資料集後,您可以使用標準 BigQuery SQL 查詢來分析資料。 Google Cloud 如要查詢多個客戶,請使用 UNION ALL 運算子。
查詢範例 (由 MSSP 在中樞專案中執行):
SELECT event_type, timestamp
FROM `PARTNER_PROJECT_ID.secops_linked_datalake_CUSTOMER_ID_1.events`
WHERE <your_conditions>
UNION ALL
SELECT event_type, timestamp
FROM `PARTNER_PROJECT_ID.secops_linked_datalake_CUSTOMER_ID_2.events`
WHERE <your_conditions>
-- Add more UNION ALL clauses for other customers
步驟 3:客戶稽核存取權
客戶可以呼叫 fetchSubscriptions API,查看所有存取其資料的有效訂閱項目和 MSSP 執行個體。
API 端點
GET https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:fetchSubscriptions
方法
GET
CURL 指令範例 (由客戶執行):
curl -X GET \
-H "Authorization: Bearer ${OAUTH_TOKEN}" \
"https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:fetchSubscriptions"
替換下列預留位置:
- CUSTOMER_PROJECT:客戶的 Google Cloud 專案 ID 或專案編號。請參閱「建立及管理專案」。
- REGION:客戶 Google SecOps 執行個體所在的 Google Cloud 區域 (例如 us、europe-west2)。請參閱地區清單。
- CUSTOMER_INSTANCE_ID:客戶的 Google SecOps 執行個體 ID。
回應主體
傳回 FetchSubscriptionsResponse,其中包含有效訂閱項目清單。
{
"subscriptions": [
{
"subscription": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID",
"linkedDataset": "string"
}
]
}
- SUBSCRIBER_PROJECT_ID:訂閱者的 Google Cloud 專案 ID。訂閱者可以指客戶或 MSSP。
- SUBSCRIBER_REGION:訂閱者 Google Cloud 專案所在的區域。
- SUBSCRIPTION_ID:現有訂閱項目的專屬 ID。
步驟 4:客戶撤銷存取權 (如有需要)
如果客戶需要撤銷 MSSP 的存取權,可以使用 revokePartnerSubscription API。這項操作會立即撤銷使用 MSSP 中心專案查詢連結資料集的權限。遭撤銷的訂閱 ID 會失效。
API 端點
POST https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:revokePartnerSubscription
方法
POST
要求主體
需要透過 fetchSubscriptions API 呼叫取得要撤銷的訂閱項目 URI。
{
"subscriptionUri": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID"
}
CURL 指令範例 (由客戶執行):
# Set subscription details obtained from Fetch Subscriptions
export SUBSCRIBER_PROJECT_ID="partner-byop-project-id"
export SUBSCRIBER_REGION="subscription-location"
export SUBSCRIPTION_ID="subscription-id"
curl -X POST \
-H "Authorization: Bearer ${OAUTH_TOKEN}" \
-H "Content-Type: application/json" \
-d '{
"subscriptionUri": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID"
}' \
"https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:revokePartnerSubscription"
替換下列預留位置:
- SUBSCRIBER_PROJECT_ID:訂閱者的 Google Cloud 專案 ID。
- SUBSCRIBER_REGION:訂閱者 Google Cloud 專案所在的區域。
- SUBSCRIPTION_ID:現有訂閱項目的專屬 ID。
- CUSTOMER_PROJECT:客戶的 Google Cloud 專案 ID 或專案編號。
- REGION:客戶 Google SecOps 執行個體所在的 Google Cloud 區域。
- CUSTOMER_INSTANCE_ID:客戶的 Google SecOps 執行個體 ID。
回應主體
空白 JSON 物件。
{}
查詢 BigQuery 資料
您可以直接在 BigQuery 中執行查詢,也可以將自己的商業智慧工具 (例如 Microsoft Power BI) 連線至 BigQuery。
如要進一步瞭解查詢,請參閱下列文章:
BigQuery 租戶專案中的資料保留期限
BigQuery 中的資料保留期限與為 Google SecOps 租戶設定的資料保留期限相同。您無法另外設定 BigQuery 資料的保留政策。資料超過租戶的保留期限後,系統會自動從 BigQuery 資料表清除。
連結的資料集
連結的資料集包含對應不同類型安全資料的資料表。
下表摘要說明可用的資料集、目標資料更新間隔,以及用於確保資料完整性的專屬 ID:
| 資料集名稱 | 說明 | 預期最新鮮 | 用於重複資料刪除作業的專屬 ID |
|---|---|---|---|
events | UDM 架構中的正規化安全性事件。如要瞭解結構定義,請參閱「Google SecOps 事件結構定義」。 | 少於 5 分鐘 | id (字串表示法) |
rule_detections | 由 Google SecOps 偵測引擎規則生成的偵測結果。 | 少於 5 分鐘 | detection.id |
ioc_matches | 針對 UDM 事件找到相符的入侵指標 (IOC)。 | 少於 5 分鐘 | day_bucket_seconds、feed_log_type、ioc_type、ioc_value 的複合索引鍵 |
entity_graph | 實體 (使用者、資產) 及其關係的脈絡資料。 | 約 4 小時 (批次) | partition_day、metadata.product_entity_id、metadata.event_metadata.id 的複合索引鍵 |
ingestion_metrics | 記錄擷取量和資料來源的統計資料。 | 約 5 分鐘 | 無 (僅附加時間序列) |
entity_enum_value_to_name_mapping | 將數值對應至實體圖形列舉型別的字串值。 | 不適用 | 無 |
udm_enum_value_to_name_mapping | 將數值對應至 UDM 事件列舉型別的字串值。 | 不適用 | 無 |
查詢範例
以下範例說明如何查詢資料集,以瞭解常見的安全性用途。
範例:尋找過去 24 小時內來自特定 IP 位址的所有網路連線
這項查詢會搜尋事件資料表,找出可疑 IP 位址的近期網路活動。
SELECT
metadata.product_event_type,
principal.ip,
target.ip,
network.application_protocol
FROM
`PROJECT_ID.secops_linked_datalake.events`
WHERE
principal.ip = '192.0.2.1'
AND metadata.event_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR);
- 將 PROJECT_ID 替換為 Google Cloud 專案 ID。
範例 - 計算最常偵測到的前 10 項規則
這個 rule_detections 資料表查詢有助於找出環境中偵測到的最常見威脅或違規政策。
SELECT
rule_name,
COUNT(*) AS detection_count
FROM
`PROJECT_ID.secops_linked_datalake.rule_detections`
WHERE
detection.id IS NOT NULL
GROUP BY
1
ORDER BY
2 DESC
LIMIT
10;
- 將 PROJECT_ID 替換為 Google Cloud 專案 ID。
最佳做法
以下是使用進階 BigQuery 匯出功能查詢資料的最佳做法:
最佳化查詢費用:雖然儲存空間免費,但系統會將運算費用計入專案,因此請採取下列行動:
- 避免使用 SELECT *。在查詢中,只指定您需要的資料欄,以減少掃描的資料量並降低查詢成本。
- 請務必確保查詢作業充分運用 BigQuery 分區 (使用 hour_time_bucket 分區時間欄) 和分群 (hour_time_bucket、log_type、event_type、id),以掃描較少資料並大幅降低查詢費用。
使用分區篩選條件:事件資料表會依 hour_time_bucket 資料欄分區。請務必在這個資料欄中加入 WHERE 子句篩選器,將查詢限制在盡可能小的時間範圍內,大幅提升效能並降低成本。
撰寫有效率的查詢:UDM 結構定義範圍廣泛,但資料稀疏。如要有效篩選特定事件類型,請使用 WHERE... 相關欄位上的 IS NOT NULL。舉例來說,如要只找出 DNS 查詢,請篩選 WHERE network.dns.questions.name IS NOT NULL。
驗證查詢:執行查詢前,請先使用 BigQuery UI 中的查詢驗證工具。查詢驗證工具會提供處理資料量的預估值,協助您避免執行出乎意料的大型查詢,進而節省費用。
使用列舉對應表:進階 BigQuery 匯出功能包含 entity_enum_value_to_name_mapping 和 udm_enum_value_to_name_mapping 資料表。您可以使用這些項目加入事件,將數值列舉值轉換為人類可解讀的字串,而不需在查詢中手動編寫翻譯邏輯。
稽核記錄整合:進階 BigQuery Export 會與聯邦資源識別服務 (FRIS) 整合。如果 Google 人員存取受管理租戶專案,系統會使用 Google 資料存取透明化控管機制功能,在您的 BYOP Cloud Logging 工作區中,以原生方式提供面向客戶的稽核記錄。
已知限制
以下是進階 BigQuery Export 功能的已知限制:
- 實體圖形延遲時間:實體圖形資料集是透過批次程序匯出,資料更新間隔約為四小時。
- UDM 結構定義欄限制:BigQuery 每個資料表最多可有 10,000 欄。UDM 結構定義包含超過 27,000 個欄位,但填入的資料很少。匯出管道會智慧地只納入特定事件的已填入資料欄,因此大多數客戶都不會超過上限。Google SecOps 會監控資料欄用量,並在租戶專案接近這個門檻時,主動要求提高上限。
- 保留期限無法設定:匯出至 BigQuery 的所有安全性資料保留期限,都會自動與 Google SecOps 專案的資料保留期限同步,無法另外設定。
- 不支援 SOAR 資料:進階 BigQuery 匯出功能不支援 Google Security Operations SOAR (search_everything_db) 的資料。
- 不支援跨區域聯盟:中樞和輻射 MSSP 訂閱項目支援相同區域。不支援跨區域聯盟 (例如從美國到歐洲)。
- 可能出現重複事件 (機率低於 1%):雖然系統會使用 DML 合併自動處理重複資料,但由於分散式串流的特性,在背景合併完成前,邊緣案例的擷取視窗中仍有可能出現重複事件 (機率低於 1%)。
- 您可以存取歷來資料,但必須使用特定方法:啟用進階 BigQuery 匯出功能後,系統就會開始匯出資料,您仍可在現有專案中存取舊資料。如要查詢啟用進階 BigQuery 匯出功能前匯出的資料,您必須使用單一查詢聯結兩個專案的資料,或在個別專案中執行兩項查詢 (一個查詢舊資料集,另一個查詢新資料集)。
疑難排解與支援
下表提供常見問題的解決方案:
| 觀察到的症狀 | 可能原因 | 建議做法 |
|---|---|---|
查詢失敗,並顯示 Access Denied: User does not have permission. | 使用者或服務帳戶在連結至 Google SecOps 執行個體的 Google Cloud 專案中,缺少必要的 BigQuery IAM 角色。 | 將「BigQuery 資料檢視者」和「BigQuery 工作使用者」角色授予主體。使用「gcloud projects get-iam-policy YOUR_PROJECT_ID --flatten="bindings.members" --format='table(bindings.role)' --filter="bindings.members:user:your-user@example.com"」驗證 |
我在 BigQuery 專案中看不到 secops_linked_datalake 資料集。 | 1. 您不在正確的 Google Cloud 專案中。 2. 貴機構未採用 Enterprise Plus 方案。 3. 貴機構使用 Enterprise Plus 方案,但 Google SecOps 執行個體未啟用進階 BigQuery Export。 | 1. 在 Google Cloud 控制台中,確認已選取連結至 Google SecOps 執行個體的專案。 2. 請與 Google 代表聯絡,確認您的 Google SecOps 授權層級。 3. 與 Google SecOps 代表聯絡,要求對方在 Google SecOps 執行個體中啟用進階 BigQuery Export。 |
API 呼叫失敗,並顯示 ProvisionPartnerSubscription 或 FetchSubscriptions 的權限錯誤 | 呼叫身分缺少必要權限。 | 確認進行呼叫的服務帳戶或使用者具有 Chronicle API 管理員 IAM 角色,其中包含中樞執行個體資源的權限。 |
| 缺少自訂欄或結構定義不符 | 系統已擷取全新的記錄類型或深層巢狀 UDM 欄位。 | 進階 BigQuery 匯出功能會動態更新結構定義。系統填入新的 UDM 欄位時,會自動偵測結構定義不符的情況,短暫暫停作業、更新 BigQuery 結構定義,然後重試插入作業。您不必採取任何行動。 |
常見問題
以下各節列出常見問題。
如要使用 Advanced Google SecOps Export,是否需要修改現有的舊版 BigQuery SQL 查詢?
不會。為維持 100% 的回溯相容性,Google SecOps 會在連結的資料集中公開檢視畫面 (例如 events、ioc_matches),這些檢視畫面與舊版 Google SecOps 匯出功能的資料表結構定義完全相符。
我可以調整進階 BigQuery 匯出功能的資料保留期限嗎?
否。進階 BigQuery 匯出功能的資料保留期限,會直接反映 Google SecOps 資料保留政策。Google SecOps 中的資料過期後,系統會自動刪除 BigQuery 租戶專案中的資料。
後端 DML 更新和重複資料刪除作業會產生費用嗎?
不會。所有後端儲存空間、串流資料即時插入作業和細微 DML 的運算費用,都會由 Google SecOps 吸收。您只需要支付在 BYOP 中明確執行的查詢費用。
這項功能是否適用於 Google SecOps Standard 或 Enterprise 方案?
否。進階 BigQuery 匯出 (代管儲存空間和串流) 是 Google SecOps Enterprise Plus 方案專屬的進階功能。標準版和企業版客戶可以使用「自備 BigQuery」(BYOBQ) 模型,提供 BigQuery 專案並支付儲存空間和運算費用。
為什麼進階 BigQuery 匯出資料和 Google Security Operations 使用者介面顯示的統計資料,在計數上可能會出現暫時性差異?
由於進階 BigQuery 匯出管道會近乎即時地串流資料,因此可能會出現暫時的差異。主要原因如下:
延遲抵達的資料:匯出管道的設計宗旨是高處理量。大部分資料會在 5 到 10 分鐘內顯示在 BigQuery 中。不過,由於網路延遲或來源系統問題,事件有時可能會延遲送達處理管道。系統會盡量合併這些延遲事件,但即時使用者介面統計資料反映的是絕對最新的狀態,因此在持續更新的過程中,可能會與 BigQuery 資料出現短暫差異。
資料重新擴充:Google SecOps 會持續以最新的威脅情報和背景資訊擴充事件資料。進階 BigQuery Export 會根據事件在初始擴充時的狀態匯出事件。如果事件串流至 BigQuery 後,系統以新資訊重新擴充事件,BigQuery 可能不會立即反映更新後的版本。因此,如果與一律顯示完整重新擴充資料的 UI 元素比較,可能會出現差異。
DML 合併延遲時間:為確保 BigQuery 中的資料保持最新狀態,並處理延遲抵達的資料或潛在重複項目等問題,管道會在背景使用資料操縱語言 (DML)
MERGE作業。這些作業雖然效率高,但並非即時完成。處理這些合併作業時,會有固有的延遲時間,尤其是細微的更新。在這個合併間隔期間,針對 BigQuery 執行的查詢可能無法擷取 Google Security Operations 使用者介面中已顯示的最新微更新。
由於上述因素 (延遲資料、重新擴充處理和合併延遲),BigQuery 和即時 UI 統計資料在任何精確時間點可能不會完全相符。進階 BigQuery 匯出功能提供近乎即時的資料,最適合用於威脅搜尋、自訂分析和資訊主頁等用途,因為這些用途需要幾分鐘內的最新資料。如需稽核,且要求絕對一致的特定時間點,請考量可能出現的微小暫時性差異。
還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求答案。