瞭解持續查詢中的視窗匯總
BigQuery 持續查詢支援匯總和視窗化等有狀態作業,可讓您分析多個資料列或時間間隔的串流資料。這項功能可讓您在持續查詢執行期間,將必要狀態儲存在記憶體中,藉此計算一段時間內的指標,例如 30 分鐘平均值。
關於視窗函式
視窗函式會根據系統時間 (即變更交易的修訂時間),將資料指派給邏輯元件或視窗。在 BigQuery 中,這些函式是資料表值函式 (TVF),會傳回包含所有原始資料欄和兩個額外資料欄 (window_start 和 window_end) 的資料表。這些資料欄會識別每個視窗的時間間隔。如要進一步瞭解有狀態作業,請參閱「支援的有狀態作業」。
視窗 TVF 僅支援 BigQuery 持續查詢。
視窗 TVF 與視窗函式呼叫不同。
支援的匯總函式
支援的匯總函式如下:
ANY_VALUEAPPROX_COUNT_DISTINCTAPPROX_QUANTILESAPPROX_TOP_COUNTAPPROX_TOP_SUMARRAY_AGG並符合下列條件:- 必須提供
LIMIT子句,最大值為 10,000。 ORDER BY子句為選用。
- 必須提供
ARRAY_CONCAT_AGGAVGBIT_ANDBIT_ORBIT_XORCORRCOUNTCOUNTIFCOVAR_POPCOVAR_SAMPLOGICAL_ANDLOGICAL_ORMAXMAX_BYMINMIN_BYSTDDEVSTDDEV_POPSTDDEV_SAMPSTRING_AGG並符合下列規定:- 必須提供
LIMIT子句,且值不得超過 100。 ORDER BY子句為選用。
- 必須提供
SUMVAR_POPVAR_SAMPVARIANCE
不支援的匯總函式
不支援下列匯總函式:
AVG(差異化隱私)COUNT(差異化隱私)- 包含
DISTINCT運算式的函式。 GROUPINGPERCENTILE_CONT(差異化隱私)ST_CENTROID_AGGST_EXTENTST_UNION_AGGSUM(差異化隱私)
TUMBLE 函式
TUMBLE 函式會將資料指派到指定大小的不重疊時間間隔 (輪轉視窗)。舉例來說,5 分鐘的時間範圍會將事件分組為不連續的時間間隔,例如 [2026-01-01 12:00:00, 2026-01-01 12:05:00) 和 [2026-01-01 12:05:00, 2026-01-01 12:10:00)。時間戳記值為 2026-01-01 12:03:18 的資料列會指派給第一個視窗。由於這些視窗不相交且不重疊,因此每個具有時間戳記的元素都會指派給一個視窗。
下圖顯示 TUMBLE 函式如何將事件指派到不重疊的時間間隔:
在即時事件處理中,您可以使用這個函式,先依時間範圍將事件分組,再執行任何匯總。
語法
TUMBLE(TABLE table, "timestamp_column", window_size)
定義
table:BigQuery 資料表名稱。這必須是以APPENDS函式包裝的標準 BigQuery 資料表。這個引數前面必須加上TABLE。timestamp_column:STRING常值,指定輸入資料表中包含事件時間的資料欄名稱。這個資料欄中的值會將每個資料列指派給一個視窗。_CHANGE_TIMESTAMP資料欄定義 BigQuery 系統時間,是唯一支援的timestamp_column。不支援使用者定義的資料欄。window_size:定義每個滾動式時間區間時間長度的INTERVAL值。時間範圍最長為 24 小時。例如:INTERVAL 30 SECOND。
輸出內容
TUMBLE 函式會傳回包含下列資料欄的輸出內容:
查詢執行時,輸入資料表的所有資料欄。
window_start:TIMESTAMP值,表示記錄所屬時間範圍的開始時間 (含)。window_end:TIMESTAMP值,表示記錄所屬視窗的專屬結束時間。
輸出具體化
在 BigQuery 持續查詢中,視窗化匯總不會產生特定時間間隔的輸出內容,直到 BigQuery 完成或「關閉」該視窗為止。這項行為可確保 BigQuery 只有在處理完該時間範圍的所有相關資料後,才會輸出匯總結果。
舉例來說,如果您對 user_clickstream 資料表執行 5 分鐘的 TUMBLE 視窗匯總,則只有在查詢處理 _CHANGE_TIMESTAMP 為 10:20 或更晚的記錄後,才會發出 [10:15; 10:20) 間隔的結果。此時,BigQuery 會將視窗視為關閉。此外,當屬於特定日期範圍的第一筆記錄出現時,視窗會開啟並開始累積資料。
視窗開啟期間,BigQuery 必須保留中繼匯總結果。這需要儲存狀態,也就是說,BigQuery 必須保留中繼匯總結果。由於這個狀態必須保留在有效記憶體中,直到視窗關閉為止,因此使用較長的視窗時間長度或處理大量串流,會導致運算單元使用率提高,以便管理增加的儲存內容。詳情請參閱「定價注意事項」。
限制
TUMBLE函式僅適用於 BigQuery 持續查詢。- 使用
TUMBLE函式啟動持續查詢時,只能使用APPENDS函式。不支援CHANGES函式。 _CHANGE_TIMESTAMP定義的 BigQuery 系統時間欄是唯一支援的timestamp_column。不支援使用者定義的資料欄。- 時間範圍最長為 24 小時。
TUMBLE視窗函式執行時,會產生兩個額外的輸出欄:window_start和window_end。在執行視窗匯總的SELECT陳述式中,您必須在GROUP BY陳述式中加入至少一個這類資料欄。- 搭配持續查詢 join 使用
TUMBLE函式時,必須遵守所有持續查詢 join 限制。
費用考量事項
BigQuery 持續查詢會根據工作執行期間消耗的運算容量 (運算單元) 計費。這種以運算情形為準的模式也適用於視窗等有狀態作業。由於視窗化功能需要 BigQuery 在查詢執行期間儲存「狀態」,因此會耗用額外的運算單元資源。一般來說,視窗內儲存的背景資訊或資料越多 (例如使用較長的視窗時間長度),BigQuery 必須保留的狀態就越多。進而提高運算單元使用率。
範例
下列查詢說明如何查詢計程車乘車資料表,每 30 分鐘取得一次平均乘車次數、乘客數和每輛計程車的平均車資,並將這些資料匯出至 BigQuery 資料表:
INSERT INTO
`real_time_taxi_streaming.driver_stats`
WITH ride_completions AS (
SELECT
_CHANGE_TIMESTAMP as bq_changed_ts,
CAST(timestamp AS DATE) AS ride_date,
taxi_id,
meter_reading,
passenger_count
FROM
APPENDS(TABLE `real_time_taxi_streaming.taxirides`,
CURRENT_TIMESTAMP() - INTERVAL 10 MINUTE)
WHERE
ride_status = 'dropoff')
SELECT
ride_date,
window_end,
taxi_id,
COUNT(taxi_id) AS total_rides_per_half_hour,
ROUND(AVG(meter_reading),2) AS avg_fare_per_half_hour,
SUM(passenger_count) AS total_passengers_per_half_hour
FROM
tumble(TABLE ride_completions,"bq_changed_ts",INTERVAL 30 MINUTE)
GROUP BY
window_end,
ride_date,
taxi_id
後續步驟
- 瞭解如何執行 JOIN、匯總和視窗作業。
- 進一步瞭解 BigQuery 持續查詢。
- 瞭解如何彙整多個串流的資料。