瞭解持續查詢中的視窗匯總

BigQuery 持續查詢支援匯總和視窗化等有狀態作業,可讓您分析多個資料列或時間間隔的串流資料。這項功能可讓您在持續查詢執行期間,將必要狀態儲存在記憶體中,藉此計算一段時間內的指標,例如 30 分鐘平均值。

關於視窗函式

視窗函式會根據系統時間 (即變更交易的修訂時間),將資料指派給邏輯元件或視窗。在 BigQuery 中,這些函式是資料表值函式 (TVF),會傳回包含所有原始資料欄和兩個額外資料欄 (window_start 和 window_end) 的資料表。這些資料欄會識別每個視窗的時間間隔。如要進一步瞭解有狀態作業,請參閱「支援的有狀態作業」。

視窗 TVF 僅支援 BigQuery 持續查詢。

視窗 TVF 與視窗函式呼叫不同。

支援的匯總函式

支援的匯總函式如下:

不支援的匯總函式

不支援下列匯總函式:

TUMBLE 函式

TUMBLE 函式會將資料指派到指定大小的不重疊時間間隔 (輪轉視窗)。舉例來說,5 分鐘的時間範圍會將事件分組為不連續的時間間隔,例如 [2026-01-01 12:00:00, 2026-01-01 12:05:00) 和 [2026-01-01 12:05:00, 2026-01-01 12:10:00)。時間戳記值為 2026-01-01 12:03:18 的資料列會指派給第一個視窗。由於這些視窗不相交且不重疊,因此每個具有時間戳記的元素都會指派給一個視窗。

下圖顯示 TUMBLE 函式如何將事件指派到不重疊的時間間隔:

TUMBLE 函式會將事件指派至不重疊的時間間隔。

在即時事件處理中,您可以使用這個函式,先依時間範圍將事件分組,再執行任何匯總。

語法

TUMBLE(TABLE table, "timestamp_column", window_size)

定義

  • table:BigQuery 資料表名稱。這必須是以 APPENDS 函式包裝的標準 BigQuery 資料表。這個引數前面必須加上 TABLE。

  • timestamp_column:STRING 常值,指定輸入資料表中包含事件時間的資料欄名稱。這個資料欄中的值會將每個資料列指派給一個視窗。_CHANGE_TIMESTAMP 資料欄定義 BigQuery 系統時間,是唯一支援的 timestamp_column。不支援使用者定義的資料欄。

  • window_size:定義每個滾動式時間區間時間長度的 INTERVAL 值。時間範圍最長為 24 小時。例如:INTERVAL 30 SECOND。

輸出內容

TUMBLE 函式會傳回包含下列資料欄的輸出內容:

  • 查詢執行時,輸入資料表的所有資料欄。

  • window_start:TIMESTAMP 值,表示記錄所屬時間範圍的開始時間 (含)。

  • window_end:TIMESTAMP 值,表示記錄所屬視窗的專屬結束時間。

輸出具體化

在 BigQuery 持續查詢中,視窗化匯總不會產生特定時間間隔的輸出內容,直到 BigQuery 完成或「關閉」該視窗為止。這項行為可確保 BigQuery 只有在處理完該時間範圍的所有相關資料後,才會輸出匯總結果。

舉例來說,如果您對 user_clickstream 資料表執行 5 分鐘的 TUMBLE 視窗匯總,則只有在查詢處理 _CHANGE_TIMESTAMP 為 10:20 或更晚的記錄後,才會發出 [10:15; 10:20) 間隔的結果。此時,BigQuery 會將視窗視為關閉。此外,當屬於特定日期範圍的第一筆記錄出現時,視窗會開啟並開始累積資料。

視窗開啟期間,BigQuery 必須保留中繼匯總結果。這需要儲存狀態,也就是說,BigQuery 必須保留中繼匯總結果。由於這個狀態必須保留在有效記憶體中,直到視窗關閉為止,因此使用較長的視窗時間長度或處理大量串流,會導致運算單元使用率提高,以便管理增加的儲存內容。詳情請參閱「定價注意事項」。

限制

  • TUMBLE 函式僅適用於 BigQuery 持續查詢。
  • 使用 TUMBLE 函式啟動持續查詢時,只能使用 APPENDS 函式。不支援 CHANGES 函式。
  • _CHANGE_TIMESTAMP 定義的 BigQuery 系統時間欄是唯一支援的 timestamp_column。不支援使用者定義的資料欄。
  • 時間範圍最長為 24 小時。
  • TUMBLE 視窗函式執行時,會產生兩個額外的輸出欄:window_start 和 window_end。在執行視窗匯總的 SELECT 陳述式中,您必須在 GROUP BY 陳述式中加入至少一個這類資料欄。
  • 搭配持續查詢 join 使用 TUMBLE 函式時,必須遵守所有持續查詢 join 限制。

費用考量事項

BigQuery 持續查詢會根據工作執行期間消耗的運算容量 (運算單元) 計費。這種以運算情形為準的模式也適用於視窗等有狀態作業。由於視窗化功能需要 BigQuery 在查詢執行期間儲存「狀態」,因此會耗用額外的運算單元資源。一般來說,視窗內儲存的背景資訊或資料越多 (例如使用較長的視窗時間長度),BigQuery 必須保留的狀態就越多。進而提高運算單元使用率。

範例

下列查詢說明如何查詢計程車乘車資料表,每 30 分鐘取得一次平均乘車次數、乘客數和每輛計程車的平均車資,並將這些資料匯出至 BigQuery 資料表:

INSERT INTO
 `real_time_taxi_streaming.driver_stats`

WITH ride_completions AS (
 SELECT
   _CHANGE_TIMESTAMP as bq_changed_ts,
   CAST(timestamp AS DATE) AS ride_date,
   taxi_id,
   meter_reading,
   passenger_count
 FROM
   APPENDS(TABLE `real_time_taxi_streaming.taxirides`,
     CURRENT_TIMESTAMP() - INTERVAL 10 MINUTE)
 WHERE
   ride_status = 'dropoff')

 SELECT
   ride_date,
   window_end,
   taxi_id,
   COUNT(taxi_id) AS total_rides_per_half_hour,
   ROUND(AVG(meter_reading),2) AS avg_fare_per_half_hour,
   SUM(passenger_count) AS total_passengers_per_half_hour
FROM
  tumble(TABLE ride_completions,"bq_changed_ts",INTERVAL 30 MINUTE)
GROUP BY
  window_end,
  ride_date,
  taxi_id

後續步驟