資料同步功能可讓您直接在 AlloyDB for PostgreSQL 叢集中,建立 BigQuery 分析資料的可寫入受管理副本。這項功能會根據您定義的排程,自動定期將資料從資料倉儲重新整理到作業資料庫。
直接將資料表同步至 AlloyDB,即可省去建構、管理及維護複雜自訂資料管道的麻煩,不必再將分析資料從 BigQuery 移轉至營運資料庫。
資料同步的運作方式
資料同步處理會使用 alloydb_sync 擴充功能,自動複製資料。建立同步資料表時,AlloyDB 會設定本機唯讀資料表,並排程背景工作人員,定期從 BigQuery 中的來源提取更新資料。
您的用戶端應用程式會直接在 AlloyDB 中查詢本機同步處理的資料表,享有查詢延遲時間短、AlloyDB 直欄式引擎,以及跨讀取集區的水平擴充功能等優點,不必透過網路將查詢傳送至 BigQuery。
用途
當您需要將 BigQuery 的分析資料提供給應用程式時,請同步處理資料表。這些應用程式需要作業資料庫的高處理量、低延遲時間和互動式效能。
常見用途包括:
- 提供高並行應用程式服務:為數千名並行使用者提供分析洞察資訊。將資料同步至 AlloyDB 並使用讀取集區擴充,即可略過 BigQuery 的並行查詢和連線限制。
- 效能加速:使用 AlloyDB 資料欄引擎和本機緩衝區快取處理資料,查詢回應時間不到一秒。
- 自動資料鏡像:自動排定時間,從 BigQuery 重新整理分析資料,不必手動安排批次 ETL 工作。
- 啟用 AI 和營運工作流程:將分析資料具體化到 AlloyDB 中,生成向量嵌入、執行相似度搜尋,並使用 AlloyDB AI 支援代理工作流程。
架構和資料流程
alloydb_sync 擴充功能會使用背景工作者,根據您設定的排程,定期將資料從 BigQuery 串流至 AlloyDB 叢集中的本機資料表。應用程式隨後會查詢本機資料表,延遲時間很短。
下圖說明資料同步架構。
資料類型對應
將資料從 BigQuery 同步至 AlloyDB 時,AlloyDB 會將 BigQuery 資料類型對應至相應的 PostgreSQL 資料類型。
建立同步資料表前,請先確認來源 BigQuery 資料欄使用支援的資料類型。如需對應和支援型別的完整清單,請參閱「支援的資料類型對應」。
定價
使用資料同步功能時, Google Cloud 會根據下列元件向您收費。詳情請參閱「將 BigQuery 資料同步至 AlloyDB」。
- AlloyDB:AlloyDB 執行個體和本機同步處理資料表使用的儲存空間,均適用標準價格。
- BigQuery:在
alloydb_sync重新整理作業期間執行的查詢和資料串流,會產生標準 BigQuery 分析和 BigQuery Storage API 費用。 - Cloud Storage:從 Cloud Storage 中的 Apache Iceberg 資料表同步處理資料時,適用標準儲存空間和資料擷取費率。
限制
資料同步處理有下列限制:
- 資料更新間隔:同步處理的資料表中的資料,反映來源 BigQuery 資料表自上次完成重新整理以來的狀態。
- PostgreSQL 版本:使用
alloydb_sync擴充功能進行資料同步作業時,僅支援 PostgreSQL 18 版。 - 資料類型相容性:來源資料欄必須對應至支援的 PostgreSQL 資料類型。如要同步處理不支援的複雜類型 (例如
ARRAY、BYTES、VECTOR和GEOGRAPHY),您必須先在 BigQuery 檢視區塊中轉換或轉換資料欄。
後續步驟
- 使用
alloydb_sync同步處理 BigQuery 資料。 - 瞭解 AlloyDB AI 功能。
- 選擇 BigQuery 資料的存取方式。