Datastream 總覽

Datastream 是無伺服器變更資料擷取 (CDC) 和複製服務，可讓您在不同類型的資料庫和應用程式之間同步處理資料，並將延遲時間降至最低。Datastream 採用無伺服器架構，會自動調度資源，您不必佈建或管理資源。

您可以將資料複製到 BigQuery，進行近乎即時的分析，或將變更事件串流寫入 Cloud Storage，用於事件導向架構。整合 Pub/Sub 和 Dataflow 範本，即可將資料載入 Cloud SQL 和 Spanner 等目的地。Datastream 也與 Knowledge Catalog 整合，可集中管理 Google Cloud的中繼資料和歷程。

Datastream 支援的資料庫來源包括 MySQL、Oracle、PostgreSQL、AlloyDB for PostgreSQL、SQL Server、MongoDB 和 Spanner。您也可以從 Salesforce 和預先發布版來源 (例如 Salesforce Marketing Cloud、Microsoft Dataverse、ServiceNow 和 Workday) 串流資料。提供私人連線選項、狀態回報和結構定義變更處理功能，可支援可靠的複製作業，適用於遷移和混合雲部署。

用途

Datastream 的串流功能可支援多種用途：

  • 以最低延遲時間複製及同步處理貴機構的資料

    您可以在不同類型的資料庫和應用程式之間，以可靠的方式同步處理資料，並以低延遲的方式降低對來源效能的影響。在混合環境中，運用資料串流進行數據分析、資料庫複製、雲端遷移，以及建構事件導向架構。

  • 運用無伺服器架構流暢擴充或縮減規模

    這項無伺服器服務簡單易用，可隨著資料量變化流暢調整資源配置，讓您快速設定和執行。專注於從資料中取得最新洞察資訊，並回應高優先順序的問題，而非管理基礎架構、調整效能或佈建資源。

  • 與 Google Cloud 資料整合套件整合

    運用 Google Cloud 資料整合產品套件，連結貴組織中的所有資料。將 Datastream 與 Dataflow 工作範本整合，從 Cloud Storage bucket 讀取資料，並載入 BigQuery、Spanner 和 Cloud SQL 等多種目的地。

體驗元素

Datastream 有三個主要元素：

  • 私人連線設定可讓 Datastream 透過私人網路與資料來源通訊 (在Google Cloud內部，或與透過 VPN 或互連網路連線的外部來源通訊)。這類通訊會出現在虛擬私有雲 (VPC) 對等互連連線中。
  • 連線設定檔代表來源和目的地的連線資訊。串流會使用這項資訊。
  • 串流會使用連線設定檔中的資訊，將 CDC 和補充填入資料從來源轉移至目的地。

後續步驟