本頁面說明在開始開發程式碼之前,規劃資料管道時的重要考量事項。資料管道會將資料從一個系統移至另一個系統,通常是業務資訊系統的重要元件。資料管道的效能和可靠性,會影響這些更廣泛的系統,以及業務需求的滿足程度。
在開發資料管道前先規劃,可提升效能和可靠性。本頁面說明 Dataflow 管道的各種規劃考量,包括:
- 管道的預期成效,包括可評估性的標準
- 將管道與資料來源、接收器和其他連結系統整合
- 管道、來源和接收器的區域化
- 安全性,例如資料加密和私人網路
定義及評估 SLO
評估效能的重要指標,是管道滿足業務需求的程度。服務水準目標 (SLO) 提供具體的效能定義,可與可接受的門檻進行比較。舉例來說,您可以為系統定義下列 SLO 範例:
資料更新間隔:根據使用者在網站上最近 3 分鐘內的活動,產生 90% 的產品推薦。
資料正確性:在一個日曆月內,客戶月結單中含有錯誤的比例低於 0.5%。
資料隔離/負載平衡:在一個工作天內,於提交後 10 分鐘內處理所有高優先順序付款,並在下一個工作天前完成標準優先順序付款。
您可以使用服務水準指標 (SLI) 評估 SLO 遵循情況。SLI 是可量化的指標,用來表示系統達成特定 SLO 的程度。舉例來說,您可以將最近處理的使用者活動時間做為服務水準指標,藉此評估資料更新間隔服務等級目標範例。如果管道會根據使用者活動事件產生建議,且 SLI 回報事件時間與事件處理時間之間有 4 分鐘的延遲,則建議不會考量使用者 4 分鐘前的網站活動。如果處理串流資料的管道超過 4 分鐘的系統延遲時間,就表示未達到服務等級目標。
由於管道以外的系統元件會影響服務水準目標,因此請務必擷取一系列服務水準指標,說明系統的整體效能 (不只是管道本身的效能),包括說明系統端對端健康狀態的指標。舉例來說,Dataflow 管道可能會在可接受的延遲時間內計算結果,但下游系統可能會發生效能問題,影響更廣泛的服務等級目標。
如要進一步瞭解應考量的重要服務等級目標,請參閱網站可靠性工程一書。
資料更新間隔
資料更新間隔是指資料的可用性與其存在時間的關係。《網站可靠性工程》一書中提到下列資料更新間隔服務等級目標,是最常見的管道資料更新間隔服務等級目標格式:
在 Y [秒、天、分鐘] 內處理 X% 的資料。這項服務水準目標是指在指定時間內處理的資料百分比。通常用於處理有界限資料來源的批次管道。這類服務水準目標的指標,是重要處理步驟的輸入和輸出資料大小,相對於管道執行時間的比例。您可以選擇讀取輸入資料集的步驟,以及處理輸入內容中每個項目的步驟。服務等級目標範例:「在 Shave the Yak 遊戲中,99% 影響玩家分數的使用者活動,都會在比賽結束後 30 分鐘內計入。」
最舊資料不超過 X [秒、天、分鐘]。這項服務水準目標是指管道產生的資料存在時間。通常用於處理無限制來源資料的串流管道。這類服務水準目標應使用指標,指出管道處理資料所需的時間。兩個可能的指標是最舊未處理項目的存在時間 (即未處理項目在佇列中的時間),或最近處理項目的存在時間。服務等級目標範例:「產品推薦是根據不超過 5 分鐘的使用者活動產生。」
管道工作在 X [秒、天、分鐘] 內順利完成。這項服務等級目標會設定成功完成的期限,通常用於處理有界限資料來源資料的批次管道。這項服務水準目標需要管道總耗用時間和工作完成狀態,以及其他表示工作成功的信號,例如導致錯誤的已處理元素百分比。舉例來說,SLO 可以是「當天營業日的客戶訂單會在隔天上午 9 點前處理完畢」。
如要瞭解如何使用 Cloud Monitoring 評估資料更新間隔,請參閱「Dataflow 工作指標」。
資料正確性
資料正確性是指資料沒有錯誤。您可以透過不同方式判斷資料正確性,包括:
端對端管道測試:管道成功通過單元和整合測試後,您可以在預先正式發布環境中執行這項測試。您可以使用持續推送軟體更新,自動執行端對端管道測試。
在正式環境中執行的管道,您可以使用監控功能觀察與資料正確性相關的指標。
如要執行管道,定義資料正確性目標通常涉及評估一段時間內的正確性。例如:
- 以每項工作為單位,輸入項目中含有資料錯誤的比例低於 X%。您可以使用這個服務水準目標,評估批次管道的資料正確性。服務等級目標範例:「在每日處理電表讀數的批次工作中,讀數包含資料輸入錯誤的比例低於 3%。」
- 在 X 分鐘的移動時間範圍內,輸入項目中含有資料錯誤的比例低於 Y%。您可以使用這個服務等級目標,評估串流管道的資料正確性。服務等級目標範例:「過去一小時內,電表讀數中負值的比例低於 2%」。
如要評估這些 SLO,請在適當的時間範圍內使用指標,依類型累積錯誤數量。錯誤類型包括結構定義格式不正確導致資料有誤,或資料超出有效範圍。
如要瞭解如何使用 Cloud Monitoring 評估資料正確性,請參閱「Dataflow 工作指標」。
資料隔離和負載平衡
資料隔離是指依屬性區隔資料,可簡化負載平衡作業。舉例來說,在線上付款處理平台中,您可以區隔資料,將個別付款設為標準優先順序或高優先順序。接著,管道可以使用負載平衡,確保高優先順序的付款在標準優先順序的付款之前處理。
假設您為付款處理定義下列 SLO:
- 高優先順序付款會在 10 分鐘內處理完畢。
- 標準優先順序的付款會在下一個工作天上午 9 點前處理完畢。
如果付款平台符合這些服務等級目標,客戶就能在報表資訊主頁上,查看已完成的高優先順序付款。相較之下,標準付款可能要到隔天才會顯示在資訊主頁上。
在這個範例情境中,您有下列選項:
- 執行單一管道,同時處理標準優先順序和高優先順序的付款。
- 根據多個管道的優先順序,隔離資料並平衡負載。
以下各節將詳細說明各個選項。
使用單一管道,滿足混合服務等級目標
下圖說明用於處理高優先順序和標準優先順序付款的單一管道。管道會從串流資料來源 (例如 Pub/Sub 主題或 Apache Kafka 主題) 接收新付款通知。接著,系統會立即處理付款,並使用串流資料即時插入將事件寫入 BigQuery。
單一管道的優點是可簡化作業需求,因為您只需要管理單一資料來源和管道。Dataflow 會使用自動調整功能,盡可能快速有效率地執行工作。
單一管道的缺點是,共用管道無法優先處理高優先順序付款,而標準優先順序付款和管道資源則由這兩種付款方式共用。在上述業務情境中,管道必須維持兩個服務等級目標中較嚴格的一個。也就是說,無論處理的付款實際優先順序為何,管道都必須使用高優先順序付款的服務等級目標。另一個缺點是,如果工作積壓,串流管道無法根據工作緊急程度,優先處理積壓工作。
使用多個專為特定服務等級目標量身打造的管道
您可以使用兩個管道來隔離資源,並根據特定服務等級目標 (SLO) 交付。下圖說明了這項做法。
高優先順序的付款會隔離至串流管道,優先處理。標準優先順序付款則由批次管道處理,該管道每天執行,並使用 BigQuery 載入工作寫入處理結果。
在不同管道中隔離資料有其優點。為了在更嚴格的服務等級目標 (SLO) 內處理高優先順序的付款,您可以為專門處理高優先順序付款的管道分配更多資源,藉此縮短處理時間。資源設定包括新增 Dataflow worker、使用較大型的機器,以及啟用自動調度資源功能。如果標準優先順序付款突然大量湧入,將高優先順序項目隔離至個別處理佇列,也能減少處理延遲。
使用多個管道來隔離及負載平衡批次和串流來源的資料時,Apache Beam 程式設計模型可讓高優先順序 (串流) 和標準優先順序 (批次) 管道共用相同的程式碼。唯一的例外是初始讀取轉換,會從批次管道的有界限來源讀取。詳情請參閱「建立可重複使用的轉換程式庫」。
規劃資料來源和接收器
資料管道必須與其他系統整合,才能處理資料。這些系統稱為「來源」和「接收器」。資料管道會從來源讀取資料,並將資料寫入接收器。除了來源和接收器之外,資料管道也可能與外部系統互動,以便在處理步驟中進行資料充實、篩選或呼叫外部商業邏輯。
為確保可擴充性,Dataflow 會在多個 worker 之間平行執行管道階段。管道程式碼和 Dataflow 服務以外的因素,也會影響管道的擴充性。這些因素可能包括:
外部系統的擴充性:與管道互動的外部系統可能會限制效能,並形成擴充性的上限。舉例來說,如果 Apache Kafka 主題設定的分區數量不足,無法達到所需的讀取處理量,就可能影響管道效能。為確保管道及其元件符合效能目標,請參閱所用外部系統的最佳做法說明文件。您也可以使用內建擴充性的 Google Cloud 服務,簡化基礎架構容量規劃。詳情請參閱本頁的「使用 Google Cloud 代管來源和接收器」一節。
資料格式選擇:某些資料格式的讀取速度可能比其他格式快。舉例來說,使用支援可平行讀取的資料格式 (例如 Avro),通常比使用欄位中嵌入換行符號的 CSV 檔案更快,也比使用壓縮檔案更快。
資料位置和網路拓撲:資料來源和接收器與資料管道的地理鄰近性和網路特性,可能會影響效能。詳情請參閱本頁的「區域注意事項」一節。
外部服務呼叫
從管道呼叫外部服務會產生每次呼叫的負擔,可能會降低管道的效能和效率。如果資料管道呼叫外部服務,請盡可能將多個資料元素批次處理成單一要求,以減少負擔。許多原生 Apache Beam I/O 轉換會自動執行這項工作,包括 BigQueryIO 和串流資料即時插入作業。除了容量限制外,部分外部服務也會強制執行配額,限制一段時間內的呼叫總數 (例如每日配額),或限制呼叫頻率 (例如每秒要求數)。
由於 Dataflow 會在多個 worker 之間平行處理工作,因此流量過多可能會導致外部服務不堪負荷,或耗盡可用配額。使用自動調度資源時,Dataflow 可能會嘗試新增 worker 來執行外部呼叫等緩慢步驟,藉此彌補效能。新增 worker 可能會對外部系統造成更多壓力。請確保外部系統可支援預期的負載需求,或將管道流量限制在可持續的程度。詳情請參閱「限制批次大小和對外部服務的並行呼叫」。
使用 Google Cloud 代管來源和接收器
在 Dataflow 管道中使用 Google Cloud 代管服務,可提供內建擴充性、一致的效能,以及符合多數需求的配額和限制,免除容量管理的複雜性。您仍須留意管道作業的不同配額和限制。Dataflow 本身會強制執行配額和限制。如要提高部分配額,請與Google Cloud 支援團隊聯絡。
Dataflow 會使用 Compute Engine VM 執行個體執行工作,因此您必須有足夠的 Compute Engine 配額。Compute Engine 配額不足可能會阻礙管道自動調度資源,或導致工作無法啟動。
本節其餘部分將探討不同的 Google Cloud配額和限制,如何影響您設計、開發及監控管道的方式。Pub/Sub 和 BigQuery 是管道來源和接收器的範例。
範例 1:Pub/Sub
搭配使用 Pub/Sub 與 Dataflow 時,Pub/Sub 會提供可擴充且耐用的事件擷取服務,用於在串流資料管道之間傳送訊息。您可以使用 Google Cloud 控制台查看 Pub/Sub 配額用量,並提高配額限制。如果任何單一管道超出每項專案的配額和限制,建議您申請提高配額。
Pub/Sub 配額和限制是根據專案層級用量設計。具體來說,不同專案中的發布者和訂閱者會獲得獨立的資料處理量配額。如果有多個管道發布或訂閱單一主題,您可以將每個管道部署至各自的專案,藉此取得該主題的最大允許處理量。在這個設定中,每個管道都會使用不同的專案服務帳戶來接收及發布訊息。
在下圖中,「Pipeline 1」和「Pipeline 2」共用「Project A」可用的訂閱者和發布者處理量配額。相較之下,管道 3 可使用附加至專案 B 的整個訂閱者和發布者處理量配額。
多個管道可以透過主題的個別訂閱項目,從單一 Pub/Sub 主題讀取資料,讓 Dataflow 管道能獨立於其他訂閱者 (例如其他管道) 提取及確認訊息。這項功能可建立額外的 Pub/Sub 訂閱項目,輕鬆複製管道。建立額外訂閱項目,有助於為高可用性建立副本管道 (通常用於串流用途)、針對相同資料執行額外的測試管道,以及啟用管道更新。
範例 2:BigQuery
Apache Beam SDK 支援多種語言 (包括 Java、Python 和 Go) 的 BigQuery 資料讀寫作業。使用 Java 時,BigQueryIO 類別會提供這項功能。BigQueryIO 支援兩種讀取資料的方法:EXPORT (資料表匯出) 和 DIRECT_READ。不同的讀取方法會耗用不同的 BigQuery 配額。
資料表匯出是預設的讀取方法。運作方式如下圖所示:
下圖顯示下列流程:
- BigQueryIO 會叫用 BigQuery Export 要求,匯出資料表資料。匯出的資料表資料會寫入臨時 Cloud Storage 位置。
- BigQueryIO 會從暫時 Cloud Storage 位置讀取資料表資料。
BigQuery 匯出要求受匯出配額限制。匯出要求也必須完成,管道才能開始處理資料,這會增加工作的執行時間。
相較之下,直接讀取方法會使用 BigQuery Storage API,直接從 BigQuery 讀取資料表資料。BigQuery Storage API 使用 gRPC,為資料表資料列資料提供高處理量的讀取效能。使用 BigQuery Storage API 時,您不需要執行匯出步驟,因此可以避免匯出配額限制,並可能縮短工作執行時間。
下圖顯示使用 BigQuery Storage API 時的流程。與使用 BigQuery Export 要求的流程相比,這個流程較為簡單,因為只有一個直接讀取步驟,可將資料從資料表傳送至管道。
將資料寫入 BigQuery 資料表也有配額限制。使用 BigQuery 載入工作的批次管道會耗用不同的 BigQuery 載入工作配額,這些配額適用於資料表和專案層級。同樣地,使用 BigQuery 串流資料即時插入的串流管道,會耗用 BigQuery 串流資料即時插入配額。
請根據您的用途,判斷最適合的資料讀寫方法。舉例來說,請避免使用 BigQuery 載入工作,每天將資料附加至資料表數千次。使用串流管道將近乎即時的資料寫入 BigQuery。串流管道應使用串流資料即時插入或 Storage Write API,才能達到這個目的。
區域性考量
Dataflow 是多個 Google Cloud 區域中的代管服務。選擇要執行工作的區域時,請考量下列因素:
- 資料來源和接收器的位置
- 資料處理位置的偏好設定或限制
- 僅在特定區域提供的 Dataflow 功能
- 用於管理特定工作執行作業的區域
- 工作 worker 使用的可用區
對於特定工作,您為工作和 worker 使用的區域設定可以不同。如要瞭解詳情,包括何時應指定區域和可用區,請參閱 Dataflow 區域說明文件。
指定執行 Dataflow 工作的區域,即可針對高可用性和災難復原等區域考量進行規劃。詳情請參閱「高可用性和地理位置備援」。
區域
Dataflow 區域會儲存及處理與工作相關的中繼資料,例如 Apache Beam 圖表本身的資訊 (如轉換名稱)。並控管 worker 行為,例如自動調度資源。指定區域有助於滿足安全性與法規遵循、資料位置和工作區域位置的需求。為避免跨區域網路呼叫影響效能,建議您盡可能為工作和 worker 使用相同區域。
Dataflow worker
Dataflow 工作會使用 Compute Engine VM 執行個體 (稱為 Dataflow worker) 執行管道。Dataflow 工作可以使用任何 Compute Engine 可用區做為 worker,包括沒有 Dataflow 位置的區域。指定工作的 worker 區域,即可控管 worker 的區域位置。如要指定 worker 區域或可用區,請按照下列步驟操作:
- 如果您使用 gcloud CLI 從 Dataflow 範本建立工作,請使用
--worker-region旗標覆寫 worker 區域,或使用--worker-zone旗標覆寫 worker 可用區。 - 如果您使用 Apache Beam Java SDK 建立工作,請透過管道選項設定 worker 的區域和可用區。使用
workerRegion覆寫 worker 區域,或使用workerZone覆寫 worker 可用區。
為縮短網路延遲時間並提高處理量,建議您在地理位置靠近資料來源和接收器的區域建立 worker。如果您在建立工作時未指定 worker 的區域或可用區,Dataflow 會自動預設為與工作位於相同區域的可用區。
如果您不使用 Dataflow Shuffle 服務或 Streaming Engine,則工作處理的資料 (即儲存在任何 PCollection 資料儲存庫中的資料) 會位於工作的 worker 上,前提是沒有使用者程式碼將資料傳輸到 worker 外部。如果啟用 Dataflow Shuffle 服務或 Streaming Engine,則由 PCollection 物件代表的分散式資料集,可以在 worker 和這些服務之間傳輸。
資料加密注意事項
Dataflow 是全代管服務,會自動使用 Google-owned and Google-managed encryption keys 加密傳輸中和靜態資料,保護在資料管道中移動的資料。您可能不希望使用 Google-owned and Google-managed encryption keys,而是自行管理加密金鑰。在這種情況下,Dataflow 支援使用 Cloud Key Management Service (KMS) 的客戶自行管理的加密金鑰 (CMEK)。您也可以使用 Cloud HSM,這項雲端託管硬體安全性模組 (HSM) 服務可讓您託管加密金鑰,並在經 FIPS 140-2 第 3 級認證的 HSM 叢集中執行加密編譯作業。
使用 CMEK 時,Dataflow 會使用您的 Cloud KMS 金鑰加密資料,但視窗、分組和彙整等資料金鑰作業除外。如果資料鍵含有機密資料,例如個人識別資訊 (PII),您必須先對鍵進行雜湊處理或轉換,再將鍵輸入 Dataflow 管道。
私人網路注意事項
您的網路和安全性需求可能規定,Dataflow 工作等 VM 工作負載只能使用私人 IP 位址。Dataflow 可讓您指定 worker 使用私人 IP 位址進行所有網路通訊。如果停用公開 IP,則必須在子網路上啟用Private Google Access,Dataflow worker 才能連上 Google API 和服務。
除非 Dataflow 工作需要公開 IP 才能存取 Google Cloud以外的網路資源,否則建議您停用 Dataflow worker 的公開 IP。停用公開 IP 會導致 Dataflow worker 無法存取子網路以外的資源,或存取對等互連虛擬私有雲網路。同樣地,系統也會禁止從子網路或對接虛擬私有雲網路外部,透過網路存取 VM worker。
如要進一步瞭解如何使用 --usePublicIps 管道選項,指定 worker 是否只能使用私人 IP,請參閱「管道選項」。
後續步驟
- 開發及測試管道。
- 瞭解如何設計完整的管道工作流程。
- 進一步瞭解 Google 針對資料處理管道採取的網站可靠性工程 (SRE) 做法。