本文說明如何完成下列工作:
- 設定 Dataflow 虛擬機器 (VM) 執行個體的網路連線能力
- 使用標記保護 worker VM 網路。
- 為與 Dataflow 工作相關聯的網路定義防火牆規則
閱讀本文件時,您必須具備 Google Cloud 網路的基本知識。如要為 Dataflow 工作定義網路,請參閱「指定網路和子網路」。如要進一步瞭解如何排解網路問題,請參閱「排解 Dataflow 網路問題」。
存取 Dataflow 的 Google Cloud API
Dataflow worker 虛擬機器 (VM) 必須能連上Google Cloud API 和服務。依附的 Google Cloud 端點組合可能會隨時間變更,但都支援 VPC Service Controls。請使用下列其中一種方法,設定 Google Cloud API 的存取權:
設定 Private Google Access。有了 Private Google Access,只有內部 IP 位址的 VM 也能存取 Google Cloud 和服務的 IP 位址。
設定 Private Service Connect 端點 IP 位址,以存取 Google Cloud API 和服務。
設定 worker VM 的外部 IP 位址。
根據預設,防火牆規則和 DNS 設定允許存取Google Cloud API。不過,您可能會主動限制存取 Google Cloud API 的子集,例如使用 VPC Service Controls。在這種情況下,請至少提供 restricted.googleapis.com 的存取權。如果您使用 Private Service Connect,請提供 vpc-sc 套件的存取權。提供更寬鬆的網域存取權 (例如 private.googleapis.com),也能提供所需功能。
如要允許透過特定網域存取必要的 Google Cloud API,環境必須符合下列規定:
防火牆規則必須允許傳出流量,傳送至所選網域下的所有位址範圍。
DNS 必須將
*.googleapis.com解析為您選擇的網域。
舉例來說,如果防火牆規則限制輸出至 restricted.googleapis.com 位址範圍,則 *.googleapis.com 必須解析為該範圍內的位址。詳情請參閱「設定 googleapis.com 的 DNS」。
同樣地,如果您使用 Private Service Connect,則必須為 googleapis.com 預設網域建立 DNS 記錄,確保至少能存取 vpc-sc 套件中的所有服務。
Dataflow 的網路連線能力
視用途而定,VM 可能也需要存取Google Cloud以外的資源。請使用下列其中一種方法,為 Dataflow 設定網路連線能力:
設定 worker VM 的外部 IP 位址,使其符合網路連線能力需求。
設定 NAT 解決方案,例如 Cloud NAT。如果執行的工作會存取 Google Cloud 以外的 API 和服務,且需要網路連線能力,請使用這個選項。例如,Python SDK 工作可能需要存取 Python Package Index (PyPI),才能下載管道依附元件。在這種情況下,您必須為 worker VM 設定外部 IP 位址,或使用 Cloud NAT。您也可以在提交工作時提供 Python 管道依附元件。例如,您可以使用自訂容器提供 Python 管道依附元件,這樣就不需要在執行階段存取 PyPI。
詳情請參閱 Apache Beam 說明文件中的「管理 Python 管道依附元件」。
關閉外部 IP 位址
根據預設,Dataflow 會為 worker 指派外部和內部 IP 位址。關閉外部 IP 位址後,Dataflow 工作只能存取下列位置的資源:
即使沒有外部 IP 位址,您仍可執行管理和監控工作。您可以透過上述清單中列出的選項,使用 SSH 存取 worker。不過,管道無法存取網際網路,網際網路主機也無法存取 Dataflow worker。
不使用外部 IP 位址,可進一步保護資料處理基礎架構。您也可以減少 Google Cloud專案配額中使用的外部 IP 位址數量。
如果關閉外部 IP 位址,Dataflow 工作就無法存取 Google Cloud 以外需要網際網路存取權的 API 和服務。
如要停用外部 IP 位址,請採取下列任一做法:
Java
- 為網路或子網路啟用 Private Google Access。
- 在 Dataflow 工作的參數中,指定
--usePublicIps=false和--network=NETWORK-NAME或--subnetwork=SUBNETWORK-NAME。根據您的選擇,替換下列其中一項:
- NETWORK-NAME:Compute Engine 網路的名稱
- SUBNETWORK-NAME:Compute Engine 子網路名稱
Python
- 如要暫存所有 Python 套件依附元件,請按照 Apache Beam 管道依附元件操作說明操作。
- 為網路或子網路啟用 Private Google Access。
-
在 Dataflow 工作的參數中,指定
--no_use_public_ips和--network=NETWORK或--subnetwork=SUBNETWORK。根據您的選擇,替換下列其中一項:
- NETWORK-NAME:Compute Engine 網路的名稱
- SUBNETWORK-NAME:Compute Engine 子網路名稱
Go
- 為網路或子網路啟用 Private Google Access。
-
在 Dataflow 工作的參數中,指定
--no_use_public_ips和--network=NETWORK或--subnetwork=SUBNETWORK。根據您的選擇,替換下列其中一項:
- NETWORK-NAME:Compute Engine 網路的名稱
- SUBNETWORK-NAME:Compute Engine 子網路名稱
gcloud
為網路或子網路啟用私人 Google 存取權。
啟動 Dataflow 工作時,請加入
--disable-public-ips旗標,並指定--network或--subnetwork旗標。您可以使用下列任一指令:下列範例使用
gcloud dataflow jobs run指令:gcloud dataflow jobs run JOB_NAME \ --gcs-location=gs://TEMPLATE_BUCKET/templates/TEMPLATE_NAME \ --region=REGION \ --staging-location=gs://TEMP_BUCKET/staging \ --network=NETWORK_NAME \ --subnetwork=SUBNETWORK_NAME \ --disable-public-ips替換下列值:
JOB_NAME:Dataflow 工作的專屬名稱。TEMPLATE_BUCKET和TEMPLATE_NAME:範本檔案的 Cloud Storage bucket 和路徑。REGION:要部署工作的 Dataflow 區域,例如us-central1。TEMP_BUCKET:用於暫存檔案和二進位檔的 Cloud Storage bucket。NETWORK_NAME:虛擬私有雲網路的名稱。SUBNETWORK_NAME: 虛擬私有雲子網路的名稱或網址。
API
為網路或子網路啟用私人 Google 存取權。
使用 Dataflow REST API 的
projects.locations.templates.launch方法啟動 Dataflow 工作或範本時,請在environment物件中將ipConfiguration欄位設為WORKER_IP_PRIVATE,並指定network或subnetwork:POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/templates:launch?gcsPath=gs://TEMPLATE_BUCKET/templates/TEMPLATE_NAME { "jobName": "JOB_NAME", "parameters": { "PARAM_KEY": "PARAM_VALUE" }, "environment": { "tempLocation": "gs://TEMP_BUCKET/temp", "network": "NETWORK_NAME", "subnetwork": "SUBNETWORK_NAME", "ipConfiguration": "WORKER_IP_PRIVATE" } }替換下列值:
PROJECT_ID:您的 Google Cloud 專案 ID。REGION:要部署工作的 Dataflow 區域,例如us-central1。TEMPLATE_BUCKET和TEMPLATE_NAME:範本檔案的 Cloud Storage bucket 和路徑。JOB_NAME:Dataflow 工作的專屬名稱。PARAM_KEY和PARAM_VALUE:管道所需的任何範本參數。TEMP_BUCKET:暫存檔案的 Cloud Storage bucket 名稱。NETWORK_NAME:虛擬私有雲網路的名稱。SUBNETWORK_NAME:虛擬私有雲子網路的完整網址或路徑。
ipConfiguration欄位屬於WorkerIPAddressConfiguration類型,支援下列列舉值:WORKER_IP_PRIVATE:worker 只會獲派內部 IP 位址。公開 IP 位址已停用。必須啟用 Private Google Access。WORKER_IP_PUBLIC:系統會為 worker 指派公開和內部 IP 位址。WORKER_IP_UNSPECIFIED:使用預設設定 (worker 會同時收到公開和內部 IP 位址)。
使用標記保護 worker VM 網路
標記可讓您將網路防火牆規則套用至特定 VM 執行個體。執行 Dataflow 工作時,您可以為執行工作的 Dataflow worker VM 指定標記。這些標記的任何防火牆規則都會套用至 Dataflow worker VM。
Dataflow 支援兩種 VM 網路標記:
搭配 Dataflow 使用安全標記
安全標記又稱為 Identity and Access Management (IAM) 控管的標記,是您在 Resource Manager 中建立及管理的鍵/值組合。與網路標記不同,安全標記支援使用 IAM 控管存取權。
使用安全標記 (而非網路標記) 的好處包括:
安全標記可防止未經授權修改標記,以及因此對防火牆規則造成不必要的變更。
全域和區域網路防火牆政策支援安全標記。使用安全標記,即可將多個防火牆規則分組並同時更新,且更新作業受 IAM 存取控管機制規範。
安全標記會繼承 Google Cloud 階層中的父項資源,因此您可以在較高層級 (例如組織層級) 定義標記。詳情請參閱「標記沿用設定」。
有了安全標記,輸入防火牆規則就能納入透過虛擬私有雲網路對接連線的虛擬私有雲網路來源。如果是 Dataflow 工作,這表示防火牆規則可以包含 worker VM 網路和對等互連虛擬私有雲網路中的來源。
如要進一步瞭解安全標記與網路標記之間的差異,請參閱「標記與網路標記比較」。
如要將安全標記套用至 Dataflow 工作,請按照下列步驟操作:
設定防火牆政策的安全標記。詳情請參閱「設定安全代碼」。
將資源 (標記值) 的標記使用者角色 (
roles/resourcemanager.tagUser) 授予 Dataflow 服務帳戶。如要進一步瞭解必要權限,請參閱「管理資源標記」。建立 Dataflow 工作時,請使用
use_vm_tags服務選項,格式如下:
Java
--dataflowServiceOptions=use_vm_tags=tagKeys/KEY1:tagValues/VALUE1;tagKeys/KEY2:tagValues/VALUE2
Python
--dataflow_service_options=use_vm_tags=tagKeys/KEY1:tagValues/VALUE1;tagKeys/KEY2:tagValues/VALUE2
Go
--dataflow_service_options=use_vm_tags=tagKeys/KEY1:tagValues/VALUE1;tagKeys/KEY2:tagValues/VALUE2
gcloud
使用 gcloud dataflow jobs run 指令,並加上 additional-experiments 選項。如果使用 Flex 範本,請使用 gcloud dataflow flex-template run 指令。
--additional-experiments=use_vm_tags=tagKeys/KEY1:tagValues/VALUE1;tagKeys/KEY2:tagValues/VALUE2
搭配 Dataflow 使用網路標記
網路標記是文字屬性,可設定於防火牆規則,並附加至 Compute Engine VM。與安全標記不同,網路標記是文字字串,並非由 Resource Manager 管理的資源。
如要將網路標記套用至 Dataflow 工作,請使用 use_network_tags 實驗,如下所示:
Java
--dataflowServiceOptions=use_network_tags=TAG_NAME
Python
--dataflow_service_options=use_network_tags=TAG_NAME
Go
--dataflow_service_options=use_network_tags=TAG_NAME
gcloud
使用 gcloud dataflow jobs run 指令,並加上 additional-experiments 選項。如果使用 Flex 範本,請使用 gcloud dataflow flex-template run 指令。
--additional-experiments=use_network_tags=TAG_NAME
指定網路標記也會將預設網路標記 Dataflow 新增至 Flex 範本啟動器 VM。
將 TAG_NAME 替換為標記名稱。如要新增多個標記,請使用分號 (;) 分隔,如下所示:TAG_NAME_1;TAG_NAME_2;TAG_NAME_3;...。
工作開始後,您就無法再新增網路標記。
Dataflow 一律會將預設網路標記 dataflow 新增至其建立的每個 worker VM。
請參閱網路標記適用的限制。
Dataflow 的防火牆規則
防火牆規則可讓您允許或拒絕 VM 的往來流量。如果 Dataflow 工作使用 Dataflow Shuffle 或 Streaming Engine,則只需確保防火牆規則允許存取 Google Cloud API。否則,您必須設定其他防火牆規則,讓 Dataflow VM 能夠在 TCP 通訊埠 12345 上傳送及接收串流工作的網路流量,並在 TCP 通訊埠 12346 上傳送及接收批次工作的網路流量。專案擁有者、編輯者或安全管理員必須在 Dataflow VM 使用的虛擬私有雲網路中,建立必要的防火牆規則。
為 Dataflow 設定防火牆規則前,請先參閱下列文件:
為 Dataflow 建立防火牆規則時,請指定 Dataflow 網路標記。否則,防火牆規則會套用至虛擬私有雲網路中的所有 VM。
在適用情況下,系統會先評估階層式防火牆政策,且這些規則會優先於虛擬私有雲防火牆規則。如果 Dataflow 工作所在的專案屬於使用階層式防火牆政策的資料夾或組織,則必須具備 compute.orgFirewallPolicyAdmin 角色才能修改政策。
如果您在執行管道程式碼時未建立自訂網路標記,Dataflow VM 會使用預設的 dataflow 標記。如果沒有自訂網路標記,請使用預設的 dataflow 標記建立防火牆規則。
如果您在執行管道程式碼時建立自訂網路標記,Dataflow VM 會使用這些標記。使用自訂標記建立防火牆規則。
部分虛擬私有雲網路 (例如自動建立的 default 網路) 包含符合 Dataflow 防火牆規定的 default-allow-internal 規則。
防火牆輸入規則範例
輸入防火牆規則允許 Dataflow VM 接收彼此的封包。您必須一律建立允許輸入防火牆規則,否則流量一律會遭到封鎖,即使輸出規則允許這類流量也一樣。
在下列範例中,系統會為 Dataflow 建立防火牆輸入規則,其中所有 worker VM 都具有預設網路標記 dataflow。專案擁有者、編輯者或安全管理員可以使用下列 gcloud 指令,建立輸入允許規則,允許來自具有網路標記 dataflow 的 VM 的 TCP 通訊埠 12345 和 12346 流量,傳送至具有相同標記的其他 VM:
gcloud compute firewall-rules create FIREWALL_RULE_NAME_INGRESS \
--action=allow \
--direction=ingress \
--network=NETWORK \
--target-tags=CUSTOM_TAG \
--source-tags=CUSTOM_TAG \
--priority=PRIORITY_NUM \
--rules tcp:12345-12346
更改下列內容:
FIREWALL_RULE_NAME_INGRESS:防火牆規則的名稱NETWORK:worker VM 使用的網路名稱CUSTOM_TAG:以半形逗號分隔的網路標記清單以下是使用網路標記的規範:
如果省略
--target-tags,規則會套用至虛擬私有雲網路中的所有 VM。如果省略
--source-tags和所有其他來源規格,則允許來自任何來源的流量。如果您未指定自訂網路標記,且希望規則僅適用於 Dataflow VM,請使用
dataflow做為網路標記。如果您已指定自訂網路標記,且希望規則僅適用於 Dataflow VM,請使用自訂網路標記。
PRIORITY_NUM:防火牆規則的優先順序數字越小,優先順序越高,
0的優先順序最高。
防火牆輸出規則範例
輸出防火牆規則允許 Dataflow VM 互相傳送封包。如果您已建立任何輸出拒絕防火牆規則,可能需要在虛擬私有雲網路中建立自訂輸出允許防火牆規則。
在本範例中,系統會為 Dataflow 建立防火牆輸出規則,其中所有 worker VM 的預設網路標記都是 dataflow。專案擁有者、編輯者或安全性管理員可以使用下列 gcloud 指令,建立輸出允許規則,允許來自具有網路標記 dataflow 的 VM 上 TCP 通訊埠 12345 和 12346 的流量,傳送至具有相同標記的其他 VM:
gcloud compute firewall-rules create FIREWALL_RULE_NAME_EGRESS \
--network=NETWORK \
--action=allow \
--direction=egress \
--target-tags=CUSTOM_TAG \
--source-tags=CUSTOM_TAG \
--destination-ranges=DESTINATION-RANGES\
--priority=PRIORITY_NUM \
--rules tcp:12345-12346
更改下列內容:
FIREWALL_RULE_NAME_EGRESS:防火牆規則的名稱NETWORK:worker VM 使用的網路名稱CUSTOM_TAG:以半形逗號分隔的網路標記清單以下是使用網路標記的規範:
如果省略
--target-tags,規則會套用至虛擬私有雲網路中的所有 VM。如果省略
--source-tags和所有其他來源規格,則允許來自任何來源的流量。如果您未指定自訂網路標記,且希望規則僅適用於 Dataflow VM,請使用
dataflow做為網路標記。如果您已指定自訂網路標記,且希望規則僅適用於 Dataflow VM,請使用自訂網路標記。
DESTINATION-RANGES:以半形逗號分隔的 CIDR 清單納入所選子網路的主要 IP 位址範圍。
PRIORITY_NUM:防火牆規則的優先順序數字越小,優先順序越高,
0的優先順序最高。
如要瞭解 Dataflow 使用的特定 TCP 通訊埠,請查看專案容器資訊清單。容器資訊清單會明確指定通訊埠,以便將主機通訊埠對應至容器。
透過 SSH 存取 worker VM
Dataflow 不需要 SSH,但 SSH 有助於疑難排解。
如果 worker VM 有外部 IP 位址,您可以透過 Google Cloud 控制台或使用 Google Cloud CLI 連線至 VM。如要使用 SSH 連線,您必須設定防火牆規則,允許 TCP 通訊埠 22 接受傳入連線,且連線來源至少須為執行 gcloud 的系統 IP 位址,或執行網路瀏覽器的系統 IP 位址 (您使用該瀏覽器存取Google Cloud 控制台)。
如要查看網路設定和活動,請在其中一個 worker 上開啟 SSH 工作階段,然後執行 iproute2。詳情請參閱 Linux Foundation wiki 的 iproute2 頁面。
如要連線至只有內部 IP 位址的 worker VM,請參閱「選擇僅限內部 VM 的連線選項」。
後續步驟
- 瞭解 Connectivity Tests。Connectivity Tests 是一項診斷工具,可檢查網路端點之間的連線。
- 建立及執行 Connectivity Tests。