設定 Snowflake 移轉作業的私人連線

本指南說明如何設定私人連線,建立從 Snowflake 到 BigQuery 的私人資料移轉作業。私人資料移轉功能可讓您在私人網路內將資料從一個來源移轉至另一個來源,並降低透過公開網際網路移轉資料時的安全風險。

下列各節說明設定私人連線的必要步驟,完成後即可建立 Snowflake 移轉作業。

託管於 Amazon Web Services (AWS)、Microsoft Azure 和 Google Cloud的 Snowflake 執行個體支援私人移轉。

將 AWS、Azure 或 Google Cloud代管 Snowflake 帳戶中的私人資料移轉至 BigQuery

建立私人連結,將 Snowflake 帳戶連結至雲端服務供應商。如要瞭解詳情,請選取下列其中一個選項:

AWS

設定 AWS PrivateLink,將 Snowflake 帳戶連結至 AWS 帳戶。您的 AWS 帳戶必須包含 Snowflake 移轉作業所需的 Amazon S3 暫存 bucket。

Azure

設定 Azure Private Link,將 Azure 虛擬網路 (VNet) 連線至 Azure 中的 Snowflake VNet。您的 Azure 帳戶必須包含 Snowflake 移轉作業所需的 Blob 暫存 bucket。

Google Cloud

設定 Google Cloud Private Service Connect,將虛擬私有雲 (VPC) 網路子網路連線至託管於 Google Cloud的 Snowflake 帳戶。Google Cloud 必須具備 Snowflake 移轉作業所需的 Cloud Storage 暫存 bucket。

設定 Cross-Cloud Interconnect 或高可用性 VPN

從 AWS 或 Azure 設定 Cross-Cloud Interconnect 或高可用性 VPN。如果是Google Cloud託管的 Snowflake 帳戶,則不需要執行這個步驟。

AWS

高可用性 VPN 可讓您透過加密的 VPN 通道傳輸資料。如要使用高可用性 VPN 進行私人 Snowflake 移轉作業,請參閱「在 Google Cloud 和 AWS 之間建立高可用性 VPN 連線」。

Cross-Cloud Interconnect 連線會在雲端服務供應商之間建立專屬私人連結,適合用於低延遲需求的大型資料移轉作業。如要使用 Cross-Cloud Interconnect 進行私人 Snowflake 移轉作業,請參閱「連線至 AWS」。

Azure

高可用性 VPN 可讓您透過加密的 VPN 通道傳輸資料。如要使用高可用性 VPN 進行私人 Snowflake 移轉作業,請參閱「在 Google Cloud 和 Azure 之間建立高可用性 VPN 連線」。

Cross-Cloud Interconnect 連線會在雲端服務供應商之間建立專屬私人連結,適合用於低延遲需求的大型資料移轉作業。如要使用 Cross-Cloud Interconnect 進行私人 Snowflake 移轉作業,請參閱「連線至 Azure」。

建立 Proxy VM

如要完成私人連線,必須使用 Proxy VM 完成資料來源之間的連線,且資料不會傳送至公開網際網路。如果 Snowflake 執行個體託管於 AWS、Azure 或 Google Cloud,則必須執行這個步驟。

如要建立及設定 Snowflake 私人移轉作業的 Proxy VM,請按照下列步驟操作:

  1. 在用戶虛擬私有雲網路中建立一或多個 Compute Engine VM 執行個體。
  2. 下載 TCP Proxy 軟體 (例如 HAProxy 或 Nginx),並設定下列項目:
    1. 指定通訊埠。例如 443。
    2. 將所有傳入的 TCP 流量轉送至 Snowflake 執行個體上的私人主機名稱和通訊埠。
  3. 設定 VM,透過用戶虛擬私有雲網路中設定的 DNS 解析 Snowflake 私人主機名稱。

建立內部直通式負載平衡器

請按照下列步驟,為控制層設定內部直通式負載平衡器:

  1. 將 Proxy VM 分組至代管執行個體群組 (MIG)。
  2. 設定具有 VM 執行個體群組後端的內部直通式網路負載平衡器。

建立服務連結

使用 Private Service Connect 建立網路連結並發布服務。如果 Snowflake 執行個體託管於 AWS、Azure 或 Google Cloud,則必須執行這個步驟。

服務連結必須與 BigQuery 資料集位於相同區域。

如果服務使用明確核准 (connection-preference 設為 ACCEPT_MANUAL),則 Snowflake 私人資料移轉作業使用的服務帳戶必須具備下列 IAM 權限:

  • compute.serviceAttachments.get
  • compute.serviceAttachments.update
  • compute.regionOperations.get

建立服務連結後,請記下服務連結 URI。建立 Snowflake 移轉設定時,會需要這個 URI。

建立端點

在 AWS 或 Azure 帳戶中建立端點。如果是Google Cloud託管的 Snowflake 帳戶,則不需要執行這個步驟。

AWS

在 AWS 中,建立連至 Amazon S3 的虛擬私有雲端點。詳情請參閱「使用介面 VPC 端點存取 AWS 服務」。

Azure

在 Azure 的儲存體帳戶上設定私人端點。詳情請參閱「使用 Azure 儲存體的私人端點」。

Storage 移轉服務需要 *.blob.core.windows.net 端點。不支援 *.dfs.core.windows.net 端點。

建立後,請記下端點的 IP 位址。在下一節建立負載平衡器時,您需要指定 IP 位址。

建立 Proxy 區域性負載平衡器

在 Google Cloud中,設定具有混合式連線的區域性內部 Proxy 網路負載平衡器。這會提供內部 IP 位址,僅限與負載平衡器在相同虛擬私有雲網路中運作的用戶端使用,並將流量轉送至您在上一節建立的 S3 虛擬私有雲端點或 Azure 儲存體私人端點。

您應在與 Cloud Interconnect 介接的 VLAN 連結相同的專案和虛擬私有雲網路中建立負載平衡器。雖然互連網路本身可以位於同一組織內的不同專案,但連結必須與負載平衡器位於相同的虛擬私有雲和區域。

在「將端點新增至混合式連線 NEG」步驟中,指定 S3 虛擬私有雲端點或 Azure 儲存體私人端點 IP 位址。

請記下 NLB 的前端 IP 位址和通訊埠,下一節會用到。

驗證連線

繼續操作前,建議您先驗證負載平衡器能否連線至遠端儲存空間端點。

方法如下:

  1. 在負載平衡器所在的虛擬私有雲網路中,建立 Compute Engine VM。
  2. 在 VM 中使用 curl,測試與負載平衡器 IP 位址和通訊埠的連線:

    curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME
    

    更改下列內容:

    • HOSTNAME 是來源儲存空間供應商的主機名稱。
      • 如果是 AWS S3,請使用 bucket 所在區域的 S3 API 端點,例如 s3.us-west-1.amazonaws.com。
      • 如果是 Azure 儲存體,請使用儲存體帳戶的 Blob 端點,例如 mystorageaccount.blob.core.windows.net。
    • PORT 是您在負載平衡器轉送規則中設定的通訊埠,通常是 443。
    • LOAD_BALANCER_IP 是負載平衡器的前端 IP 位址。

如果遠端端點傳回回應 (即使是錯誤),表示連線成功。連線逾時表示網路設定有誤,請先解決問題再繼續。

註冊 NLB

在 Service Directory 註冊 NLB。BigQuery 會使用 Service Directory 解析負載平衡器的位址,並直接連線至該位址。

按照操作說明註冊內部負載平衡器。指定轉送規則時,請使用您建立的負載平衡器 IP 位址和通訊埠。

建立後,請記下服務的自我連結。格式為 projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}。建立移轉工作時,會需要用到這個值。

準備暫存 bucket

如要完成 Snowflake 資料移轉作業,您必須建立暫存 bucket,並設定允許 Snowflake 寫入資料。

選取下列選項之一:

AWS

如果是 AWS 託管的 Snowflake 帳戶,請建立 Amazon S3 bucket,用於暫存 Snowflake 資料,再載入 BigQuery。

  1. 建立 Amazon S3 儲存貯體。

  2. 建立及設定 Snowflake 儲存空間整合物件,允許 Snowflake 將資料寫入 Amazon S3 bucket 做為外部階段。

如要允許讀取 Amazon S3 bucket,您還必須執行下列操作:

  1. 建立專用的 Amazon IAM 使用者,並授予 AmazonS3ReadOnlyAccess 政策。

  2. 為 IAM 使用者建立 Amazon 存取金鑰組。

Azure

如果是 Azure 託管的 Snowflake 帳戶,請建立 Azure Blob 儲存體容器,以便在將 Snowflake 資料載入 BigQuery 之前暫存資料。

  1. 建立 Azure 儲存體帳戶,並在其中建立儲存體容器。
  2. 建立及設定 Snowflake 儲存體整合物件,允許 Snowflake 將資料寫入 Azure 儲存體容器,做為外部階段。您可以略過建立外部階段的步驟,因為這並非必要。

如要允許讀取 Azure 容器,請產生 SAS 權杖。

Google Cloud

如果是 Google Cloud託管的 Snowflake 帳戶,請建立 Cloud Storage bucket,用於暫存 Snowflake 資料,再載入 BigQuery。

  1. 建立 Cloud Storage bucket。
  2. 建立及設定 Snowflake 儲存空間整合物件,允許 Snowflake 將資料寫入 Cloud Storage bucket 做為外部暫存區。
  3. 如要允許存取暫存 bucket,請使用下列指令,將 roles/storage.objectViewer 角色授予 DTS 服務代理:

    gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \
      --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer. \
      --role=roles/storage.objectViewer

建立私人 Snowflake 移轉設定

建立 Snowflake 移轉作業。設定移轉設定時,請執行下列操作:

控制台

  • 在「Use Private Network」部分,選取「True」。
  • 在「PSC Service Attachment」(PSC 服務連結) 部分,輸入服務連結 URI。如要瞭解如何尋找服務連結 URI,請參閱「查看已發布服務的詳細資料」。服務連結 URI 的格式為 projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT。
  • 在「Private Network Service」(私人網路服務) 部分,輸入 NLB 服務的自我連結。格式為 projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME。
  • 要用於移轉作業的暫存 bucket URI:
  • 在「Cloud Provider」(雲端服務供應商) 部分,根據託管 Snowflake 帳戶的雲端服務供應商,選取「AWS」、「AZURE」或「GCP」。

    AWS

    • 在「Amazon S3 URI」部分,輸入 Amazon S3 bucket 的 URI,做為暫存 bucket。
    • 在「Access key ID」(存取金鑰 ID) 和「Secret access key」(私密存取金鑰) 中,輸入存取金鑰組。

    Azure

    Google Cloud

bq

  • 將 use_private_network 參數設為 TRUE。
  • 針對 service_attachment 參數,指定服務連結 URI。如要瞭解如何尋找服務連結 URI,請參閱「查看已發布服務的詳細資料」。服務連結 URI 的格式為 projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT。
  • 在 private_network_service 參數中,提供 NLB 服務的自我連結。格式為 projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME。
  • cloud_provider:輸入 AWS、AZURE 或 GCP,具體取決於託管 Snowflake 帳戶的雲端服務供應商。
  • staging_s3_uri:輸入 S3 bucket 的 URI,做為暫存 bucket。只有在 cloud_provider 為 AWS 時才需要。
  • aws_access_key_id:輸入存取金鑰組。只有在 cloud_provider 為 AWS 時才需要。
  • aws_secret_access_key:輸入存取金鑰組。只有在 cloud_provider 為 AWS 時才需要。
  • azure_storage_account:輸入要用做暫存 bucket 的儲存體帳戶名稱。只有在 cloud_provider 為 AZURE 時才需要。
  • staging_azure_container:輸入 Azure Blob 儲存體中的容器,做為暫存 bucket。只有在 cloud_provider 為 AZURE 時才需要。
  • azure_sas_token:輸入 SAS 權杖。只有在 cloud_provider 為 AZURE 時才需要。
  • staging_gcs_uri:輸入要用作暫存 bucket 的 Cloud Storage URI。只有在 cloud_provider 為 GCP 時才需要。