排定 Snowflake 移轉作業

BigQuery 資料移轉服務提供的 Snowflake 連接器可讓您排定及管理自動移轉工作,使用公開 IP 許可清單將資料從 Snowflake 遷移至 BigQuery。

總覽

Snowflake 連接器會與 Google Kubernetes Engine 中的遷移代理程式互動,並觸發從 Snowflake 到 Cloud Storage bucket 內暫存區的載入作業。

  • 如果是 Amazon Web Services (AWS)、Azure 或 Google Cloud託管的 Snowflake 帳戶,資料會先暫存在 Cloud Storage bucket,再透過 BigQuery 資料移轉服務移轉至 BigQuery。

下圖說明從託管於 Amazon Web Services (AWS) 或 Azure 的 Snowflake 帳戶,或 Google Cloud託管的 Snowflake 帳戶公開移轉資料。

將公開資料從 AWS、Azure 或 Google Cloud託管的 Snowflake 帳戶移轉至 BigQuery

限制

使用 Snowflake 連接器移轉資料時,須遵守下列限制:

  • Snowflake 連接器僅支援從單一 Snowflake 資料庫和結構定義中的資料表移轉資料。如要從具有多個 Snowflake 資料庫或結構定義的資料表移轉,可以分別設定各項移轉工作。
  • 將資料從 Snowflake 載入 Amazon S3 bucket、Azure Blob Storage 容器或 Cloud Storage bucket 的速度,取決於您為這項移轉作業選擇的 Snowflake 倉儲。
  • BigQuery 會將 Snowflake 的資料以 Parquet 檔案格式寫入 Cloud Storage。Parquet 檔案不支援 TIMESTAMP_TZ 和 TIMESTAMP_LTZ 資料類型。如果資料包含這些類型,可以將資料匯出至 Amazon S3 為 CSV 檔案,然後將 CSV 檔案匯入 BigQuery。詳情請參閱「Amazon S3 資料移轉簡介」。

事前準備

以下各節說明設定 Snowflake 移轉作業的必要步驟。

準備 Google Cloud 專案

請按照下列步驟,建立及設定 Google Cloud 專案,以便移轉 Snowflake:

  1. 建立 Google Cloud 專案或選取現有專案。

  2. 確認您已完成啟用 BigQuery 資料移轉服務的所有必要動作。

  3. 建立 BigQuery 資料集來儲存資料。您不需要建立任何資料表。

取得必要的 IAM 角色

如要建立及管理 Snowflake 資料移轉作業,所有必要的使用者和服務帳戶都必須具備下表所述的角色:

身分 角色 目標資源
使用者帳戶 roles/bigquery.user Google Cloud 專案
使用者帳戶 roles/bigquery.dataOwner 目的地 BigQuery 資料集
使用者帳戶 roles/iam.serviceAccountUser 專屬服務帳戶
專屬服務帳戶 roles/storage.objectViewer 暫存 Cloud Storage bucket,以及包含結構定義對應檔案的一或多個 bucket
BigQuery 資料移轉服務服務代理 roles/storage.objectViewer Cloud Storage 暫存 bucket
BigQuery 資料移轉服務服務代理 roles/bigquery.dataEditor 目的地 BigQuery 資料集
BigQuery 資料移轉服務服務代理 roles/iam.serviceAccountTokenCreator 專屬服務帳戶 (如果您使用跨專案服務帳戶)
Snowflake Google Cloud 服務帳戶 roles/storage.objectUser Cloud Storage 暫存 bucket
Snowflake Google Cloud 服務帳戶 roles/storage.bucketViewer Cloud Storage 暫存 bucket

以下各節將詳細說明各身分所需的角色和權限。

取得使用者帳戶權限

如要取得建立及管理移轉設定,以及使用使用者帳戶執行工作的權限,請要求管理員授予您下列 IAM 角色:

  • 建立及管理移轉設定,並執行工作:專案的 BigQuery 使用者 (roles/bigquery.user)
  • 管理及授予目的地資料集的存取權:目的地 BigQuery 資料集的 BigQuery 資料擁有者 (roles/bigquery.dataOwner)
  • 使用專屬服務帳戶建立或更新移轉設定:專屬服務帳戶的服務帳戶使用者 (roles/iam.serviceAccountUser)

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備所需權限,可建立及管理移轉設定,並透過使用者帳戶執行工作。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

您必須具備下列權限,才能建立及管理移轉設定,以及透過使用者帳戶執行工作:

  • bigquery.transfers.get
  • bigquery.transfers.update
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.jobs.create
  • bigquery.datasets.setIamPolicy
  • iam.serviceAccounts.actAs

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

取得專屬服務帳戶權限

為確保專用服務帳戶具備必要權限,可在移轉作業執行期間,使用服務帳戶讀取翻譯中繼資料、自訂結構定義或暫存檔案,請要求管理員將 Cloud Storage 暫存 bucket 和包含結構定義對應檔案的 bucket,授予專用服務帳戶 Storage 物件檢視者 (roles/storage.objectViewer) IAM 角色。

取得 BigQuery 資料移轉服務服務代理權限

為確保 BigQuery 資料移轉服務服務代理具備必要權限,可使用服務代理執行移轉作業,請要求管理員將下列 IAM 角色授予 BigQuery 資料移轉服務服務代理:

  • 在移轉作業執行期間讀取未載入的資料檔案:Cloud Storage 暫存 bucket 的 Storage 物件檢視者 (roles/storage.objectViewer)
  • 將移轉的資料寫入目的地資料表:目的地 BigQuery 資料集的 BigQuery 資料編輯者 (roles/bigquery.dataEditor)
  • 授權使用跨專案服務帳戶的移轉作業:跨專案專用服務帳戶的服務帳戶權杖建立者 (roles/iam.serviceAccountTokenCreator)

如果專用服務帳戶與啟用 BigQuery 資料移轉服務的專案位於相同位置,Google 會自動授予必要的 iam.serviceAccounts.getAccessToken 權限。只有在專用服務帳戶位於不同專案時,才需要手動授予服務帳戶權杖建立者角色 (roles/iam.serviceAccountTokenCreator)。詳情請參閱「跨專案服務帳戶授權」。

取得 Snowflake Google Cloud 服務帳戶權限

為確保 Snowflake Google Cloud 服務帳戶具備必要權限,可在暫存 bucket 中寫入及管理卸載的資料檔案,請要求管理員在 Cloud Storage 暫存 bucket 中,將下列 IAM 角色授予 Snowflake Google Cloud 服務帳戶:

這些預先定義的角色具備在暫存 bucket 中寫入及管理卸載資料檔案所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

您必須具備下列權限,才能在暫存 bucket 中寫入及管理卸載的資料檔案:

  • storage.buckets.get
  • storage.objects.get
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list

準備暫存 bucket

如要準備 Snowflake 資料移轉作業,請建立暫存 bucket,並設定允許 Snowflake 寫入。您必須先將 Snowflake 資料暫存至 Cloud Storage bucket,才能載入 BigQuery。暫存 bucket 不得啟用階層命名空間功能。

如要建立及設定暫存 bucket,請按照下列步驟操作:

  1. 建立 Cloud Storage bucket。
  2. 建立及設定 Snowflake 儲存空間整合物件,允許 Snowflake 將資料寫入 Cloud Storage bucket 做為外部暫存區。

    CREATE STORAGE INTEGRATION STORAGE_INTEGRATION_NAME
    TYPE = EXTERNAL_STAGE
    STORAGE_PROVIDER = 'GCS'
    ENABLED = TRUE
    STORAGE_ALLOWED_LOCATIONS = ('gcs://STAGING_BUCKET_NAME/');
    
    -- Describe integration to retrieve Snowflake Google Cloud service account
    DESCRIBE INTEGRATION STORAGE_INTEGRATION_NAME;

    更改下列內容:

    • STORAGE_INTEGRATION_NAME:新儲存空間整合物件的名稱。
    • STAGING_BUCKET_NAME:您建立的 Cloud Storage bucket 名稱。
  3. 執行 DESCRIBE INTEGRATION 指令時,Cloud Storage 服務帳戶會列在 STORAGE_GCP_SERVICE_ACCOUNT 欄位下方。將 Cloud Storage bucket 的下列權限授予 Cloud Storage 服務帳戶:

    • storage.buckets.get
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
  4. 如要允許存取暫存 bucket,請將 roles/storage.objectViewer 角色授予 BigQuery 資料移轉服務代理:

    gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \
        --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer. \
        --role=roles/storage.objectViewer

如要進行 Snowflake 私人資料移轉,請建立暫存 bucket 並設定私人連線。

如果 Google Cloud 貴組織使用 constraints/iam.allowedPolicyMemberDomains 限制強制執行網域限制共用,則將暫存 bucket 的 IAM 角色授予 STORAGE_GCP_SERVICE_ACCOUNT 服務帳戶會失敗,因為該服務帳戶屬於 Snowflake 的外部組織。

您無法從服務帳戶電子郵件地址衍生 Snowflake 的 Google Workspace 客戶 ID。透過下列任一方式取得客戶 ID:

  • 如果您的 Snowflake 帳戶託管於 Google Cloud,請在 Snowflake 中以 ACCOUNTADMIN 角色執行 SELECT SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO();,並在輸出內容中找出 snowflake-customer-directory-id 值。
  • 如果您的 Snowflake 帳戶託管於 AWS 或 Azure,請與 Snowflake 支援團隊聯絡,索取 STORAGE_GCP_SERVICE_ACCOUNT 服務帳戶的 Google Workspace 客戶 ID。

如要將 Snowflake 的客戶 ID 新增至專案的許可清單,請更新組織政策:

gcloud resource-manager org-policies allow \
    iam.allowedPolicyMemberDomains EXTERNAL_CUSTOMER_ID \
    --project=PROJECT_ID

更改下列內容:

  • EXTERNAL_CUSTOMER_ID:Snowflake 的 Google Workspace 客戶 ID。
  • PROJECT_ID: Google Cloud 專案 ID,用於存放暫存 bucket。

詳情請參閱「使用網域限制共用功能限制身分」。

建立具備必要權限的 Snowflake 使用者

在 Snowflake 移轉期間,Snowflake 連接器會使用 JDBC 連線連至 Snowflake 帳戶。您必須建立新的 Snowflake 使用者,並指派自訂角色,只授予執行資料移轉所需的權限。

下表列出名為 MIGRATION_ROLE 的自訂角色所需的角色和權限:

身分 角色或權限 目標資源 目的
遷移使用者 MIGRATION_ROLE Snowflake 帳戶 使用 RSA 金鑰組進行驗證,並執行遷移作業。
遷移角色 USAGE Snowflake 倉儲 提供執行查詢所需的運算能力。
USAGE Snowflake 資料庫和結構定義 存取包含來源資料表的資料庫和結構定義。
SELECT 來源資料表 讀取資料表中繼資料,並擷取要移轉的資料。
USAGE 儲存空間整合 授權將資料卸載至外部 Cloud Storage 暫存 bucket。

如要建立及設定自訂角色和遷移使用者,請在 Snowflake 帳戶中執行下列 SQL 指令:

  1. 建立自訂角色 MIGRATION_ROLE:

    CREATE ROLE MIGRATION_ROLE;

    將 MIGRATION_ROLE 替換為您要建立的自訂角色名稱。

  2. 授予自訂角色必要權限:

    GRANT USAGE ON WAREHOUSE WAREHOUSE_NAME TO ROLE MIGRATION_ROLE;
    GRANT USAGE ON DATABASE DATABASE_NAME TO ROLE MIGRATION_ROLE;
    GRANT USAGE ON SCHEMA DATABASE_NAME.SCHEMA_NAME TO ROLE MIGRATION_ROLE;
    GRANT SELECT ON ALL TABLES IN SCHEMA DATABASE_NAME.SCHEMA_NAME TO ROLE MIGRATION_ROLE;
    GRANT USAGE ON INTEGRATION STORAGE_INTEGRATION_OBJECT_NAME TO ROLE MIGRATION_ROLE;

    更改下列內容:

    • WAREHOUSE_NAME:資料倉儲的名稱。
    • DATABASE_NAME:Snowflake 資料庫的名稱。
    • SCHEMA_NAME:Snowflake 結構定義的名稱。
    • STORAGE_INTEGRATION_OBJECT_NAME:Snowflake 儲存空間整合物件的名稱。
  3. 以服務使用者身分建立遷移使用者:

    CREATE USER MIGRATION_USER TYPE = SERVICE;

    將 MIGRATION_USER 替換為遷移使用者的使用者名稱。設定 TYPE = SERVICE 會建立服務使用者,該使用者會使用金鑰組進行驗證,且不受互動式多重驗證 (MFA) 限制。

  4. 將自訂角色指派給遷移使用者:

    GRANT ROLE MIGRATION_ROLE TO USER MIGRATION_USER;
    ALTER USER MIGRATION_USER SET DEFAULT_ROLE = MIGRATION_ROLE;

產生驗證金鑰組

由於 Snowflake 已淘汰單一因素密碼登入功能,建議您使用金鑰組進行驗證。請按照下列步驟設定金鑰組:

  1. 產生 2048 位元的 PKCS#8 私密金鑰 (PEM 格式)。選擇要產生未加密或加密的私密金鑰:

    • 如要產生未加密的私密金鑰,請執行下列指令:

      openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt
    • 如要產生已加密的私密金鑰,請執行下列指令,並在系統提示時輸入通關密語:

      openssl genrsa 2048 | openssl pkcs8 -topk8 -v2 des3 -inform PEM -out rsa_key.p8
  2. 產生對應的公開金鑰:

    openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pub
  3. 將公開金鑰 (不含標頭、頁尾和換行符號) 指派給 Snowflake 遷移使用者:

    ALTER USER MIGRATION_USER SET RSA_PUBLIC_KEY='PUBLIC_KEY_STRING';

    將 PUBLIC_KEY_STRING 替換為 rsa_key.pub 檔案中產生的公開金鑰主體。

詳情請參閱「設定金鑰組驗證」。

允許卸載至內嵌外部位置

Snowflake 連接器會在移轉期間,將資料卸載至內嵌外部位置。如果 Snowflake 帳戶限制將資料卸載至內嵌位置,移轉作業就會失敗。

如要允許將資料卸載至內嵌位置,請在 Snowflake 帳戶中執行下列 SQL 指令。您必須具備 Snowflake 的 ACCOUNTADMIN 角色,才能執行這項指令。

ALTER ACCOUNT SET PREVENT_UNLOAD_TO_INLINE_URL = false;

或者,您也可以使用 SET,透過下列指令允許在遷移使用者上卸載:

ALTER USER MIGRATION_USER SET PREVENT_UNLOAD_TO_INLINE_URL = false;

將 MIGRATION_USER 替換為遷移使用者的使用者名稱。

選用設定的其他必要條件

如要為 Snowflake 移轉作業設定選用功能 (例如私人連線或增量移轉),請務必完成下列各節所述的必要條件。

新增網路政策

如果是公開連線,Snowflake 帳戶預設允許使用資料庫憑證進行公開連線。不過,您可能設定了網路規則或政策,導致 Snowflake 連接器無法連線至您的帳戶。在這種情況下,您必須將必要的 IP 位址加入許可清單。詳情請參閱「設定 Snowflake 移轉作業的網路政策」。

結構定義偵測和對應

如要定義結構定義,您可以使用 BigQuery 資料移轉服務,在將資料從 Snowflake 移轉至 BigQuery 時,自動偵測結構定義和資料類型對應。或者,您也可以使用翻譯引擎,手動定義結構定義和資料類型。

詳情請參閱「Snowflake 的結構定義偵測和對應」。

啟用增量移轉

如要設定 Snowflake 增量資料移轉作業,請參閱「設定 Snowflake 增量移轉作業」。

啟用私人連線

如要建立私人 Snowflake 資料移轉作業,請設定私人連線網路。

設定 Snowflake 移轉作業

設定 Snowflake 移轉作業前,請確認您具備下列資訊:

  • Snowflake 帳戶 ID,也就是 Snowflake 帳戶網址的前置字串。例如 ACCOUNT_IDENTIFIER.snowflakecomputing.com。
  • 使用者名稱和相關聯的私密金鑰,且具備 Snowflake 資料庫的適當權限。只要具備執行資料移轉所需的權限即可。
  • 用於移轉作業的暫存 bucket URI。建議您為這個 bucket 設定生命週期政策,以免產生不必要的費用。
  • Cloud Storage bucket 的 URI,用於儲存從翻譯引擎取得的結構定義對應檔。

如要建立 Snowflake 移轉設定,請按照下列步驟操作:

控制台

  1. 前往 Google Cloud 控制台的「資料移轉」頁面。

    前往「資料移轉」

  2. 按一下「 建立移轉作業」。

  3. 在「Source type」(來源類型) 部分,從「Source」(來源) 清單中選取「Snowflake Migration」(Snowflake 遷移)。

  4. 在「Transfer config name」(移轉設定名稱) 部分,於「Display name」(顯示名稱) 欄位輸入移轉作業名稱,例如 My migration。顯示名稱可以是任何值,方便您日後需要修改時辨識移轉作業。

  5. 在「Schedule options」(排程選項) 部分的「Repeat frequency」(重複頻率) 清單中,選取選項來指定這項資料移轉作業的執行頻率。如要指定自訂重複頻率,請選取「Custom」(自訂)。如果選取「On-demand」(隨選),這項移轉作業會在您手動觸發後執行。

  6. 在「Destination settings」(目的地設定) 部分,從「Dataset」(資料集) 清單中選擇您建立的資料集。

  7. 在「Snowflake Credentials」(Snowflake 憑證) 部分,執行下列操作:

    1. 在「Account Identifier」(帳戶 ID) 部分,輸入 Snowflake 帳戶的專屬 ID,也就是組織名稱和帳戶名稱的組合。ID 是 Snowflake 帳戶網址的前置字元,而非完整網址。例如:ACCOUNT_IDENTIFIER.snowflakecomputing.com。
    2. 在「Username」(使用者名稱) 部分,輸入 Snowflake 使用者的使用者名稱,系統會使用該使用者的憑證和授權存取資料庫,以便移轉 Snowflake 資料表。建議您使用為這項移轉作業建立的使用者。
    3. 在「Authentication Mechanism」(驗證機制) 部分,選取 Snowflake 使用者驗證方式:

      PASSWORD

      • 在「Password」(密碼) 中,輸入 Snowflake 使用者的密碼。

      KEY_PAIR

      • 在「Private Key」(私密金鑰),輸入與和 Snowflake 使用者相關聯的公開金鑰連結的私密金鑰。
      • 如果私密金鑰是以通關密語加密,請選取「Is Private Key Encrypted」(私密金鑰是否已加密) 欄位。
      • 在「Private Key Passphrase」(私密金鑰通關密語) 部分,輸入加密私密金鑰的通關密語。如果選取「Is Private Key Encrypted」(私密金鑰是否加密),就必須填寫這個欄位。詳情請參閱「產生用於驗證的金鑰組」。
    • 在「Warehouse」(倉儲) 中,輸入用於執行這項資料移轉作業的倉儲。
    • 在「Snowflake Database」(Snowflake 資料庫),輸入 Snowflake 資料庫的名稱,該資料庫包含這項資料移轉作業中的資料表。
    • 在「Snowflake Schema」部分,輸入 Snowflake 結構定義名稱,該結構定義須包含這項資料移轉作業中的資料表。
  8. 在「Network Connectivity」(網路連線) 區段中,如要建立私人資料移轉,請選取「Use Private Network」(使用私人網路),然後執行下列操作:

    • 在「PSC Service Attachment」(PSC 服務連結) 部分,輸入 Snowflake 私人連線的服務連結 URI。詳情請參閱「建立私人 Snowflake 移轉設定」。
    • 如果是「Private Network Service」(私人網路服務),且您的 Snowflake 帳戶託管於 AWS 或 Azure,請輸入網路負載平衡器的 Service Directory 服務自我連結。詳情請參閱「建立私人 Snowflake 移轉設定」。
  9. 在「Storage Configuration」(儲存空間設定) 部分,執行下列操作:

    1. 在「Storage integration object name」(儲存空間整合物件名稱),輸入 Snowflake 儲存空間整合物件的名稱。這是必填欄位,除非您使用 bq mk 指令或 API 建立移轉設定,指定預先設定的 Snowflake 外部階段。
    2. 選用:在「Max file size」(檔案大小上限) 部分,指定從 Snowflake 卸載至暫存位置的各個檔案大小上限 (以 MB 為單位)。
    3. 在「Cloud Provider」(雲端服務供應商) 部分,根據託管 Snowflake 帳戶的雲端服務供應商,選取「AWS」、「AZURE」或「GCP」。

  10. 在「Service Account」(服務帳戶) 部分,執行下列操作:

    1. 在「Service Account」(服務帳戶) 部分,輸入要與這項資料移轉作業搭配使用的服務帳戶。服務帳戶應與建立移轉設定和目的地資料集的Google Cloud 專案相同。服務帳戶必須具備 storage.objects.list 和 storage.objects.get 必要權限。
  11. 在「Schema Configuration」(結構定義設定) 部分,執行下列操作:

    1. 在「Ingestion type」(擷取類型) 部分,選取「Full」(完整) 或「Incremental」(增量)。詳情請參閱「設定增量移轉」。
    2. 在「Table name patterns」(資料表名稱模式),輸入以分號分隔的資料表名稱或模式清單 (例如 TABLE1_REGEX;TABLE2_REGEX),指定要移轉的資料表。模式必須符合 Java 規則運算式語法。這是必填欄位:
      • lineitem;ordertb 會比對名為 lineitem 和 ordertb 的資料表。
      • .* 會比對結構定義中的所有資料表。
    3. 選用:如要指定自訂翻譯輸出路徑,請選取「Use BigQuery Translation Engine Output」(使用 BigQuery Translation Engine 輸出內容)。
    4. 選用:在「Translation output GCS path」(翻譯輸出內容 GCS 路徑),指定 Cloud Storage 資料夾的路徑,其中包含翻譯引擎的結構定義對應檔案。您可以留空,讓 Snowflake 連接器自動偵測結構定義。
      • 路徑應採用 translation_target_base_uri/metadata/config/db/schema/ 格式,且結尾必須是 /。
    5. 選用:如要將 Snowflake NUMBER(p, 0) 類型對應至 BigQuery INT64,請選取「Map zero scale Snowflake NUMBER to BigQuery INT64」(將零小數位數 Snowflake NUMBER 對應至 BigQuery INT64)。
  12. 選用:在「Notification options」(通知選項) 專區,執行下列操作:

    1. 按一下啟用電子郵件通知的切換開關。啟用這個選項之後,若移轉失敗,移轉作業管理員就會收到電子郵件通知。
    2. 在「Select a Pub/Sub topic」(選取 Pub/Sub 主題) 選取主題名稱,或是點選「Create a topic」(建立主題)。這個選項會設定移轉作業的 Pub/Sub 執行通知。
  13. 如果使用 CMEK,請在「Advanced options」(進階選項) 部分選取「Customer-managed key」(客戶管理的金鑰)。畫面隨即會列出可用的 CMEK 供您選擇。如要瞭解 CMEK 如何與 BigQuery 資料移轉服務搭配運作,請參閱指定移轉作業加密金鑰的相關說明。

  14. 按一下「儲存」。

  15. Google Cloud 控制台會顯示所有移轉設定詳細資料,包括這項移轉作業的「Resource name」(資源名稱)。

bq

輸入 bq mk 指令,並提供 --transfer_config 旗標。下列範本包含所有支援設定的互斥和條件式參數。執行指令時,請只加入適用於驗證機制、網路連線模式、暫存儲存空間位置和結構定義對應方法的參數。

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='DISPLAY_NAME' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "AUTH_MECHANISM",
    "password": "PASSWORD",
    "private_key": "PRIVATE_KEY_STRING",
    "is_private_key_encrypted": PRIVATE_KEY_ENCRYPTED,
    "private_key_passphrase": "PRIVATE_KEY_PASSPHRASE",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "TABLE_NAME_PATTERNS",
    "cloud_provider": "CLOUD_PROVIDER",
    "staging_gcs_uri": "STAGING_BUCKET_URI",
    "staging_s3_uri": "STAGING_S3_URI",
    "aws_access_key_id": "AWS_ACCESS_KEY_ID",
    "aws_secret_access_key": "AWS_SECRET_ACCESS_KEY",
    "azure_storage_account": "AZURE_STORAGE_ACCOUNT",
    "staging_azure_container": "STAGING_AZURE_CONTAINER",
    "azure_sas_token": "AZURE_SAS_TOKEN",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "max_file_size_mb": MAX_FILE_SIZE_MB,
    "use_private_network": USE_PRIVATE_NETWORK,
    "service_attachment": "SERVICE_ATTACHMENT_URI",
    "private_network_service": "SERVICE_DIRECTORY_LINK",
    "ingestion_type": "INGESTION_TYPE",
    "specify_translation_output": SPECIFY_TRANSLATION_OUTPUT,
    "translation_output_gcs_path": "TRANSLATION_OUTPUT_GCS_PATH",
    "custom_schema_file_path": "CUSTOM_SCHEMA_PATH",
    "convert_number_to_int64": CONVERT_NUMBER_TO_INT64
  }'

更改下列內容:

  • PROJECT_ID:您的 Google Cloud 專案 ID。如未指定 --project_id 旗標,系統會使用預設專案。
  • DATASET_NAME:移轉設定的 BigQuery 目標資料集。
  • DISPLAY_NAME:移轉設定的顯示名稱。顯示名稱可以是任何值,能讓您辨識移轉作業,方便您日後在必要時進行修改。

為 Snowflake 移轉設定,設定適用的 --params 參數:

參數詳細資料
ACCOUNT_IDENTIFIER

指定 Snowflake 帳戶的專屬 ID,也就是機構名稱和帳戶名稱的組合。ID 是 Snowflake 帳戶網址 (ACCOUNT_IDENTIFIER.snowflakecomputing.com) 的前置字元,而非完整網址。

例如 org-account。

MIGRATION_USER

指定 Snowflake 使用者的使用者名稱,系統會使用該使用者的憑證和授權存取資料庫,以便移轉 Snowflake 資料表。

例如 MIGRATION_USER。

AUTH_MECHANISM

指定 Snowflake 使用者驗證方式。 支援的值為 PASSWORD 和 KEY_PAIR。詳情請參閱「產生用於驗證的金鑰組」。

PASSWORD

指定 Snowflake 使用者的密碼。只有在 auth_mechanism 參數中指定 PASSWORD 時,才需要加入這項參數。

PRIVATE_KEY_STRING

請指定 PKCS#8 PEM 格式的私密金鑰,該金鑰必須與指派給 Snowflake 使用者的公開金鑰相對應。只有在 auth_mechanism 參數中指定 KEY_PAIR 時,才需要加入這項參數。

在 --params JSON 字串中,將 PEM 金鑰中的所有換行符號替換為 \n。例如,未加密金鑰為 -----BEGIN PRIVATE KEY-----\n...\n-----END PRIVATE KEY-----,加密金鑰則為 -----BEGIN ENCRYPTED PRIVATE KEY-----\n...\n-----END ENCRYPTED PRIVATE KEY-----。

PRIVATE_KEY_ENCRYPTED

選用:如果私密金鑰是以通關密語加密,請指定 true。預設值為 false。

PRIVATE_KEY_PASSPHRASE

指定加密私密金鑰的通關密語。只有在 auth_mechanism 參數中指定 KEY_PAIR,並在 is_private_key_encrypted 參數中指定 true 時,才需要加入這項參數。

SERVICE_ACCOUNT_EMAIL

指定要與這項資料移轉作業搭配使用的專屬服務帳戶電子郵件地址,格式為 SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.。建議您將服務帳戶設在建立移轉設定和目的地資料集的 Google Cloud 專案中。服務帳戶必須具備storage.objects.list和storage.objects.get必要權限。

WAREHOUSE_NAME

指定用於執行這項資料移轉作業的倉儲。

例如 COMPUTE_WH。

DATABASE_NAME

指定 Snowflake 資料庫的名稱,該資料庫包含這項資料移轉作業中的資料表。

例如 SF_DB。

SCHEMA_NAME

指定 Snowflake 結構定義的名稱,其中包含這項資料移轉作業中的資料表。

例如 PUBLIC。

TABLE_NAME_PATTERNS

輸入以分號分隔的資料表名稱清單,或與結構定義中資料表名稱相符的模式 (例如 TABLE1_REGEX;TABLE2_REGEX),指定要移轉的資料表。模式必須符合 Java 規則運算式語法。這是必要參數。例如:

  • lineitem;ordertb 會比對名為 lineitem 和 ordertb 的資料表。
  • .* 會比對結構定義中的所有資料表。
CLOUD_PROVIDER

指定託管 Snowflake 帳戶的雲端服務供應商。支援的值為 AWS、AZURE 和 GCP。

STAGING_BUCKET_URI

針對 staging_gcs_uri 參數,請指定 Cloud Storage 暫存 bucket 的 URI。如果 cloud_provider 為 GCP,或從 AWS 或 AZURE 代管的 Snowflake 帳戶公開移轉資料,請加入這個參數。建立移轉設定後,即無法修改這項參數。

例如 gs://staging-bucket/staging/。

STAGING_S3_URI

在 staging_s3_uri 參數中,指定 Amazon S3 暫存 bucket 的 URI。如果 cloud_provider 為 AWS,且未指定 staging_gcs_uri,請加入這個參數,用於私人資料移轉。移轉設定建立後,即無法修改這項參數。

例如 s3://staging-bucket/staging/。

AWS_ACCESS_KEY_ID

在 aws_access_key_id 參數中,指定 Amazon IAM 使用者的存取金鑰 ID,該使用者必須具備 Amazon S3 暫存 bucket 的讀取權限。如果指定 staging_s3_uri,請加入這項參數。

AWS_SECRET_ACCESS_KEY

針對 aws_secret_access_key 參數,請指定與 aws_access_key_id 配對的私密存取金鑰。指定 staging_s3_uri 時,請加入這項參數。

AZURE_STORAGE_ACCOUNT

在 azure_storage_account 參數中,指定用於暫存卸載資料的 Azure 儲存體帳戶名稱。如果 cloud_provider 為 AZURE,且未指定 staging_gcs_uri,請加入這個參數,用於私人資料移轉。建立移轉設定後,即無法修改這項參數。

STAGING_AZURE_CONTAINER

在 staging_azure_container 參數中,指定 Azure 儲存體帳戶中的 Azure Blob 儲存體容器名稱。指定 azure_storage_account 時,請加入這項參數。建立移轉設定後,即無法修改這項參數。

AZURE_SAS_TOKEN

在 azure_sas_token 參數中,指定共用存取簽章 (SAS) 權杖,用於驗證對 Azure Blob 儲存體容器的讀取要求。如果指定 azure_storage_account,請加入這項參數。

STORAGE_INTEGRATION_NAME

指定 Snowflake 儲存空間整合物件的名稱。

例如 STORAGE_INTEGRATION_NAME。

MAX_FILE_SIZE_MB

選用:指定從 Snowflake 卸載至暫存位置的每個檔案大小上限 (以 MB 為單位)。這個值必須介於 16 至 5120 之間。預設值為 512。

USE_PRIVATE_NETWORK

選用:如要建立私人資料移轉作業,請設為 true。預設值為 false。建立移轉設定後,即無法修改這項參數。

SERVICE_ATTACHMENT_URI

選用:如果您要建立私人資料移轉作業,請指定私人連線至 Snowflake 的服務連結 URI。詳情請參閱「建立私人 Snowflake 移轉設定」。

例如 projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT。

SERVICE_DIRECTORY_LINK

選用:如果您要從 AWS 或 AZURE 代管的 Snowflake 帳戶建立私人資料移轉作業,請指定網路負載平衡器的 Service Directory 服務自我連結。詳情請參閱「建立私人 Snowflake 移轉設定」。

例如 projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME。

INGESTION_TYPE

指定移轉作業的擷取模式。支援的值為 Full 和 Incremental。詳情請參閱「設定增量移轉作業」。

SPECIFY_TRANSLATION_OUTPUT

選用:在 translation_output_gcs_path 參數中提供路徑時,請指定 true,以便在 Google Cloud 控制台中顯示路徑。預設值為 false。

TRANSLATION_OUTPUT_GCS_PATH

選用:指定 Cloud Storage 資料夾的路徑,其中包含翻譯引擎的結構定義對應檔。如要讓 Snowflake 連接器自動偵測結構定義,請勿設定這項參數。

  • 路徑必須採用 gs://TRANSLATION_BUCKET_BASE_URI/metadata/config/DATABASE_NAME/SCHEMA_NAME/ 格式,且結尾必須是正斜線 (/)。

例如 gs://sf_test_translation/output/metadata/config/database_name/schema_name/。

CUSTOM_SCHEMA_PATH

選用:如果您使用自訂結構定義,請在 Cloud Storage 中指定自訂結構定義檔案的路徑。

例如 gs://bucket_name/schemas/custom_schema.json。

CONVERT_NUMBER_TO_INT64

選用:指定 true,將 Snowflake NUMBER(p, 0) 資料類型對應至 BigQuery INT64。否則,Snowflake NUMBER 資料類型會根據精確度和規模,對應至 BigQuery NUMERIC 或 BIGNUMERIC。預設值為 false。

API

請使用 projects.locations.transferConfigs.create 方法,並提供 TransferConfig 資源的執行個體。

設定 Snowflake 移轉作業,以便對應結構定義

BigQuery 資料移轉服務支援三種 Snowflake 移轉作業結構定義對應方法:自動偵測結構定義、翻譯引擎輸出,以及手動對應結構定義。詳情請參閱「結構定義偵測和對應參考資料」。

如要查看支援各個結構定義對應方法的移轉設定範例,請選取下列任一選項:

自動偵測

自動結構定義偵測參考資料會自動將 Snowflake 資料類型對應至對等的 BigQuery 資料類型,不需要外部中繼資料或結構定義定義檔案。

下列指令說明如何建立使用自動偵測結構定義的移轉設定:

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='Snowflake Auto Detection Transfer' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "KEY_PAIR",
    "private_key": "PRIVATE_KEY_STRING",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "orders;lineitem",
    "cloud_provider": "GCP",
    "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "ingestion_type": "Full"
  }'

翻譯輸出內容

使用 BigQuery 批次 SQL 翻譯工具產生的中繼資料和結構定義對應,處理複雜的資料表和資料類型對應。詳情請參閱「翻譯輸出結構定義設定」。

下列指令說明如何建立移轉設定,使用翻譯引擎的輸出內容進行結構定義對應:

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='Snowflake Translation Output Transfer' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "KEY_PAIR",
    "private_key": "PRIVATE_KEY_STRING",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "orders;lineitem",
    "cloud_provider": "GCP",
    "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "ingestion_type": "Full",
    "specify_translation_output": true,
    "translation_output_gcs_path": "gs://TRANSLATION_BUCKET/output/metadata/config/DATABASE_NAME/SCHEMA_NAME/"
  }'

自訂結構定義

在 Cloud Storage 中提供自訂 JSON 結構定義檔案,即可重新命名資料欄、自訂資料類型或指定主鍵。

下列指令說明如何建立移轉設定,並使用自訂結構定義進行結構定義對應:

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='Snowflake Custom Schema Transfer' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "KEY_PAIR",
    "private_key": "PRIVATE_KEY_STRING",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "orders;lineitem",
    "cloud_provider": "GCP",
    "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "ingestion_type": "Full",
    "custom_schema_file_path": "gs://CONFIG_BUCKET/schemas/custom_schema.json"
  }'

指定轉移作業的加密金鑰

您可以指定客戶自行管理的加密金鑰 (CMEK),為移轉作業執行的資料加密。您可以使用 CMEK 支援從 Snowflake 轉移資料。

指定移轉作業的 CMEK 時,BigQuery 資料移轉服務會將 CMEK 套用至任何擷取資料的中繼磁碟快取,確保整個資料移轉工作流程符合 CMEK 規範。

如果移轉作業原本並非使用 CMEK 建立,則無法更新現有移轉作業來新增 CMEK。舉例來說,您無法將原本預設加密的目的地資料表,變更為以 CMEK 加密。反之,您也無法將 CMEK 加密的目的地資料表變更為其他加密類型。

如果移轉設定最初是以 CMEK 加密建立,則可更新移轉作業的 CMEK。更新移轉設定的 CMEK 時,BigQuery 資料移轉服務會在下次執行移轉作業時,將 CMEK 傳播至目的地資料表,並在移轉作業執行期間,以新的 CMEK 取代任何過時的 CMEK。詳情請參閱「更新移轉作業」。

您也可以使用專案預設金鑰。如果您在移轉作業中指定專案預設金鑰,BigQuery 資料移轉服務會將專案預設金鑰,設為任何新移轉設定的預設金鑰。

配額與限制

根據預設,BigQuery 每個資料表的載入工作配額為 15 TB。Snowflake 會在內部壓縮資料表資料,因此匯出的資料表大小會大於 Snowflake 回報的大小。

如要縮短大型資料表的載入時間,並移除 15 TB 的 BigQuery 載入限制,請為預留項目指派作業指定 PIPELINE 工作類型。

由於 Amazon S3 的一致性模型,部分檔案可能不會包含在轉移至 BigQuery 的作業中。

最佳化資料移轉效能

您可以查看資料移轉記錄,監控資料移轉成效。為提升資料移轉作業的效能,建議您執行下列最佳化步驟:

  • 將 Snowflake 執行個體、暫存 bucket 和 BigQuery 資料集保存在相同區域
  • 您可以採取下列做法,提高資料表卸載速度:
    • 增加 Snowflake 虛擬倉儲的大小,尤其是移轉大型 Snowflake 資料表 (1 TiB 以上) 時。
    • 調整移轉設定中的 MAX_FILE_SIZE 選項。
      • 檔案越小,傳輸速度越快,但如果檔案太小,可能會導致檔案數量過多。
  • 您可以增加 PIPELINE 和 QUERY 工作類型的 BigQuery 運算單元預留項目數量,提高資料表載入速度。
  • 執行完整移轉作業時,請避免在目的地 BigQuery 資料表上進行分群和分區。
  • 在「更新插入」模式下進行增量移轉時,請考慮對主鍵資料欄進行分群和分區,以提升移轉效能。
    • 不過,請避免在非主鍵資料欄上進行分群和分區,以免合併作業速度變慢。

定價

如要瞭解 BigQuery 資料移轉服務的定價,請參閱「定價」頁面。

  • 如果 Snowflake 倉儲和 Amazon S3 bucket 位於不同區域,則執行 Snowflake 資料移轉時,Snowflake 會收取輸出費用。如果 Snowflake 倉儲和 Amazon S3 bucket 位於相同區域,則 Snowflake 資料移轉不會產生輸出費用。
  • 資料從 AWS 移轉至 Google Cloud時,會產生雲端間輸出費用。

後續步驟