從 Teradata 遷移至 BigQuery:總覽

本文提供更多資訊,協助您瞭解使用 BigQuery 資料移轉服務將結構定義和資料從 Teradata 遷移至 BigQuery 時,需要做出的決策。如要瞭解 Teradata 遷移程序,請參閱「從 Teradata 遷移至 BigQuery 簡介」。

將資料倉儲從其他平台移至 BigQuery 時,通常需要執行多個步驟,其中之一就是遷移結構定義和資料。如需一般遷移程序的說明,請參閱「總覽:將資料倉儲遷移至 BigQuery」。

您也可以使用批次 SQL 翻譯功能大量遷移 SQL 指令碼,或使用互動式 SQL 翻譯功能翻譯臨時查詢。兩項 SQL 翻譯服務都完整支援 Teradata SQL。

總覽

您可以將 BigQuery 資料移轉服務與專用的遷移代理程式合併使用,將結構定義和資料從 Teradata 複製到 BigQuery。遷移代理程式會連線至本機資料倉儲,並與 BigQuery 資料移轉服務通訊,將資料表從資料倉儲複製到 BigQuery。

以下步驟說明遷移程序的工作流程:

  1. 下載遷移代理。
  2. 在 BigQuery 資料移轉服務中設定移轉作業。
  3. 執行移轉工作,將資料倉儲中的資料表結構定義和資料複製到 BigQuery。
  4. 選用。使用 Google Cloud 控制台監控移轉工作。

移轉工作設定

您可以依據需求設定轉移工作。設定從 Teradata 到 BigQuery 的資料移轉作業前,請先考量下列各節所述的設定選項,並決定要使用的設定。視您選擇的設定而定,您可能需要先完成一些必要條件,才能啟動移轉工作。

對於大多數系統 (尤其是具有大型資料表的系統),您可以按照下列步驟操作,以獲得最佳效能:

  1. 將 Teradata 資料表分區。
  2. 使用 Teradata Parallel Transporter (TPT) 擷取資料。
  3. 建立自訂結構定義檔案,並設定目標 BigQuery 分群和分區資料欄。

這樣一來,遷移代理程式就能逐一擷取分區,這是最有效率的做法。

擷取方法

BigQuery 資料移轉服務支援兩種擷取方法,可將資料從 Teradata 移轉至 BigQuery:

  • 使用 Teradata Parallel Transporter (TPT) tbuild 公用程式。這是建議做法。使用 TPT 通常能加快資料擷取速度。

    在這種模式下,遷移代理程式會嘗試使用依分區分布的資料列,計算擷取批次。代理程式會為每個批次發出並執行 TPT 擷取指令碼,產生一組以管道分隔的檔案。接著,指令碼會將這些檔案上傳至 Cloud Storage bucket,供移轉工作使用。檔案上傳至 Cloud Storage 後,遷移代理程式會從本機檔案系統中刪除這些檔案。

    如果使用 TPT 擷取功能,但「不」指定分區資料欄,系統會擷取整個資料表。如果搭配分區資料欄使用 TPT 擷取功能,代理程式會擷取一組組分區。

    在這個模式下,遷移代理程式不會限制擷取的檔案在本機檔案系統上占用的空間量。請確認本機檔案系統的空間大於最大分區或最大資料表的大小,具體取決於您是否指定分區資料欄。

    使用 Cloud Storage 存取模組。這種做法不需要在本機檔案系統上使用中繼儲存空間,可提升效能,並降低執行代理程式的 VM 資源使用率。這個方法會使用 Cloud Storage 的 Teradata 存取模組,直接將資料匯出至 Cloud Storage。如要使用這項功能,VM 執行的 Teradata 工具必須高於 17.20 版。Teradata 工具可獨立升級,不必變更 Teradata 執行個體版本。

  • 使用 JDBC 驅動程式和 FastExport 連線進行擷取。如果擷取檔案的本機儲存空間有限,或因故無法使用 TPT,請使用這個擷取方法。

    在這個模式下,遷移代理會將資料表擷取至本機檔案系統中的 AVRO 檔案集合。接著,指令碼會將這些檔案上傳至 Cloud Storage bucket,供移轉工作使用。檔案上傳至 Cloud Storage 後,遷移代理程式會從本機檔案系統中刪除這些檔案。

    在這個模式下,您可以限制本機檔案系統上 AVRO 檔案使用的空間量。如果超過這項限制,系統會暫停擷取作業,直到遷移代理程式上傳並刪除現有的 AVRO 檔案,釋出空間為止。

結構定義識別

您可以透過多種方式定義結構定義。BigQuery 資料移轉服務會在資料從 Teradata 移轉至 BigQuery 的過程中,自動偵測結構定義並對應資料類型。您也可以使用翻譯引擎取得資料類型對應,或選擇指定自訂結構定義檔案。

預設結構定義偵測

如未指定任何結構定義設定,BigQuery 資料移轉服務會自動偵測 Teradata 來源資料表的結構定義,並在資料移轉期間,將資料類型對應至對應的 BigQuery 資料類型。如要進一步瞭解預設資料類型對應,請參閱「資料類型」。

使用翻譯引擎輸出內容做為結構定義

將 Teradata 資料表遷移至 BigQuery 時,BigQuery 資料移轉服務會使用 BigQuery 翻譯引擎的輸出內容進行結構定義對應。如要使用這個選項,請確認符合下列必要條件:

  1. 生成翻譯中繼資料。執行轉儲工具,產生翻譯所需的中繼資料,並遵守 Teradata 來源指南。詳情請參閱「生成翻譯和評估的中繼資料」。
  2. 將產生的中繼資料檔案 (例如 metadata.zip) 上傳至 Cloud Storage bucket。這個 bucket 會做為翻譯引擎的輸入位置。
  3. 啟動批次翻譯工作,建立 BigQuery 資料移轉服務對應,定義目標 BigQuery 資料表的結構定義。如要瞭解如何執行這項操作,請參閱「建立批次翻譯」。以下範例會指定 target_types = "dts_mapping",產生 BigQuery 資料移轉服務對應:

    curl -d "{
    \"name\": \"teradata_2_bq_translation\",
     \"displayName\": \"Teradata to BigQuery Translation\",
     \"tasks\": {
         string: {
           \"type\": \"Teradata2BigQuery_Translation\",
           \"translation_details\": {
               \"target_base_uri\": \"gs://your_translation_output_bucket/output\",
               \"source_target_mapping\": {
                 \"source_spec\": {
                     \"base_uri\": \"gs://your_metadata_bucket/input\"
                 }
               },
               \"target_types\": \"metadata\",
           }
         }
     },
     }" \
     -H "Content-Type:application/json" \
     -H "Authorization: Bearer YOUR_ACCESS_TOKEN" -X POST https://bigquerymigration.googleapis.com/v2/projects/your_project_id/locations/your_location/workflows
    

    如要查看批次翻譯工作的狀態,請前往 Google Cloud 控制台,依序點選「BigQuery」>「SQL 翻譯」。完成後,對應檔會儲存在 target_base_uri 旗標指定的 Cloud Storage 位置。

    如要產生權杖,請使用 gcloud auth print-access-token 指令或 OAuth 2.0 Playground,並指定 https://www.googleapis.com/auth/cloud-platform 範圍。

  4. 在 Teradata 資料移轉設定中,指定 Cloud Storage 資料夾的路徑,其中儲存了上一個步驟的對應檔案。BigQuery 資料移轉服務會使用這項對應關係,定義目標 BigQuery 資料表的結構定義。

自訂結構定義檔案

建議您在下列情況指定自訂結構定義:

  • 如果需要擷取資料表的重要資訊 (例如分區),否則這些資訊會在遷移過程中遺失。

    舉例來說,增量移轉應指定結構定義檔案,以便在載入 BigQuery 時,正確分區後續移轉的資料。如果沒有結構定義檔案,每次執行移轉作業時,BigQuery 資料移轉服務都會使用要移轉的來源資料,自動套用資料表結構定義,而且所有關於分區、叢集、主鍵和變更追蹤的資訊都會遺失。

  • 在資料移轉期間,您需要變更資料欄名稱或資料類型。

自訂結構定義檔案是描述資料庫物件的 JSON 檔案。結構定義包含一組資料庫,每個資料庫包含一組資料表,每個資料表包含一組資料欄。每個物件都有 originalName 欄位,指出 Teradata 中的物件名稱,以及 name 欄位,指出 BigQuery 中物件的目標名稱。

資料欄包含下列欄位:

  • originalType:表示 Teradata 中的資料欄資料類型
  • type:表示 BigQuery 中資料欄的目標資料類型。
  • usageType:系統使用資料欄的方式相關資訊。支援的用量類型如下:

    • DEFAULT:您可以使用這種用途類型,在一個目標資料表中為多個資料欄加上註解。這個 usageType 表示該資料欄在來源系統中沒有特殊用途。這是預設值。
    • CLUSTERING:每個目標資料表 最多可使用這個用途類型,為四個資料欄加上註解。分群的資料欄順序取決於其在自訂結構定義中的顯示順序。您選取的資料欄必須符合 BigQuery 分群的限制。如果為同一個資料表指定 PARTITIONING 欄位,BigQuery 會使用這些資料欄建立分群資料表。
    • PARTITIONING:每個目標資料表只能有一個資料欄使用這個用途類型。這個資料欄用於包含 tables 物件的分區資料表定義。這類用途只能用於資料類型為 TIMESTAMP 或 DATE 的資料欄。
    • COMMIT_TIMESTAMP:每個目標資料表只能有一個資料欄使用這個用途類型。使用這個 usageType 找出增量更新的更新時間戳記欄。這個資料欄用於擷取自上次移轉作業執行以來建立或更新的資料列。這項用途類型只能用於 TIMESTAMP 或 DATE 資料類型的資料欄。
    • PRIMARY_KEY:您可以使用這種用途類型,為每個目標資料表中的資料欄加上註解。使用這個用途類型,即可將單一資料欄識別為主鍵。如果是複合索引鍵,則可在多個資料欄上使用相同的用途類型,識別資料表的不重複實體。這些資料欄會與 COMMIT_TIMESTAMP 搭配運作,擷取自上次移轉作業執行以來建立或更新的資料列。

您可以手動建立自訂結構定義檔案 (如以下範例所示),也可以在初始化遷移代理程式時,讓代理程式為您產生檔案。

在這個範例中,使用者要遷移 tpch 資料庫中名為 orders 的 Teradata 資料表,資料表定義如下:

  CREATE SET TABLE TPCH.orders ,FALLBACK ,
      NO BEFORE JOURNAL,
      NO AFTER JOURNAL,
      CHECKSUM = DEFAULT,
      DEFAULT MERGEBLOCKRATIO,
      MAP = TD_MAP1
      (
        O_ORDERKEY INTEGER NOT NULL,
        O_CUSTKEY INTEGER NOT NULL,
        O_ORDERSTATUS CHAR(1) CHARACTER SET LATIN CASESPECIFIC NOT NULL,
        O_TOTALPRICE DECIMAL(15,2) NOT NULL,
        O_ORDERDATE DATE FORMAT 'yyyy-mm-dd' NOT NULL,
        O_ORDERPRIORITY CHAR(15) CHARACTER SET LATIN CASESPECIFIC NOT NULL,
        O_CLERK CHAR(15) CHARACTER SET LATIN CASESPECIFIC NOT NULL,
        O_SHIPPRIORITY INTEGER NOT NULL,
        O_COMMENT VARCHAR(79) CHARACTER SET LATIN CASESPECIFIC NOT NULL)
  UNIQUE PRIMARY INDEX ( O_ORDERKEY );

在遷移至 BigQuery 的過程中,使用者希望設定結構定義,並進行下列變更:

  • 將 O_CUSTKEY 欄重新命名為 O_CUSTOMERKEY
  • 將 O_ORDERDATE 設為分區欄

以下範例是設定這些設定的自訂結構定義:


{
  "databases": [
    {
      "name": "tpch",
      "originalName": "e2e_db",
      "tables": [
        {
          "name": "orders",
          "originalName": "orders",
          "columns": [
            {
              "name": "O_ORDERKEY",
              "originalName": "O_ORDERKEY",
              "type": "INT64",
              "originalType": "integer",
              "usageType": [
                "DEFAULT"
              ],
              "isRequired": true,
              "originalColumnLength": 4
            },
            {
              "name": "O_CUSTOMERKEY",
              "originalName": "O_CUSTKEY",
              "type": "INT64",
              "originalType": "integer",
              "usageType": [
                "DEFAULT"
              ],
              "isRequired": true,
              "originalColumnLength": 4
            },
            {
              "name": "O_ORDERSTATUS",
              "originalName": "O_ORDERSTATUS",
              "type": "STRING",
              "originalType": "character",
              "usageType": [
                "DEFAULT"
              ],
              "isRequired": true,
              "originalColumnLength": 1
            },
            {
              "name": "O_TOTALPRICE",
              "originalName": "O_TOTALPRICE",
              "type": "NUMERIC",
              "originalType": "decimal",
              "usageType": [
                "DEFAULT"
              ],
              "isRequired": true,
              "originalColumnLength": 8
            },
            {
              "name": "O_ORDERDATE",
              "originalName": "O_ORDERDATE",
              "type": "DATE",
              "originalType": "date",
              "usageType": [
                "PARTITIONING"
              ],
              "isRequired": true,
              "originalColumnLength": 4
            },
            {
              "name": "O_ORDERPRIORITY",
              "originalName": "O_ORDERPRIORITY",
              "type": "STRING",
              "originalType": "character",
              "usageType": [
                "DEFAULT"
              ],
              "isRequired": true,
              "originalColumnLength": 15
            },
            {
              "name": "O_CLERK",
              "originalName": "O_CLERK",
              "type": "STRING",
              "originalType": "character",
              "usageType": [
                "DEFAULT"
              ],
              "isRequired": true,
              "originalColumnLength": 15
            },
            {
              "name": "O_SHIPPRIORITY",
              "originalName": "O_SHIPPRIORITY",
              "type": "INT64",
              "originalType": "integer",
              "usageType": [
                "DEFAULT"
              ],
              "isRequired": true,
              "originalColumnLength": 4
            },
            {
              "name": "O_COMMENT",
              "originalName": "O_COMMENT",
              "type": "STRING",
              "originalType": "varchar",
              "usageType": [
                "DEFAULT"
              ],
              "isRequired": true,
              "originalColumnLength": 79
            }
          ]
        }
      ]
    }
  ]
}

隨選或增量移轉作業

將資料從 Teradata 資料庫執行個體遷移至 BigQuery 時,BigQuery 資料移轉服務支援完整移轉 (隨選移轉) 和週期性移轉 (增量移轉)。設定移轉作業時,您可以在排程選項中指定隨選或遞增移轉作業。

  • 隨選移轉:使用這個模式,將結構定義和資料從 Teradata 完整快照遷移至 BigQuery。

  • 排定移轉:使用這個模式執行完整快照,並定期將新資料和修改過的資料 (增量資料) 從 Teradata 遷移至 BigQuery。如要使用增量移轉作業,您必須自訂結構定義,並使用下列任一用途為資料欄加上註解:

    • 只為 COMMIT_TIMESTAMP 使用類型的資料欄加上註解:在這項移轉作業中,Teradata 中新增或修改的資料列會附加至 BigQuery 中的資料。BigQuery 資料表中更新的資料列,可能會有新舊值重複的資料列。
    • 使用 COMMIT_TIMESTAMP 和 PRIMARY_KEY 使用類型為資料欄加上註解:在這項移轉作業中,系統會附加新資料列,並將修改過的資料列更新至 BigQuery 中的對應資料列。PRIMARY_KEY 中定義的資料欄用於維護 BigQuery 中資料的不重複性。
    • 結構定義中定義的 PRIMARY_KEY 資料欄不一定要是 Teradata 資料表中的 PRIMARY_KEY。可以是任何資料欄,但必須包含不重複的資料。

增量移轉作業

在遞增移轉作業中,第一次移轉一律會在 BigQuery 中建立資料表快照。所有後續的增量移轉作業都會遵循自訂結構定義檔案中定義的註解,詳情請參閱下文。

系統會儲存每次移轉執行的時間戳記。對於後續的每次轉移作業,代理程式會收到前次轉移作業的時間戳記 (T1),以及目前轉移作業開始的時間戳記 (T2)。

初次執行後,遷移代理程式會使用下列每資料表邏輯擷取資料:

  • 如果結構定義檔案中的資料表物件沒有使用類型為 COMMIT_TIMESTAMP 的資料欄,系統就會略過該資料表。
  • 如果資料表有一欄的使用類型為 COMMIT_TIMESTAMP,則系統會擷取時間戳記介於 T1 和 T2 之間的所有資料列,並附加至 BigQuery 中的現有資料表。
  • 如果資料表包含使用類型為 COMMIT_TIMESTAMP 的資料欄,以及使用類型為 PRIMARY_KEY 的資料欄,則系統會擷取時間戳記介於 T1 和 T2 之間的所有資料列。任何新資料列都會附加至 BigQuery 的現有資料表,修改過的資料列也會在該資料表中更新。

以下是增量移轉作業的結構定義檔案範例。

只有 COMMIT_TIMESTAMP 的結構定義


{
  "databases": [
    {
      "name": "abc_db",
      "originalName": "abc_db",
      "tables": [
        {
          "name": "abc_table",
          "originalName": "abc_table",
          "columns": [
            {
              "name": "Id",
              "originalName": "Id",
              "type": "INT64",
              "originalType": "integer",
              "originalColumnLength": 4,
              "usageType": [
                "DEFAULT"
              ],
              "isRequired": true
            },
            {
              "name": "timestamp",
              "originalName": "timestamp",
              "type": "TIMESTAMP",
              "originalType": "timestamp",
              "originalColumnLength": 26,
              "usageType": [
                "COMMIT_TIMESTAMP"
              ],
              "isRequired": false
            }
          ]
        }
      ]
    }
  ]
}

結構定義包含 COMMIT_TIMESTAMP,且有一個資料欄 (Id) 為 PRIMARY_KEY


{
  "databases": [
    {
      "name": "abc_db",
      "originalName": "abc_db",
      "tables": [
        {
          "name": "abc_table",
          "originalName": "abc_table",
          "columns": [
            {
              "name": "Id",
              "originalName": "Id",
              "type": "INT64",
              "originalType": "integer",
              "originalColumnLength": 4,
              "usageType": [
                "PRIMARY_KEY"
              ],
              "isRequired": true
            },
            {
              "name": "timestamp",
              "originalName": "timestamp",
              "type": "TIMESTAMP",
              "originalType": "timestamp",
              "originalColumnLength": 26,
              "usageType": [
                "COMMIT_TIMESTAMP"
              ],
              "isRequired": false
            }
          ]
        }
      ]
    }
  ]
}

結構定義為 COMMIT_TIMESTAMP,複合索引鍵 (ID + 名稱) 為 PRIMARY_KEY


{
  "databases": [
    {
      "name": "abc_db",
      "originalName": "abc_db",
      "tables": [
        {
          "name": "abc_table",
          "originalName": "abc_table",
          "columns": [
            {
              "name": "Id",
              "originalName": "Id",
              "type": "INT64",
              "originalType": "integer",
              "originalColumnLength": 4,
              "usageType": [
                "PRIMARY_KEY"
              ],
              "isRequired": true
            },
            {
              "name": "Name",
              "originalName": "Name",
              "type": "STRING",
              "originalType": "character",
              "originalColumnLength": 30,
              "usageType": [
                "PRIMARY_KEY"
              ],
              "isRequired": false
            },
            {
              "name": "timestamp",
              "originalName": "timestamp",
              "type": "TIMESTAMP",
              "originalType": "timestamp",
              "originalColumnLength": 26,
              "usageType": [
                "COMMIT_TIMESTAMP"
              ],
              "isRequired": false
            }
          ]
        }
      ]
    }
  ]
}

下表說明遷移代理程式如何在增量移轉作業中,處理資料定義語言 (DDL) 和資料操縱語言 (DML) 作業。

Teradata 作業 類型 Teradata 至 BigQuery 支援
CREATE DDL 系統會在 BigQuery 中建立資料表的新完整快照。
DROP DDL 不支援
ALTER (RENAME) DDL 系統會在 BigQuery 中為重新命名的資料表建立新的完整快照。先前的快照不會從 BigQuery 刪除。系統不會通知使用者資料表已重新命名。
INSERT DML BigQuery 資料表會新增資料列。
UPDATE DML 資料列會以新資料列的形式附加至 BigQuery 資料表,類似於僅使用 COMMIT_TIMESTAMP 時的 INSERT 作業。如果同時使用 COMMIT_TIMESTAMP 和 PRIMARY_KEY,資料列會更新,類似於 UPDATE 作業。
MERGE DML 不支援。請改為參閱 INSERT、UPDATE 和 DELETE。
DELETE DML 不支援

位置注意事項

Cloud Storage bucket 必須位於與 BigQuery 目的地資料集相容的區域或多區域。

  • 如果 BigQuery 資料集位於多區域,則含有要移轉資料的 Cloud Storage bucket 必須位於相同多區域,或位於多區域內的位置。舉例來說,如果 BigQuery 資料集位於 EU 多區域,Cloud Storage bucket 可以位於歐盟境內的 europe-west1 比利時區域。
  • 如果資料集位於單一區域,Cloud Storage bucket 必須位於相同區域。舉例來說,如果資料集位於 asia-northeast1 東京區域,Cloud Storage bucket 就不能位於 ASIA 多區域。

如要進一步瞭解移轉作業和區域,請參閱「資料集位置和移轉作業」。

定價

使用 BigQuery 移轉資料無須付費。不過,使用這項服務可能會在 Google 以外產生費用,例如平台輸出資料移轉費用。

  • 擷取、上傳至 Cloud Storage bucket,以及將資料載入 BigQuery 均不收費。
  • 資料上傳至 BigQuery 後,不會自動從 Cloud Storage bucket 刪除。建議您從 Cloud Storage bucket 刪除資料,以免產生額外的儲存空間費用。請參閱 Cloud Storage 定價一文。
  • 載入工作適用標準 BigQuery 配額和限制。
  • 增量擷取 upsert 作業適用標準 DML BigQuery 配額和限制。
  • 資料移轉至 BigQuery 後,適用標準 BigQuery 儲存和運算定價。
  • 詳情請參閱轉移作業定價頁面。

限制

  • 完整支援一次性、隨選移轉。部分支援增量移轉作業中的 DDL/DML 作業。
  • 資料移轉期間,資料會擷取至本機檔案系統的目錄。請確認有足夠的可用空間。
    • 使用 FastExport 模式擷取資料時,您可以設定要使用的儲存空間上限,遷移代理程式會嚴格執行這項限制。設定從 Teradata 移轉至 BigQuery 時,請在遷移代理程式的設定檔中設定 max-local-storage。
    • 使用 TPT 擷取方法時,請確認檔案系統有足夠的可用空間,且空間大於 Teradata 執行個體中最大的資料表分區。
  • BigQuery 資料移轉服務會自動轉換結構定義 (如果您未提供自訂結構定義檔案),並將 Teradata 資料移轉至 BigQuery。資料會從 Teradata 對應至 BigQuery 類型。
  • 檔案載入 BigQuery 後,不會自動從 Cloud Storage bucket 刪除。將資料載入 BigQuery 後,建議您從 Cloud Storage bucket 刪除資料,以免產生額外的儲存空間費用。請參閱「定價」。
  • 擷取作業的速度會受到 JDBC 連線的限制。
  • 從 Teradata 擷取的資料不會加密。請採取適當步驟,限制本機檔案系統中擷取檔案的存取權,並確保 Cloud Storage bucket 安全無虞。
  • 其他資料庫資源 (例如預存程序、已儲存的查詢、檢視表和 user-defined function) 不會轉移,也不在本服務的範圍內。
  • 增量移轉作業不支援永久刪除。遞增移轉作業不會將 Teradata 中刪除的資料列同步至 BigQuery。

後續步驟