從 Teradata 遷移至 BigQuery:總覽
本文提供更多資訊,協助您瞭解使用 BigQuery 資料移轉服務將結構定義和資料從 Teradata 遷移至 BigQuery 時,需要做出的決策。如要瞭解 Teradata 遷移程序,請參閱「從 Teradata 遷移至 BigQuery 簡介」。
將資料倉儲從其他平台移至 BigQuery 時,通常需要執行多個步驟,其中之一就是遷移結構定義和資料。如需一般遷移程序的說明,請參閱「總覽:將資料倉儲遷移至 BigQuery」。
您也可以使用批次 SQL 翻譯功能大量遷移 SQL 指令碼,或使用互動式 SQL 翻譯功能翻譯臨時查詢。兩項 SQL 翻譯服務都完整支援 Teradata SQL。
總覽
您可以將 BigQuery 資料移轉服務與專用的遷移代理程式合併使用,將結構定義和資料從 Teradata 複製到 BigQuery。遷移代理程式會連線至本機資料倉儲,並與 BigQuery 資料移轉服務通訊,將資料表從資料倉儲複製到 BigQuery。
以下步驟說明遷移程序的工作流程:
- 下載遷移代理。
- 在 BigQuery 資料移轉服務中設定移轉作業。
- 執行移轉工作,將資料倉儲中的資料表結構定義和資料複製到 BigQuery。
- 選用。使用 Google Cloud 控制台監控移轉工作。
移轉工作設定
您可以依據需求設定轉移工作。設定從 Teradata 到 BigQuery 的資料移轉作業前,請先考量下列各節所述的設定選項,並決定要使用的設定。視您選擇的設定而定,您可能需要先完成一些必要條件,才能啟動移轉工作。
對於大多數系統 (尤其是具有大型資料表的系統),您可以按照下列步驟操作,以獲得最佳效能:
- 將 Teradata 資料表分區。
- 使用 Teradata Parallel Transporter (TPT) 擷取資料。
- 建立自訂結構定義檔案,並設定目標 BigQuery 分群和分區資料欄。
這樣一來,遷移代理程式就能逐一擷取分區,這是最有效率的做法。
擷取方法
BigQuery 資料移轉服務支援兩種擷取方法,可將資料從 Teradata 移轉至 BigQuery:
使用 Teradata Parallel Transporter (TPT) tbuild 公用程式。這是建議做法。使用 TPT 通常能加快資料擷取速度。
在這種模式下,遷移代理程式會嘗試使用依分區分布的資料列,計算擷取批次。代理程式會為每個批次發出並執行 TPT 擷取指令碼,產生一組以管道分隔的檔案。接著,指令碼會將這些檔案上傳至 Cloud Storage bucket,供移轉工作使用。檔案上傳至 Cloud Storage 後,遷移代理程式會從本機檔案系統中刪除這些檔案。
如果使用 TPT 擷取功能,但「不」指定分區資料欄,系統會擷取整個資料表。如果搭配分區資料欄使用 TPT 擷取功能,代理程式會擷取一組組分區。
在這個模式下,遷移代理程式不會限制擷取的檔案在本機檔案系統上占用的空間量。請確認本機檔案系統的空間大於最大分區或最大資料表的大小,具體取決於您是否指定分區資料欄。
使用 Cloud Storage 存取模組。這種做法不需要在本機檔案系統上使用中繼儲存空間,可提升效能,並降低執行代理程式的 VM 資源使用率。這個方法會使用 Cloud Storage 的 Teradata 存取模組,直接將資料匯出至 Cloud Storage。如要使用這項功能,VM 執行的 Teradata 工具必須高於 17.20 版。Teradata 工具可獨立升級,不必變更 Teradata 執行個體版本。
使用 JDBC 驅動程式和 FastExport 連線進行擷取。如果擷取檔案的本機儲存空間有限,或因故無法使用 TPT,請使用這個擷取方法。
在這個模式下,遷移代理會將資料表擷取至本機檔案系統中的 AVRO 檔案集合。接著,指令碼會將這些檔案上傳至 Cloud Storage bucket,供移轉工作使用。檔案上傳至 Cloud Storage 後,遷移代理程式會從本機檔案系統中刪除這些檔案。
在這個模式下,您可以限制本機檔案系統上 AVRO 檔案使用的空間量。如果超過這項限制,系統會暫停擷取作業,直到遷移代理程式上傳並刪除現有的 AVRO 檔案,釋出空間為止。
結構定義識別
您可以透過多種方式定義結構定義。BigQuery 資料移轉服務會在資料從 Teradata 移轉至 BigQuery 的過程中,自動偵測結構定義並對應資料類型。您也可以使用翻譯引擎取得資料類型對應,或選擇指定自訂結構定義檔案。
預設結構定義偵測
如未指定任何結構定義設定,BigQuery 資料移轉服務會自動偵測 Teradata 來源資料表的結構定義,並在資料移轉期間,將資料類型對應至對應的 BigQuery 資料類型。如要進一步瞭解預設資料類型對應,請參閱「資料類型」。
使用翻譯引擎輸出內容做為結構定義
將 Teradata 資料表遷移至 BigQuery 時,BigQuery 資料移轉服務會使用 BigQuery 翻譯引擎的輸出內容進行結構定義對應。如要使用這個選項,請確認符合下列必要條件:
- 生成翻譯中繼資料。執行轉儲工具,產生翻譯所需的中繼資料,並遵守 Teradata 來源指南。詳情請參閱「生成翻譯和評估的中繼資料」。
- 將產生的中繼資料檔案 (例如
metadata.zip) 上傳至 Cloud Storage bucket。這個 bucket 會做為翻譯引擎的輸入位置。 啟動批次翻譯工作,建立 BigQuery 資料移轉服務對應,定義目標 BigQuery 資料表的結構定義。如要瞭解如何執行這項操作,請參閱「建立批次翻譯」。以下範例會指定
target_types = "dts_mapping",產生 BigQuery 資料移轉服務對應:curl -d "{ \"name\": \"teradata_2_bq_translation\", \"displayName\": \"Teradata to BigQuery Translation\", \"tasks\": { string: { \"type\": \"Teradata2BigQuery_Translation\", \"translation_details\": { \"target_base_uri\": \"gs://your_translation_output_bucket/output\", \"source_target_mapping\": { \"source_spec\": { \"base_uri\": \"gs://your_metadata_bucket/input\" } }, \"target_types\": \"metadata\", } } }, }" \ -H "Content-Type:application/json" \ -H "Authorization: Bearer YOUR_ACCESS_TOKEN" -X POST https://bigquerymigration.googleapis.com/v2/projects/your_project_id/locations/your_location/workflows如要查看批次翻譯工作的狀態,請前往 Google Cloud 控制台,依序點選「BigQuery」>「SQL 翻譯」。完成後,對應檔會儲存在
target_base_uri旗標指定的 Cloud Storage 位置。如要產生權杖,請使用
gcloud auth print-access-token指令或 OAuth 2.0 Playground,並指定https://www.googleapis.com/auth/cloud-platform範圍。在 Teradata 資料移轉設定中,指定 Cloud Storage 資料夾的路徑,其中儲存了上一個步驟的對應檔案。BigQuery 資料移轉服務會使用這項對應關係,定義目標 BigQuery 資料表的結構定義。
自訂結構定義檔案
建議您在下列情況指定自訂結構定義:
如果需要擷取資料表的重要資訊 (例如分區),否則這些資訊會在遷移過程中遺失。
舉例來說,增量移轉應指定結構定義檔案,以便在載入 BigQuery 時,正確分區後續移轉的資料。如果沒有結構定義檔案,每次執行移轉作業時,BigQuery 資料移轉服務都會使用要移轉的來源資料,自動套用資料表結構定義,而且所有關於分區、叢集、主鍵和變更追蹤的資訊都會遺失。
在資料移轉期間,您需要變更資料欄名稱或資料類型。
自訂結構定義檔案是描述資料庫物件的 JSON 檔案。結構定義包含一組資料庫,每個資料庫包含一組資料表,每個資料表包含一組資料欄。每個物件都有 originalName 欄位,指出 Teradata 中的物件名稱,以及 name 欄位,指出 BigQuery 中物件的目標名稱。
資料欄包含下列欄位:
originalType:表示 Teradata 中的資料欄資料類型type:表示 BigQuery 中資料欄的目標資料類型。usageType:系統使用資料欄的方式相關資訊。支援的用量類型如下:DEFAULT:您可以使用這種用途類型,在一個目標資料表中為多個資料欄加上註解。這個usageType表示該資料欄在來源系統中沒有特殊用途。這是預設值。CLUSTERING:每個目標資料表 最多可使用這個用途類型,為四個資料欄加上註解。分群的資料欄順序取決於其在自訂結構定義中的顯示順序。您選取的資料欄必須符合 BigQuery 分群的限制。如果為同一個資料表指定PARTITIONING欄位,BigQuery 會使用這些資料欄建立分群資料表。PARTITIONING:每個目標資料表只能有一個資料欄使用這個用途類型。這個資料欄用於包含tables物件的分區資料表定義。這類用途只能用於資料類型為TIMESTAMP或DATE的資料欄。COMMIT_TIMESTAMP:每個目標資料表只能有一個資料欄使用這個用途類型。使用這個usageType找出增量更新的更新時間戳記欄。這個資料欄用於擷取自上次移轉作業執行以來建立或更新的資料列。這項用途類型只能用於TIMESTAMP或DATE資料類型的資料欄。PRIMARY_KEY:您可以使用這種用途類型,為每個目標資料表中的資料欄加上註解。使用這個用途類型,即可將單一資料欄識別為主鍵。如果是複合索引鍵,則可在多個資料欄上使用相同的用途類型,識別資料表的不重複實體。這些資料欄會與COMMIT_TIMESTAMP搭配運作,擷取自上次移轉作業執行以來建立或更新的資料列。
您可以手動建立自訂結構定義檔案 (如以下範例所示),也可以在初始化遷移代理程式時,讓代理程式為您產生檔案。
在這個範例中,使用者要遷移 tpch 資料庫中名為 orders 的 Teradata 資料表,資料表定義如下:
CREATE SET TABLE TPCH.orders ,FALLBACK ,
NO BEFORE JOURNAL,
NO AFTER JOURNAL,
CHECKSUM = DEFAULT,
DEFAULT MERGEBLOCKRATIO,
MAP = TD_MAP1
(
O_ORDERKEY INTEGER NOT NULL,
O_CUSTKEY INTEGER NOT NULL,
O_ORDERSTATUS CHAR(1) CHARACTER SET LATIN CASESPECIFIC NOT NULL,
O_TOTALPRICE DECIMAL(15,2) NOT NULL,
O_ORDERDATE DATE FORMAT 'yyyy-mm-dd' NOT NULL,
O_ORDERPRIORITY CHAR(15) CHARACTER SET LATIN CASESPECIFIC NOT NULL,
O_CLERK CHAR(15) CHARACTER SET LATIN CASESPECIFIC NOT NULL,
O_SHIPPRIORITY INTEGER NOT NULL,
O_COMMENT VARCHAR(79) CHARACTER SET LATIN CASESPECIFIC NOT NULL)
UNIQUE PRIMARY INDEX ( O_ORDERKEY );
在遷移至 BigQuery 的過程中,使用者希望設定結構定義,並進行下列變更:
- 將
O_CUSTKEY欄重新命名為O_CUSTOMERKEY - 將
O_ORDERDATE設為分區欄
以下範例是設定這些設定的自訂結構定義:
{
"databases": [
{
"name": "tpch",
"originalName": "e2e_db",
"tables": [
{
"name": "orders",
"originalName": "orders",
"columns": [
{
"name": "O_ORDERKEY",
"originalName": "O_ORDERKEY",
"type": "INT64",
"originalType": "integer",
"usageType": [
"DEFAULT"
],
"isRequired": true,
"originalColumnLength": 4
},
{
"name": "O_CUSTOMERKEY",
"originalName": "O_CUSTKEY",
"type": "INT64",
"originalType": "integer",
"usageType": [
"DEFAULT"
],
"isRequired": true,
"originalColumnLength": 4
},
{
"name": "O_ORDERSTATUS",
"originalName": "O_ORDERSTATUS",
"type": "STRING",
"originalType": "character",
"usageType": [
"DEFAULT"
],
"isRequired": true,
"originalColumnLength": 1
},
{
"name": "O_TOTALPRICE",
"originalName": "O_TOTALPRICE",
"type": "NUMERIC",
"originalType": "decimal",
"usageType": [
"DEFAULT"
],
"isRequired": true,
"originalColumnLength": 8
},
{
"name": "O_ORDERDATE",
"originalName": "O_ORDERDATE",
"type": "DATE",
"originalType": "date",
"usageType": [
"PARTITIONING"
],
"isRequired": true,
"originalColumnLength": 4
},
{
"name": "O_ORDERPRIORITY",
"originalName": "O_ORDERPRIORITY",
"type": "STRING",
"originalType": "character",
"usageType": [
"DEFAULT"
],
"isRequired": true,
"originalColumnLength": 15
},
{
"name": "O_CLERK",
"originalName": "O_CLERK",
"type": "STRING",
"originalType": "character",
"usageType": [
"DEFAULT"
],
"isRequired": true,
"originalColumnLength": 15
},
{
"name": "O_SHIPPRIORITY",
"originalName": "O_SHIPPRIORITY",
"type": "INT64",
"originalType": "integer",
"usageType": [
"DEFAULT"
],
"isRequired": true,
"originalColumnLength": 4
},
{
"name": "O_COMMENT",
"originalName": "O_COMMENT",
"type": "STRING",
"originalType": "varchar",
"usageType": [
"DEFAULT"
],
"isRequired": true,
"originalColumnLength": 79
}
]
}
]
}
]
}
隨選或增量移轉作業
將資料從 Teradata 資料庫執行個體遷移至 BigQuery 時,BigQuery 資料移轉服務支援完整移轉 (隨選移轉) 和週期性移轉 (增量移轉)。設定移轉作業時,您可以在排程選項中指定隨選或遞增移轉作業。
隨選移轉:使用這個模式,將結構定義和資料從 Teradata 完整快照遷移至 BigQuery。
排定移轉:使用這個模式執行完整快照,並定期將新資料和修改過的資料 (增量資料) 從 Teradata 遷移至 BigQuery。如要使用增量移轉作業,您必須自訂結構定義,並使用下列任一用途為資料欄加上註解:
- 只為
COMMIT_TIMESTAMP使用類型的資料欄加上註解:在這項移轉作業中,Teradata 中新增或修改的資料列會附加至 BigQuery 中的資料。BigQuery 資料表中更新的資料列,可能會有新舊值重複的資料列。 - 使用
COMMIT_TIMESTAMP和PRIMARY_KEY使用類型為資料欄加上註解:在這項移轉作業中,系統會附加新資料列,並將修改過的資料列更新至 BigQuery 中的對應資料列。PRIMARY_KEY中定義的資料欄用於維護 BigQuery 中資料的不重複性。 - 結構定義中定義的
PRIMARY_KEY資料欄不一定要是 Teradata 資料表中的PRIMARY_KEY。可以是任何資料欄,但必須包含不重複的資料。
- 只為
增量移轉作業
在遞增移轉作業中,第一次移轉一律會在 BigQuery 中建立資料表快照。所有後續的增量移轉作業都會遵循自訂結構定義檔案中定義的註解,詳情請參閱下文。
系統會儲存每次移轉執行的時間戳記。對於後續的每次轉移作業,代理程式會收到前次轉移作業的時間戳記 (T1),以及目前轉移作業開始的時間戳記 (T2)。
初次執行後,遷移代理程式會使用下列每資料表邏輯擷取資料:
- 如果結構定義檔案中的資料表物件沒有使用類型為
COMMIT_TIMESTAMP的資料欄,系統就會略過該資料表。 - 如果資料表有一欄的使用類型為
COMMIT_TIMESTAMP,則系統會擷取時間戳記介於 T1 和 T2 之間的所有資料列,並附加至 BigQuery 中的現有資料表。 - 如果資料表包含使用類型為
COMMIT_TIMESTAMP的資料欄,以及使用類型為PRIMARY_KEY的資料欄,則系統會擷取時間戳記介於 T1 和 T2 之間的所有資料列。任何新資料列都會附加至 BigQuery 的現有資料表,修改過的資料列也會在該資料表中更新。
以下是增量移轉作業的結構定義檔案範例。
只有 COMMIT_TIMESTAMP 的結構定義
{
"databases": [
{
"name": "abc_db",
"originalName": "abc_db",
"tables": [
{
"name": "abc_table",
"originalName": "abc_table",
"columns": [
{
"name": "Id",
"originalName": "Id",
"type": "INT64",
"originalType": "integer",
"originalColumnLength": 4,
"usageType": [
"DEFAULT"
],
"isRequired": true
},
{
"name": "timestamp",
"originalName": "timestamp",
"type": "TIMESTAMP",
"originalType": "timestamp",
"originalColumnLength": 26,
"usageType": [
"COMMIT_TIMESTAMP"
],
"isRequired": false
}
]
}
]
}
]
}
結構定義包含 COMMIT_TIMESTAMP,且有一個資料欄 (Id) 為 PRIMARY_KEY
{
"databases": [
{
"name": "abc_db",
"originalName": "abc_db",
"tables": [
{
"name": "abc_table",
"originalName": "abc_table",
"columns": [
{
"name": "Id",
"originalName": "Id",
"type": "INT64",
"originalType": "integer",
"originalColumnLength": 4,
"usageType": [
"PRIMARY_KEY"
],
"isRequired": true
},
{
"name": "timestamp",
"originalName": "timestamp",
"type": "TIMESTAMP",
"originalType": "timestamp",
"originalColumnLength": 26,
"usageType": [
"COMMIT_TIMESTAMP"
],
"isRequired": false
}
]
}
]
}
]
}
結構定義為 COMMIT_TIMESTAMP,複合索引鍵 (ID + 名稱) 為 PRIMARY_KEY
{
"databases": [
{
"name": "abc_db",
"originalName": "abc_db",
"tables": [
{
"name": "abc_table",
"originalName": "abc_table",
"columns": [
{
"name": "Id",
"originalName": "Id",
"type": "INT64",
"originalType": "integer",
"originalColumnLength": 4,
"usageType": [
"PRIMARY_KEY"
],
"isRequired": true
},
{
"name": "Name",
"originalName": "Name",
"type": "STRING",
"originalType": "character",
"originalColumnLength": 30,
"usageType": [
"PRIMARY_KEY"
],
"isRequired": false
},
{
"name": "timestamp",
"originalName": "timestamp",
"type": "TIMESTAMP",
"originalType": "timestamp",
"originalColumnLength": 26,
"usageType": [
"COMMIT_TIMESTAMP"
],
"isRequired": false
}
]
}
]
}
]
}
下表說明遷移代理程式如何在增量移轉作業中,處理資料定義語言 (DDL) 和資料操縱語言 (DML) 作業。
| Teradata 作業 | 類型 | Teradata 至 BigQuery 支援 |
|---|---|---|
CREATE |
DDL | 系統會在 BigQuery 中建立資料表的新完整快照。 |
DROP |
DDL | 不支援 |
ALTER (RENAME) |
DDL | 系統會在 BigQuery 中為重新命名的資料表建立新的完整快照。先前的快照不會從 BigQuery 刪除。系統不會通知使用者資料表已重新命名。 |
INSERT |
DML | BigQuery 資料表會新增資料列。 |
UPDATE |
DML | 資料列會以新資料列的形式附加至 BigQuery 資料表,類似於僅使用 COMMIT_TIMESTAMP 時的 INSERT 作業。如果同時使用 COMMIT_TIMESTAMP 和 PRIMARY_KEY,資料列會更新,類似於 UPDATE 作業。 |
MERGE |
DML | 不支援。請改為參閱 INSERT、UPDATE 和 DELETE。 |
DELETE |
DML | 不支援 |
位置注意事項
Cloud Storage bucket 必須位於與 BigQuery 目的地資料集相容的區域或多區域。
- 如果 BigQuery 資料集位於多區域,則含有要移轉資料的 Cloud Storage bucket 必須位於相同多區域,或位於多區域內的位置。舉例來說,如果 BigQuery 資料集位於
EU多區域,Cloud Storage bucket 可以位於歐盟境內的europe-west1比利時區域。 - 如果資料集位於單一區域,Cloud Storage bucket 必須位於相同區域。舉例來說,如果資料集位於
asia-northeast1東京區域,Cloud Storage bucket 就不能位於ASIA多區域。
如要進一步瞭解移轉作業和區域,請參閱「資料集位置和移轉作業」。
定價
使用 BigQuery 移轉資料無須付費。不過,使用這項服務可能會在 Google 以外產生費用,例如平台輸出資料移轉費用。
- 擷取、上傳至 Cloud Storage bucket,以及將資料載入 BigQuery 均不收費。
- 資料上傳至 BigQuery 後,不會自動從 Cloud Storage bucket 刪除。建議您從 Cloud Storage bucket 刪除資料,以免產生額外的儲存空間費用。請參閱 Cloud Storage 定價一文。
- 載入工作適用標準 BigQuery 配額和限制。
- 增量擷取 upsert 作業適用標準 DML BigQuery 配額和限制。
- 資料移轉至 BigQuery 後,適用標準 BigQuery 儲存和運算定價。
- 詳情請參閱轉移作業定價頁面。
限制
- 完整支援一次性、隨選移轉。部分支援增量移轉作業中的 DDL/DML 作業。
- 資料移轉期間,資料會擷取至本機檔案系統的目錄。請確認有足夠的可用空間。
- 使用 FastExport 模式擷取資料時,您可以設定要使用的儲存空間上限,遷移代理程式會嚴格執行這項限制。設定從 Teradata 移轉至 BigQuery 時,請在遷移代理程式的設定檔中設定
max-local-storage。 - 使用 TPT 擷取方法時,請確認檔案系統有足夠的可用空間,且空間大於 Teradata 執行個體中最大的資料表分區。
- 使用 FastExport 模式擷取資料時,您可以設定要使用的儲存空間上限,遷移代理程式會嚴格執行這項限制。設定從 Teradata 移轉至 BigQuery 時,請在遷移代理程式的設定檔中設定
- BigQuery 資料移轉服務會自動轉換結構定義 (如果您未提供自訂結構定義檔案),並將 Teradata 資料移轉至 BigQuery。資料會從 Teradata 對應至 BigQuery 類型。
- 檔案載入 BigQuery 後,不會自動從 Cloud Storage bucket 刪除。將資料載入 BigQuery 後,建議您從 Cloud Storage bucket 刪除資料,以免產生額外的儲存空間費用。請參閱「定價」。
- 擷取作業的速度會受到 JDBC 連線的限制。
- 從 Teradata 擷取的資料不會加密。請採取適當步驟,限制本機檔案系統中擷取檔案的存取權,並確保 Cloud Storage bucket 安全無虞。
- 其他資料庫資源 (例如預存程序、已儲存的查詢、檢視表和 user-defined function) 不會轉移,也不在本服務的範圍內。
- 增量移轉作業不支援永久刪除。遞增移轉作業不會將 Teradata 中刪除的資料列同步至 BigQuery。
後續步驟
- 取得將 Teradata 遷移至 BigQuery 的逐步說明。
- 嘗試將 Teradata 測試遷移至 BigQuery。