管理資料準備作業
本文說明如何管理 BigQuery 資料準備作業,包括管理存取權、版本、效能和中繼資料。此外,也會說明如何執行基本工作,例如查看及下載資料準備。
資料準備作業是由 Dataform 支援的 BigQuery 資源。詳情請參閱「BigQuery 資料準備總覽」。
事前準備
- 確認您已啟用 Gemini for Google Cloud API。
- 如要在 Knowledge Catalog 管理資料準備中繼資料,請確認 Google Cloud 專案已啟用 Dataplex API。
必要的角色
準備資料的使用者和執行工作的 Dataform 服務帳戶,必須具備下列 Identity and Access Management (IAM) 角色授予的權限。
取得使用者存取權,以便準備資料
如要取得在 BigQuery 準備資料所需的權限,請要求管理員授予您下列 IAM 角色:
- 專案的 BigQuery Studio 使用者 (
roles/bigquery.studioUser) - 專案的 Gemini for Google Cloud 使用者 (
roles/cloudaicompanion.user) -
存取來源資料表:資料表、資料集或專案的 BigQuery 資料檢視者 (
roles/bigquery.dataViewer) -
共用資料準備:資料表、資料集或專案的 Dataform 程式碼擁有者 (
roles/dataform.codeOwner)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
如要進一步瞭解 BigQuery 資料集的 IAM,請參閱「授予資料集的存取權」。取得中繼資料管理權限
如要取得在 Knowledge Catalog 中管理資料準備中繼資料所需的權限,請確認您具備必要的 Knowledge Catalog 角色和 dataform.repositories.get 權限。
授予 Dataform 服務帳戶存取權
為確保 Dataform 服務帳戶具備必要權限,可在 BigQuery 執行資料準備作業,請要求管理員將下列 IAM 角色授予 Dataform 服務帳戶:
-
存取來源資料表:資料表、資料集或專案的 BigQuery 資料檢視者 (
roles/bigquery.dataViewer) -
存取目的地資料表:資料表、資料集或專案的 BigQuery 資料編輯者 (
roles/bigquery.dataEditor)
視資料準備管道而定,Dataform 服務帳戶可能需要額外權限。詳情請參閱「授予 Dataform 必要存取權」。
準備資料時的安全考量
BigQuery 中的程式碼資產是由 Dataform 提供,因此請考量下列安全性影響,再決定是否讓使用者存取這些資產:
- 程式碼資產的瀏覽權限由專案層級的 Dataform 權限控管。使用者只要具備
dataform.repositories.list權限 (包含在 BigQuery 工作使用者、BigQuery Studio 使用者和 BigQuery 使用者等標準 BigQuery 角色中),就能在 Google Cloud 專案的「Explorer」面板中查看所有程式碼資產,無論這些資產是否由他們建立或與他們共用。如要限制瀏覽權限,可以建立不含dataform.repositories.list權限的自訂角色。 - 凡是與 Dataform 服務代理共用的 Secret,都有可能遭到可編輯這些資產的使用者存取。為確保憑證安全,請限制建立和編輯權限,僅授予信任的使用者,並限制 Dataform 服務代理可存取的 Secret。詳情請參閱「在套件安裝期間存取 Secret」。
詳情請參閱「Dataform 權限的安全性考量」。
查看現有的資料準備作業
如要查看現有資料準備作業的清單,請按照下列步驟操作:
前往「BigQuery」頁面
點選左側窗格中的 「Explorer」。

如果沒有看到左側窗格,請按一下 「Expand left pane」(展開左側窗格),開啟窗格。
在「Explorer」窗格中展開專案。
按一下「資料準備」。
以漸進方式處理資料,最佳化資料準備作業
如要設定準備好的資料寫入目的地資料表的方式,請按照下列步驟操作。
前往 Google Cloud 控制台的「BigQuery」頁面。
點選左側窗格中的 「Explorer」。

在「Explorer」窗格中,按一下「Data preparations」(資料準備),然後選取資料準備。
在資料準備工具列中,依序選取「More」(更多) >「Write mode」(寫入模式)。
選取其中一個選項,詳情請參閱「寫入模式」。
按一下「儲存」。
資料準備版本
您可以選擇在存放區 (預先發布版) 內或外建立資料準備。資料準備版本管理會根據資料準備的位置,以不同方式處理。
存放區中的資料準備版本管理
存放區是位於 BigQuery 或第三方供應商的 Git 存放區。您可以使用存放區中的工作區,對資料準備作業進行版本管控。詳情請參閱「使用檔案版本管控功能」。
在存放區外建立資料準備版本
如果 BigQuery 資料準備作業不在存放區中,則不支援查看、比較或還原資料準備版本。
如要依時間順序列出資料準備版本,請按照下列步驟操作:
前往「BigQuery」頁面
點選左側窗格中的 「Explorer」。

在「Explorer」窗格中,按一下「Data preparations」(資料準備),然後選取資料準備。
按一下 「Version history」(版本記錄)。
下載資料準備作業
如要下載 SQLX 檔案中的資料準備,請按照下列步驟操作:
前往 Google Cloud 控制台的「BigQuery」頁面。
點選左側窗格中的 「Explorer」。

在「Explorer」窗格中展開專案,然後點選「資料準備」。
按一下要下載的資料準備作業名稱。
按一下「下載」。資料準備作業會以 SQLX 檔案格式儲存,例如
NAME data preparation.dp.sqlx。
上傳資料準備檔案
如要從 SQLX 檔案上傳資料準備,請按照下列步驟操作:
前往 Google Cloud 控制台的「BigQuery」頁面。
點選左側窗格中的 「Explorer」。

在「Explorer」窗格中展開專案。
依序點選「資料準備」> more_vert 「查看動作」>「上傳至資料準備」。
在「Upload data preparation」(上傳資料準備) 對話方塊中,選取要上傳的檔案,或輸入資料準備的網址。
輸入資料準備作業的名稱。
選取管理及儲存資源的資料準備位置。
按一下「上傳」。
在 Knowledge Catalog 管理中繼資料
Knowledge Catalog 可讓您儲存及管理資料準備作業的中繼資料。Knowledge Catalog 預設提供資料準備功能,不需額外設定。
您可以使用 Knowledge Catalog,管理所有 BigQuery 位置的資料準備作業。在 Knowledge Catalog 中管理資料準備作業時,須遵守 Knowledge Catalog 配額和限制,以及 Knowledge Catalog 定價。
Knowledge Catalog 會自動從資料準備作業中擷取下列中繼資料:
- 資料資產名稱
- 資料資產父項
- 資料資產位置
- 資料資產類型
- 對應的 Google Cloud 專案
Knowledge Catalog 會將資料準備作業記錄為項目,並包含下列項目值:
- 系統項目群組
- 資料準備的系統項目群組為
@dataform。如要在 Knowledge Catalog 查看資料準備項目的詳細資料,請查看dataform系統項目群組。如要瞭解如何查看項目群組中所有項目的清單,請參閱 Knowledge Catalog 說明文件中的「查看項目群組的詳細資料」。 - 系統項目類型
- 資料準備的系統項目類型為
dataform-code-asset。如要查看資料準備作業的詳細資料,您需要查看dataform-code-asset系統項目類型、使用切面篩選器篩選結果,並將dataform-code-asset切面中的type欄位設為DATA_PREPARATION。接著,選取所選資料準備作業的項目。如要瞭解如何查看所選項目類型的詳細資料,請參閱 Knowledge Catalog 說明文件中的「查看項目類型的詳細資料」。如要瞭解如何查看所選項目的詳細資料,請參閱 Knowledge Catalog 說明文件中的「查看項目詳細資料」一節。 - 系統切面類型
- 資料準備的系統切面類型為
dataform-code-asset。如要使用切面為資料準備項目加上註解,為 Knowledge Catalog 中的資料準備作業提供額外背景資訊,請查看dataform-code-asset切面類型,使用切面篩選器篩選結果,並將dataform-code-asset切面中的type欄位設為DATA_PREPARATION。如要瞭解如何使用切面為項目加上註解,請參閱 Knowledge Catalog 說明文件中的「管理切面並充實中繼資料」。 - 類型
- 資料畫布的類型為
DATA_PREPARATION。這種類型可讓您在切面篩選器中使用aspect:dataplex-types.global.dataform-code-asset.type=DATA_PREPARATION查詢,篩選dataform-code-asset系統項目類型和dataform-code-asset切面類型中的資料準備。
如要瞭解如何搜尋資產,請參閱 Knowledge Catalog 說明文件中的「在 Knowledge Catalog 搜尋資料資產」。
後續步驟
- 進一步瞭解如何在 BigQuery 準備資料。
- 瞭解如何手動或依排程執行資料準備作業。
- 瞭解如何建立資料準備。