本文說明如何手動觸發整個工作流程,或只觸發工作流程中的特定元素。
您可以為工作流程的下列元素觸發執行作業:
- 工作流程中的所有動作
- 所選動作
- 對所選標記執行的動作
事前準備
必要的角色
如要取得手動觸發執行的權限,請要求管理員授予您下列 IAM 角色:
- Dataform 存放區的 Dataform 編輯者 (
roles/dataform.editor) - 專案的 BigQuery 工作使用者 (
roles/bigquery.jobUser) - 自訂服務帳戶的服務帳戶使用者 (
roles/iam.serviceAccountUser)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
手動執行工作流程中的所有動作
如要手動觸發工作流程中的所有動作,請按照下列步驟操作:
- 前往開發工作區。
- 按一下「Start execution」(開始執行)。
- 依序點選「動作」>「多項動作」。
在「Authentication」(驗證) 專區,使用 Google 帳戶使用者憑證或服務帳戶,授權執行作業。
如要使用 Google 帳戶使用者憑證,請選取「Execute with user credentials」(以使用者憑證執行)。
選用:在「Extended access options」(擴充存取權選項) 部分,選取工作流程所需的其他範圍:
- Knowledge Catalog:可更新 Google Cloud Knowledge Catalog 中繼資料。
- Google 雲端硬碟:允許唯讀存取 Google 雲端硬碟檔案。
- Bigtable:可讀取 Google Bigtable 資料 (唯讀)。
如要使用自訂服務帳戶,請選取「Execute with selected service account」(以所選服務帳戶執行),然後選取自訂服務帳戶。
選取「所有動作」。
選用:如要從頭重新建構所有資料表,請選取「Run with full refresh」(執行並完整重新整理) 選項。如果沒有這個選項,Dataform 會更新累加資料表,而不會從頭重新建構。
選用:使用「Execute as interactive job with high priority (default)」(以高優先順序執行互動式工作 (預設)) 選項,設定 BigQuery 查詢工作優先順序。根據預設,BigQuery 會以互動式查詢工作的形式執行查詢,並盡快開始執行。如果取消勾選這個選項,系統會以批次查詢工作的形式執行查詢,優先順序較低。
選用:如要限制執行期間可同時執行的動作數量,請選取「Limit concurrent actions」(限制並行動作),然後在「Maximum concurrent actions」(並行動作數量上限) 中輸入介於
1至5000之間的整數。如果準備就緒的操作數量超過設定的限制,Dataform 會將剩餘的操作放入佇列,直到有可用的並行運算運算單元。
執行單元測試時,不支援並行動作限制。
按一下「Start execution」(開始執行)。如果驗證方式選取「Execute with user credentials」(使用使用者憑證執行),則必須授權 Google 帳戶。
手動執行所選動作
如要手動觸發所選動作,請按照下列步驟操作:
- 前往開發工作區。
按一下「Start execution」(開始執行),然後執行下列任一操作:
- 按一下「動作」,然後選取要執行的動作。
- 依序點選「動作」>「多項動作」。
在「Authentication」(驗證) 專區,使用 Google 帳戶使用者憑證或服務帳戶,授權執行作業。
如要使用 Google 帳戶使用者憑證,請選取「Execute with user credentials」(以使用者憑證執行)。
選用:在「Extended access options」(擴充存取權選項) 部分,選取工作流程所需的其他服務:
- Knowledge Catalog:可更新 Google Cloud Knowledge Catalog 中繼資料。
- Google 雲端硬碟:允許唯讀存取 Google 雲端硬碟檔案。
- Bigtable:可讀取 Google Bigtable 資料 (唯讀)。
如要使用自訂服務帳戶,請選取「Execute with selected service account」(以所選服務帳戶執行),然後選取自訂服務帳戶。
確認已選取「Selection of actions」。
在「Select actions to execute」(選取要執行的動作) 選單中,選取要執行的動作。
選用:如要執行所選動作及其依附元件,請選取「Include dependencies」選項。
選用:如要執行所選動作和依附於這些動作的動作,請選取「Include dependents」(納入依附元件) 選項。
選用:如要從頭重新建構所有資料表,請選取「Run with full refresh」(執行並完整重新整理) 選項。
選用:使用「Execute as interactive job with high priority (default)」(以高優先順序執行互動式工作 (預設)) 選項,設定 BigQuery 查詢工作優先順序。根據預設,BigQuery 會以互動式查詢工作的形式執行查詢,並盡快開始執行。如果取消勾選這個選項,系統會以批次查詢工作的形式執行查詢,優先順序較低。
選用:如要限制執行期間可同時執行的動作數量,請選取「Limit concurrent actions」(限制並行動作),然後在「Maximum concurrent actions」(並行動作數量上限) 中輸入介於
1至5000之間的整數。如果準備就緒的操作數量超過設定的限制,Dataform 會將剩餘的操作放入佇列,直到有可用的並行運算運算單元。
執行單元測試時,不支援並行動作限制。
按一下「Start execution」(開始執行)。如果驗證方式選取「Execute with my user credentials」(使用我的使用者憑證執行),則必須授權 Google 帳戶。
手動執行含有指定標記的操作
如要手動觸發執行含有選定標記的動作,請按照下列步驟操作:
- 前往開發工作區。
按一下「Start execution」(開始執行),然後執行下列任一操作:
- 按一下「標記」,然後選取要執行的標記。
- 依序點選「標記」>「多個標記」。
在「Authentication」(驗證) 專區,使用 Google 帳戶使用者憑證或服務帳戶,授權執行作業。
如要使用 Google 帳戶使用者憑證,請選取「Execute with user credentials」(以使用者憑證執行)。
選用:在「Extended access options」(擴充存取權選項) 部分,選取工作流程所需的其他服務:
- Knowledge Catalog:可更新 Google Cloud Knowledge Catalog 中繼資料。
- Google 雲端硬碟:允許唯讀存取 Google 雲端硬碟檔案。
- Bigtable:可讀取 Google Bigtable 資料 (唯讀)。
如要使用自訂服務帳戶,請選取「Execute with selected service account」(以所選服務帳戶執行),然後選取自訂服務帳戶。
確認已選取「Selection of tags」。
在「Select tags to execute」(選取要執行的標記) 選單中,選取要執行的標記。
選用:如要使用所選標記及其依附元件執行動作,請選取「Include dependencies」選項。
選用:如要執行含有選定標記的動作,以及依附於這些標記的動作,請選取「Include dependents」(包含依附元件) 選項。
選用:如要從頭重新建構所有資料表,請選取「Run with full refresh」(執行並完整重新整理) 選項。如果沒有這個選項,Dataform 會更新累加資料表,而不會從頭重建。
選用:使用「Execute as interactive job with high priority (default)」(以高優先順序執行互動式工作 (預設)) 選項,設定 BigQuery 查詢工作優先順序。根據預設,BigQuery 會以互動式查詢工作的形式執行查詢,並盡快開始執行。如果取消勾選這個選項,系統會以批次查詢工作的形式執行查詢,優先順序較低。
選用:如要限制執行期間可同時執行的動作數量,請選取「Limit concurrent actions」(限制並行動作),然後在「Maximum concurrent actions」(並行動作數量上限) 中輸入介於
1至5000之間的整數。如果準備就緒的操作數量超過設定的限制,Dataform 會將剩餘的操作放入佇列,直到有可用的並行運算運算單元。
執行單元測試時,不支援並行動作限制。
按一下「Start execution」(開始執行)。如果驗證方式選取「Execute with my user credentials」(使用我的使用者憑證執行),則必須授權 Google 帳戶。
授權給您的 Google 帳戶
如要使用 Google 帳戶使用者憑證驗證資源,您必須手動授予權限,讓 BigQuery 管道取得 Google 帳戶的存取權杖,並代表您存取來源資料。您可以透過 OAuth 對話方塊介面手動核准。如果選取任何「Extended access options」,就必須授予這些服務的存取權,例如 Google 雲端硬碟或 Knowledge Catalog。
您只需要授予 BigQuery 管道權限一次。
如要撤銷已授予的權限,請按照下列步驟操作:
- 前往 Google 帳戶頁面。
- 按一下「BigQuery Pipelines」。
- 按一下 [移除存取權]。
限制並行動作數量
根據預設,Dataform 會平行執行所有上游依附元件已滿足條件的操作。如果工作流程包含許多獨立動作,同時執行所有動作可能會導致 BigQuery 頻率限制錯誤、耗盡專案配額或 BigQuery 運算單元。
如要控制資源爭用情形,而不必在 SQLX 的獨立動作之間引入人工依附元件,您可以設定手動執行或工作流程設定排程的並行動作數量上限。
設定並行動作限制後,Dataform 會同時開始執行準備就緒的動作,直到達到設定的限制。上游依附元件符合條件的其他動作會進入 QUEUED 狀態。執行中的動作完成後,並行運算運算單元就會釋出,Dataform 會在可用的運算單元中啟動佇列中的動作,直到所有動作完成為止。如果工作流程執行失敗或在動作排入佇列時取消,系統會略過排入佇列的動作。
這項限制適用於每次工作流程叫用。每個執行作業都會獨立追蹤自己的執行動作。
執行單元測試時,不支援並行動作限制。
後續步驟
- 如要瞭解 Dataform 如何執行增量資料表,以及如何設定增量資料表,請參閱「設定增量資料表」。
- 如要瞭解如何查看執行記錄,請參閱「監控執行記錄」。
- 如要瞭解如何使用 Workflows 和 Cloud Scheduler 排定執行作業,請參閱「使用 Workflows 和 Cloud Scheduler 排定執行作業」。
- 如要瞭解如何使用 Managed Service for Apache Airflow 排定執行作業,請參閱「使用 Managed Service for Apache Airflow 排定執行作業」。