本文档介绍了如何手动触发整个工作流或仅触发工作流中所选元素的运行。
您可以为工作流的以下元素触发运行:
- 工作流中的所有操作
- 所选操作
- 对所选标签执行的操作
准备工作
所需的角色
如需获得手动触发运行所需的权限,请让您的管理员为您授予以下 IAM 角色:
- Dataform 代码库的 Dataform Editor (
roles/dataform.editor) - 项目的 BigQuery Job User (
roles/bigquery.jobUser) - 自定义服务账号的 Service Account User (
roles/iam.serviceAccountUser) 角色
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
手动运行工作流中的所有操作
如需手动触发工作流中所有操作的运行,请按以下步骤操作:
- 前往开发工作区。
- 点击开始执行。
- 依次点击操作 > 多项操作。
在身份验证部分,使用您的 Google 账号用户凭证或服务账号授权执行。
如需使用您的 Google 账号用户凭证,请选择使用用户凭证执行。
可选:在扩展访问权限选项部分中,选择工作流所需的其他范围:
- Knowledge Catalog:允许 Google Cloud Knowledge Catalog 元数据更新。
- Google 云端硬盘:允许对 Google 云端硬盘文件进行只读访问。
- Bigtable:允许对 Google Bigtable 数据进行只读访问。
如需使用自定义服务账号,请选择使用所选服务账号执行,然后选择一个自定义服务账号。
选择所有操作。
可选:如需从头开始重新构建所有表,请选择运行并完全刷新选项。如果没有此选项,Dataform 会更新增量表,而不会从头开始重新构建。
可选:使用作为高优先级的交互式作业执行(默认)选项设置 BigQuery 查询作业优先级。默认情况下,BigQuery 会将查询作为交互式查询作业来运行,这类作业旨在尽快开始运行。清除此选项会将查询作为批量查询作业来运行,这类作业的优先级较低。
可选:如需限制执行期间可同时运行的操作数量,请选择限制并发操作,然后在并发操作数上限中输入一个介于
1到5000之间的整数。如果就绪操作的数量超过配置的限制,Dataform 会将剩余的就绪操作放入队列中,直到并发槽可用。
执行单元测试时,不支持并发操作限制。
点击开始执行。如果您选择了使用用户凭证执行作为身份验证方法,则必须授权您的 Google 账号。
手动运行所选操作
如需手动触发所选操作的运行,请按以下步骤操作:
- 前往您的开发工作区。
点击开始执行,然后执行以下任一操作:
- 点击操作,然后选择要执行的操作。
- 依次点击操作 > 多项操作。
在身份验证部分,使用您的 Google 账号用户凭证或服务账号授权执行。
如需使用您的 Google 账号用户凭证,请选择使用用户凭证执行。
可选:在扩展访问权限选项部分中,选择工作流所需的其他服务:
- Knowledge Catalog:允许 Google Cloud Knowledge Catalog 元数据更新。
- Google 云端硬盘:允许对 Google 云端硬盘文件进行只读访问。
- Bigtable:允许对 Google Bigtable 数据进行只读访问。
如需使用自定义服务账号,请选择使用所选服务账号执行,然后选择一个自定义服务账号。
验证是否已选择操作选择。
在选择要执行的操作菜单中,选择要运行的操作。
可选:如需运行所选操作及其依赖项,请选择包含依赖项选项。
可选:如需运行所选操作以及依赖于这些操作的操作,请选择包含依赖项选项。
可选:如需从头开始重新构建所有表,请选择运行并完全刷新选项。
可选:使用作为高优先级的交互式作业执行(默认)选项设置 BigQuery 查询作业优先级。默认情况下,BigQuery 会将查询作为交互式查询作业来运行,这类作业旨在尽快开始运行。清除此选项会将查询作为批量查询作业来运行,这类作业的优先级较低。
可选:如需限制执行期间可同时运行的操作数量,请选择限制并发操作,然后在并发操作数上限中输入一个介于
1到5000之间的整数。如果就绪操作的数量超过配置的限制,Dataform 会将剩余的就绪操作放入队列中,直到并发槽可用。
执行单元测试时,不支持并发操作限制。
点击开始执行。如果您选择了使用我的用户凭证执行作为身份验证方法,则必须授权您的 Google 账号。
手动运行具有所选标签的操作
如需手动触发运行具有所选标记的操作,请按以下步骤操作:
- 前往您的开发工作区。
点击开始执行,然后执行以下任一操作:
- 点击代码,然后选择要运行的代码。
- 依次点击代码 > 多个代码。
在身份验证部分,使用您的 Google 账号用户凭证或服务账号授权执行。
如需使用您的 Google 账号用户凭证,请选择使用用户凭证执行。
可选:在扩展访问权限选项部分中,选择工作流所需的其他服务:
- Knowledge Catalog:允许 Google Cloud Knowledge Catalog 元数据更新。
- Google 云端硬盘:允许对 Google 云端硬盘文件进行只读访问。
- Bigtable:允许对 Google Bigtable 数据进行只读访问。
如需使用自定义服务账号,请选择使用所选服务账号执行,然后选择一个自定义服务账号。
验证是否已选择选择标记。
在选择要执行的标记菜单中,选择要运行的标记。
可选:如需使用所选标记及其依赖项运行操作,请选择包含依赖项选项。
可选:如需运行具有所选标记的操作以及依赖于这些操作的操作,请选择包含依赖项选项。
可选:如需从头开始重新构建所有表,请选择运行并完全刷新选项。如果没有此选项,Dataform 会更新增量表,而不会从头开始重新构建。
可选:使用作为高优先级的交互式作业执行(默认)选项设置 BigQuery 查询作业优先级。默认情况下,BigQuery 会将查询作为交互式查询作业来运行,这类作业旨在尽快开始运行。清除此选项会将查询作为批量查询作业来运行,这类作业的优先级较低。
可选:如需限制执行期间可同时运行的操作数量,请选择限制并发操作,然后在并发操作数上限中输入一个介于
1到5000之间的整数。如果就绪操作的数量超过配置的限制,Dataform 会将剩余的就绪操作放入队列中,直到并发槽可用。
执行单元测试时,不支持并发操作限制。
点击开始执行。如果您选择了使用我的用户凭证执行作为身份验证方法,则必须授权您的 Google 账号。
授权您的 Google 账号
如需使用您的 Google 账号用户凭证向资源进行身份验证,您必须手动向 BigQuery 流水线授予权限,以便其获取您的 Google 账号的访问令牌并代表您访问源数据。您可以通过 OAuth 对话框界面手动进行批准。如果您选择任何扩展访问权限选项,则必须授予对这些服务(例如 Google 云端硬盘或 Knowledge Catalog)的访问权限。
您只需向 BigQuery 流水线授予一次权限。
如需撤销您已授予的权限,请按以下步骤操作:
- 前往您的“Google 账号”页面。
- 点击 BigQuery 流水线。
- 点击解除使用权限。
限制并发操作数
默认情况下,Dataform 会并行执行满足其上游依赖项的所有操作。当工作流包含许多独立操作时,同时执行所有操作可能会导致 BigQuery 速率限制错误、耗尽项目配额或耗尽 BigQuery 槽。
如需在不引入 SQLX 中独立操作之间的人为依赖项的情况下控制资源争用,您可以为手动执行或工作流配置时间表配置并发操作数上限。
配置并发操作限制后,Dataform 会开始同时执行就绪操作,直至达到设置的限制。上游依赖项已满足的其他操作会进入 QUEUED 状态。随着正在运行的操作完成,并发槽位会空闲出来,Dataform 会在可用槽位中启动已排队的操作,直到所有操作完成。如果工作流执行在操作排队时失败或被取消,则系统会跳过排队的操作。
此限制适用于每次工作流调用。每个执行都会独立跟踪其自己的运行操作。
执行单元测试时,不支持并发操作限制。
后续步骤
- 如需了解 Dataform 如何运行增量表以及如何配置增量表,请参阅配置增量表。
- 如需了解如何查看执行日志,请参阅监控执行日志。
- 如需了解如何使用 Workflows 和 Cloud Scheduler 安排运行,请参阅使用 Workflows 和 Cloud Scheduler 安排运行。
- 如需了解如何使用 Managed Service for Apache Airflow 安排运行,请参阅使用 Managed Service for Apache Airflow 安排运行。