导出作业信息

本页面介绍如何使用 Workflows 将存储在 Batch 中的作业信息导出到 BigQuery 表。 具体而言，您将了解如何运行示例 export-jobs 工作流，以及如何在 BigQuery 中查看生成的作业信息。

当您想要在作业被自动或手动删除后保留作业信息 或者 在 Batch 之外分析信息时，导出作业信息非常有用。或者，如果您 只想将任务和作业状态更改信息导出到 BigQuery，请改为参阅 使用通知监控作业 。

如需了解如何导出存储在其他 Google Cloud 服务中的作业信息，请参阅相应服务的导出文档。 例如，请参阅以下页面：

• 导出 Cloud Logging 日志。
• 导出 Cloud Monitoring 指标。

注意 ：Workflows 和 BigQuery 是具有各自定价的单独 Google Cloud 产品。如需了解详情， 请参阅 Workflows 定价 和 BigQuery 定价。

准备工作

1. 如果您之前未使用过 Batch，请查看 Batch 使用入门 ，并完成 项目和用户的前提条件，以启用 Batch。

2. 启用 BigQuery API 和 Workflows API。

   启用 API 所需的角色

   如需启用 API，您需要拥有 serviceusage.services.enable 权限。如果您创建了项目，则可能已通过 Owner 角色 (roles/owner) 拥有此权限。否则，您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。

   启用 API

3. 可选：在项目中找到要存储作业信息的现有 BigQuery 数据集或表。现有表必须具有匹配的架构。

   否则，您可以使用 export-jobs 工作流创建新的数据集或表。

4. 通过执行以下操作，为 export-jobs 工作流准备服务帐号：

   1. 创建新的服务账号 或 找到现有服务账号。

   2. 为确保服务帐号具有执行 export-jobs 工作流所需的 权限， 请让管理员为服务帐号授予项目的 以下 IAM 角色：

      重要提示 ：您必须向服务帐号（而不是向您的用户账号）授予这些角色。 如果未能向正确的主账号授予这些角色，可能会导致权限错误。
      • 写入日志： Logs Writer (roles/logging.logWriter)
      • 创建和修改 BigQuery 数据集和表： BigQuery Admin (roles/bigquery.admin)
      • 查看和删除 Batch 作业： Batch Job Editor (roles/batch.jobsEditor)

      如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

      您的管理员还可以通过自定义 角色或其他预定义 角色向服务帐号 授予所需的权限。

5. 如需获得创建、部署和执行 export-jobs 工作流所需的权限，请让管理员向您授予项目的以下 IAM 角色：

   • 查看作业： Batch Job Viewer (roles/batch.jobsViewer)
   • 查看服务账号： View Service Accounts (roles/iam.serviceAccountViewer)
   • 查看 BigQuery 数据集和表： BigQuery Data Viewer (roles/bigquery.dataViewer)
   • 创建、部署和执行工作流： Workflows Editor (roles/workflows.editor)

6. 确保项目中的用户可以查看导出的作业信息。

   为确保用户拥有导出作业信息所需的权限，请让管理员向用户授予表、数据集或项目的BigQuery Data Viewer (roles/bigquery.dataViewer) IAM 角色。

   注意 ：您只能授予对现有资源的访问权限。除非您计划 将作业信息导出到预先存在的表或数据集，否则您必须在项目上或导出作业信息后授予 此访问权限。

导出作业信息

本部分介绍如何使用 export-jobs 工作流（来自 export-to-bigquery 代码示例）导出作业信息。 export- jobs 工作流会导出项目中位于指定区域且满足指定过滤条件的作业的信息。

重要提示 ：export-jobs 工作流一次只能导出一个区域的作业信息。如果您想要导出多个区域或一个区域中的多个子集的作业信息，请为每个用例配置、创建、部署和执行专用的 export-jobs 工作流。

我们建议您为每个用例创建专用工作流。虽然您可以修改并重新执行一个工作流，但专用工作流可让您更轻松地跟踪上次导出哪些作业的时间，并安排工作流自动导出作业。

export-jobs 工作流会将作业信息导出到指定数据集中的指定表，如果这些数据集和表在您的项目中尚不存在，则工作流会自动创建它们。默认情况下，export-jobs 工作流还会从 Batch 中删除导出的作业，但您可以选择修改 export-jobs 工作流，使其不删除作业。

对于要使用的每个 export-jobs 工作流，请执行以下操作：

1. 配置工作流定义。
2. 创建并部署工作流。
3. 执行工作流。每次要导出指定的作业时，重复此步骤。

配置工作流定义

1. 从 GitHub 下载 export-to-bigquery-delete-batch-jobs.yaml 文件。

2. 在文本编辑器中打开 export-to-bigquery-delete-batch-jobs.yaml 文件。 然后，进行以下修改：

   1. 将 sys.get_env("GOOGLE_CLOUD_PROJECT_ID") 替换为您的项目 ID （格式为字符串），例如 "my-project-id"。

   2. 将 sys.get_env("GOOGLE_CLOUD_LOCATION") 替换为包含要导出的作业的区域（格式为字符串），例如 "us-central1"。

   3. 可选：修改用于指定要导出的作业的过滤条件。

      默认情况下，export-jobs 工作流指定过滤条件 "(status.state:SUCCEEDED OR status.state:FAILED OR status.state:CANCELLED) AND create_time<=\"2023-05-01T00:00:00Z\"". 此默认过滤条件仅导出状态为 SUCCEEDED、FAILED 或 CANCELLED 且在 2023-05-01T00:00:00Z RFC 3339 时间戳之前或当天创建的作业的信息。

   4. 可选：将 default_dataset_id 替换为您希望 export-jobs 工作流使用或创建的数据集的其他名称。

   5. 可选：将 default_table_id 替换为您希望 export-jobs 工作流使用或创建的表的其他名称。

   6. 如果您不希望工作流删除导出的作业，请执行以下操作：

      提示： 如果您不删除导出的作业，则重新执行相同的 export-jobs 工作流可能会创建重复的行。为避免这种情况，您可以在每次重新执行之前更新 create_time 过滤条件，使其仅包含在上一次执行后创建的作业。 如需了解如何查看工作流上次执行的时间，请参阅 访问工作流执行结果。

      1. 移除以下行：

                 - log_delete_step:
                     call: sys.log
                     args:
                       text: ${"Deleting Batch job " + j.name}
                       severity: NOTICE
                 - delete_job:
                     call: googleapis.batch.v1.projects.locations.jobs.delete
                     args:
                       name: ${j.name}
         

      2. 移除 + " and deleted"。

   7. 保存文件。保持文件处于打开状态。

创建并部署工作流

1. 在 Google Cloud 控制台中，前往 Workflows 页面：

   进入 Workflows

2. 在 Workflows 页面上，点击 创建。

3. 在工作流名称 字段中，输入工作流的名称，例如 export-batch-jobs-us-central1。

4. 在服务账号 列表中，选择您准备的服务帐号。

5. 点击下一步 。

6. 在工作流编辑器中，将示例工作流替换为 export-to-bigquery-delete-batch-jobs.yaml 文件的内容。然后，您可以关闭该文件。

7. 点击部署 。系统会打开工作流详情 页面。

执行工作流

提示： 如果您想要自动执行 export-jobs 工作流，请改为参阅 Workflows 文档中的 使用 Cloud Scheduler 安排工作流 。例如，由于每个作业会在完成后 60 天自动删除，因此您可以安排一个或多个 export-jobs 工作流每 59 天导出并删除作业，从而导出所有作业（不会手动删除）。

1. 在工作流详情 页面上，点击 执行。系统会打开执行工作流 页面。

2. 在打开的执行工作流 页面上，点击执行 。

3. 在打开的执行详情 页面上，等待工作流执行完毕。例如，导出和删除少量作业的执行时间通常为几秒钟，但如果您要导出和删除大量作业，执行时间可能会更长。

   工作流执行完毕后，输出 窗格会显示结果。

查看导出的作业信息

本部分介绍如何查看由 export-jobs 工作流创建的表数据。例如，您可以使用以下步骤验证工作流是否已成功执行并浏览表数据。如需详细了解 如何查看和使用导出的作业信息（例如编写查询），请参阅 BigQuery 文档中的管理表数据。

1. 在 Google Cloud 控制台中，前往 BigQuery 页面：

   转到 BigQuery

2. 在探索器 面板中，打开导出的作业信息的表：

   1. 在搜索 BigQuery 资源 字段中，输入 export-jobs 工作流中的表名称。例如，默认表名称为 default_table_id。
   2. 点击表的名称。系统会打开表详情页面。

   3. 在表详情页面上，点击详细信息 标签页。

      在详细信息 标签页上，记下上次修改时间 时间戳和行数 。

   4. 在表详情页面上，点击预览 标签页。

后续步骤

• 详细了解工作流。
• 详细了解 BigQuery。
• 详细了解 Batch：
  • 查看项目中的作业
  • 删除作业
  • 创建其他作业