本文档介绍了批量作业创建的基础知识:如何创建和运行基于脚本或容器映像的作业,以及如何使用预定义变量和自定义变量。如需详细了解如何创建和运行作业,请参阅作业创建和执行概览。
准备工作
- 如果您之前未使用过 Batch,请参阅 Batch 使用入门,并通过完成项目和用户的前提条件来启用 Batch。
-
如需获得创建作业所需的权限,请让您的管理员为您授予以下 IAM 角色:
- 项目的 批量作业编辑器 (
roles/batch.jobsEditor) - 作业的服务账号(默认情况下为默认 Compute Engine 服务账号)的 Service Account User (
roles/iam.serviceAccountUser)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
- 项目的 批量作业编辑器 (
-
每次创建作业时,请确保作业具有有效的资源配置。
- 除非默认值足够,否则您必须指定每个任务运行所需的每个任务的计算资源 (
computeResource) 字段,如本文档所示。 - 如果您为作业指定了任何虚拟机资源(任何
instances[].policy、instances[].instanceTemplate或instanceFlexibilityPolicy字段),则必须确保这些字段彼此兼容,并且与作业兼容。
- 除非默认值足够,否则您必须指定每个任务运行所需的每个任务的计算资源 (
-
每次创建作业时,请确保该作业具有有效的网络配置。
- 如果您对工作负载或项目没有任何特定的网络要求,并且未修改项目的默认网络,则无需执行任何操作。
- 否则,您需要在创建作业时配置网络。在创建基本作业之前,请先了解如何为作业配置网络,以便修改以下示例来满足您的网络要求。
-
每次创建作业时,请确保作业具有有效的虚拟机操作系统 (OS) 环境。
- 如果您的工作负载或项目没有任何特定的虚拟机操作系统映像或启动磁盘要求,则无需执行任何操作。
- 否则,您需要准备一个有效的虚拟机操作系统环境选项。 在创建基本作业之前,请允许虚拟机操作系统环境的默认配置,或了解如何自定义虚拟机操作系统环境,以便修改以下示例来满足您的要求。
创建基本作业
如需了解您可以为作业指定的所有字段,请参阅 projects.locations.jobs REST 资源的参考文档。简而言之,作业由一个或多个任务组成的数组构成,这些任务都会运行一个或多个可运行项,即作业的可执行脚本和/或容器。为涵盖基础知识,本部分介绍了如何创建仅包含一个可运行对象(脚本或容器映像)的示例作业:
这两种作业类型的示例作业都包含一个任务组,其中包含一个由 4 个任务组成的数组。每个任务都会向标准输出和 Cloud Logging 输出一条消息及其索引。此作业的定义指定并行度为 2,这表示作业应在 2 个虚拟机上运行,以便一次运行 2 个任务。
创建基本容器作业
您可以选择或创建容器映像,以便为作业提供代码和依赖项,从而在任何计算环境中运行。如需了解详情,请参阅使用容器映像和在虚拟机实例上运行容器。
您可以使用 Google Cloud 控制台、gcloud CLI、Batch API、Go、Java、Node.js、Python 或 C++ 创建基本容器作业。
控制台
如需使用 Google Cloud 控制台创建基本容器作业,请执行以下操作:
在 Google Cloud 控制台中,前往作业列表页面。
点击 创建。 创建批量作业页面随即打开。在左侧窗格中,选择作业详情页面。
配置作业详情页面:
可选:在作业名称字段中,自定义作业名称。
例如,输入
example-basic-job。配置任务详情部分:
在新建可运行对象窗口中,添加至少一个脚本或容器,以便此作业运行。
例如,如需添加一个容器,请执行以下操作:
选择容器映像网址(默认)。
在容器映像网址字段中,输入要为此作业中的每个任务运行的容器映像的网址。
例如,如需使用
busyboxDocker 容器映像,请输入以下网址:gcr.io/google-containers/busybox可选:如需替换容器映像的
ENTRYPOINT命令,请在入口点字段中输入命令。例如,输入以下内容:
/bin/sh可选:如需替换容器映像的
CMD命令,请执行以下操作:选中替换容器映像的 CMD 命令复选框。系统会显示一个字段。
在该字段中,输入一个或多个命令,并用换行符分隔每个命令。
例如,输入以下命令:
-c echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.点击完成。
在任务数字段中,输入此作业的任务数。该值必须是介于
1和每个任务组的任务数上限之间的整数。例如,输入
4。在并行性字段中,输入要并发运行的任务数。该数字不能大于任务总数,并且必须是介于
1与每个作业的并行任务数上限之间的整数。例如,输入
2。
配置资源规范页面:
在左侧窗格中,点击资源规范。 系统会打开资源规范页面。
在虚拟机预配模型部分中,为此作业的虚拟机选择以下预配模型选项之一:
如果您的作业可以承受抢占,并且您希望使用折扣虚拟机,请选择 Spot。详细了解针对 Spot 虚拟机的建议。
否则,请选择标准。
例如,选择标准(默认)。
为此作业选择位置:
在区域字段中,选择一个区域。
例如,选择
us-central1 (Iowa)(默认)。在可用区字段中,执行以下操作之一:
如果您希望限制此作业仅在特定可用区中运行,请选择一个可用区。
否则,请选择不限。
例如,选择任意(默认)。
在机器类型配置部分中,为此作业的虚拟机配置机器类型:
如需指定一种机器类型,请选择固定机器类型(默认)。
选择以下机器系列之一:
对于常见工作负载,请点击通用。
对于需要高性能的工作负载,请点击计算优化。
对于内存密集型工作负载,请点击内存优化。
对于加速器优化型工作负载,请点击 GPU。如需了解详情,请参阅创建和运行使用 GPU 的作业。
例如,点击通用(默认)。
在系列字段中,为此作业的虚拟机选择机器系列。
例如,如果您为机器系列选择了通用,请选择 E2(默认)。
在机器类型字段中,为此作业的虚拟机选择机器类型。
例如,如果您为机器系列选择了 E2,请选择 e2-medium(2 个 vCPU、4 GB 内存)(默认)。
在任务资源部分中,配置每项任务所需的虚拟机资源量:
在核心数字段中,输入每个任务的 vCPUs 数量。
例如,输入
1(默认值)。在内存字段中,输入每个任务的 RAM 量(以 GB 为单位)。
例如,输入
0.5(默认值)。
可选:如需查看作业配置,请在左侧窗格中点击预览。
点击创建。
作业详情页面会显示您创建的作业。
gcloud
如需使用 gcloud CLI 创建基本容器作业,请执行以下操作:
创建一个 JSON 文件,用于指定作业的配置详细信息。例如,如需创建基本容器作业,请创建一个包含以下内容的 JSON 文件。如需详细了解您可以为作业指定的所有字段,请参阅
projects.locations.jobsREST 资源的参考文档。{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { CONTAINER } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }替换以下内容:
CONTAINER:每个任务运行的容器。容器至少必须在imageUri子字段中指定映像,但也可能需要其他子字段。如需了解详情,请参阅本部分中的container子字段和示例容器作业。CORES:可选。要为每项任务分配的核心数量(具体而言,是 vCPUs,通常代表半个物理核心),以毫 CPU 为单位。如果未指定cpuMilli字段,则该值会设置为2000(2 个 vCPU)。MEMORY:可选。要为每个任务分配的内存量(以 MB 为单位)。如果未指定memoryMib字段,则该值会设置为2000(2 GB)。MAX_RETRY_COUNT:可选。任务重试次数上限。该值必须是介于0到10之间的整数。如果未指定maxRetryCount字段,则该值会设置为0,这意味着不重试任务。如需详细了解maxRetryCount字段,请参阅自动重试任务。MAX_RUN_DURATION:可选。任务在重试或失败之前允许运行的最长时间,格式为以秒为单位的值,后跟s,例如3600s表示 1 小时。如果未指定maxRunDuration字段,则该值会设置为作业的最长运行时间。如需详细了解maxRunDuration字段,请参阅使用超时限制任务和可运行对象的运行时间。TASK_COUNT:可选。作业的任务数量。该值必须是介于1和每个任务组的任务数上限之间的整数。如果未指定taskCount字段,则该值会设置为1。PARALLELISM:可选。作业并发运行的任务数。该数字不能大于任务数,且必须是介于1与每个作业的并行任务数上限之间的整数。如果未指定parallelism字段,则该值将设置为1。
使用
gcloud batch jobs submit命令创建作业。gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE替换以下内容:
JOB_NAME:作业的名称。LOCATION:作业的位置。JSON_CONFIGURATION_FILE:包含作业配置详情的 JSON 文件的路径。
例如,如需创建使用 busybox Docker 容器映像运行任务的作业,请运行以下命令:
在当前目录中创建一个名为
hello-world-container.json的 JSON 文件,其中包含以下内容:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { "imageUri": "gcr.io/google-containers/busybox", "entrypoint": "/bin/sh", "commands": [ "-c", "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." ] } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }运行以下命令:
gcloud batch jobs submit example-container-job \ --location us-central1 \ --config hello-world-container.json
API
如需使用 Batch API 创建基本容器作业,请使用 jobs.create 方法。如需详细了解您可以为作业指定的所有字段,请参阅 projects.locations.jobs REST 资源的参考文档。
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
CONTAINER
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
替换以下内容:
PROJECT_ID:项目的项目 ID。LOCATION:作业的位置。JOB_NAME:作业的名称。CONTAINER:每个任务运行的容器。容器至少必须在imageUri子字段中指定映像,但也可能需要其他子字段。如需了解详情,请参阅本部分中的container子字段和示例容器作业。CORES:可选。要为每项任务分配的核心数量(具体而言,是 vCPUs,通常代表半个物理核心),以毫 CPU 为单位。如果未指定cpuMilli字段,则该值会设置为2000(2 个 vCPU)。MEMORY:可选。要为每个任务分配的内存量(以 MB 为单位)。如果未指定memoryMib字段,则该值会设置为2000(2 GB)。MAX_RETRY_COUNT:可选。任务重试次数上限。该值必须是介于0到10之间的整数。如果未指定maxRetryCount字段,则该值会设置为0,这意味着不重试任务。如需详细了解maxRetryCount字段,请参阅自动重试任务。MAX_RUN_DURATION:可选。任务在重试或失败之前允许运行的最长时间,格式为以秒为单位的值,后跟s,例如3600s表示 1 小时。如果未指定maxRunDuration字段,则该值将设置为作业的最长运行时间。如需详细了解maxRunDuration字段,请参阅使用超时限制任务和可运行对象的运行时间。TASK_COUNT:可选。作业的任务数,必须是介于1与每个任务组的任务数上限之间的整数。如果未指定taskCount字段,则该值将设置为1。PARALLELISM:可选。作业并发运行的任务数。该数字不能大于任务数,并且必须是介于1与每个作业的并行任务数上限之间的整数。如果未指定parallelism字段,则该值将设置为1。
例如,如需创建使用 busybox Docker 容器映像运行任务的作业,请使用以下请求:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-container-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
"imageUri": "gcr.io/google-containers/busybox",
"entrypoint": "/bin/sh",
"commands": [
"-c",
"echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
]
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
其中,PROJECT_ID 是项目的项目 ID。
Go
Go
如需了解详情,请参阅 Batch Go API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
Java
Java
如需了解详情,请参阅 Batch Java API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
Node.js
如需了解详情,请参阅 Batch Node.js API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
Python
Python
如需了解详情,请参阅 Batch Python API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
C++
C++
如需了解详情,请参阅 Batch C++ API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
创建基本脚本作业
您可以使用 Google Cloud 控制台、gcloud CLI、Batch API、Go、Java、Node.js、Python 或 C++ 创建基本脚本作业。
控制台
如需使用 Google Cloud 控制台创建基本脚本作业,请执行以下操作:
在 Google Cloud 控制台中,前往作业列表页面。
点击 创建。 创建批量作业页面随即打开。在左侧窗格中,选择作业详情页面。
配置作业详情页面:
可选:在作业名称字段中,自定义作业名称。
例如,输入
example-basic-job。配置任务详情部分:
在新建可运行对象窗口中,添加至少一个脚本或容器,以便此作业运行。
例如,如需添加一个脚本,请执行以下操作:
选择脚本。系统会显示一个字段。
在该字段中,输入要为此作业中的每个任务运行的脚本。
例如,输入以下脚本:
echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.点击完成。
在任务数字段中,输入此作业的任务数。该值必须是介于
1和每个任务组的任务数上限之间的整数。例如,输入
4。在并行性字段中,输入要并发运行的任务数。该数字不能大于任务总数,并且必须是介于
1与每个作业的并行任务数上限之间的整数。例如,输入
2。
配置资源规范页面:
在左侧窗格中,点击资源规范。 系统会打开资源规范页面。
在虚拟机预配模型部分中,为此作业的虚拟机选择以下预配模型选项之一:
如果您的作业可以承受抢占,并且您希望使用折扣虚拟机,请选择 Spot。详细了解针对 Spot 虚拟机的建议。
否则,请选择标准。
例如,选择标准(默认)。
为此作业选择位置:
在区域字段中,选择一个区域。
例如,选择
us-central1 (Iowa)(默认)。在可用区字段中,执行以下操作之一:
如果您希望限制此作业仅在特定可用区中运行,请选择一个可用区。
否则,请选择不限。
例如,选择任意(默认)。
在机器类型配置部分中,为此作业的虚拟机配置机器类型:
如需指定一种机器类型,请选择固定机器类型(默认)。
选择以下机器系列之一:
对于常见工作负载,请点击通用。
对于需要高性能的工作负载,请点击计算优化。
对于内存密集型工作负载,请点击内存优化。
对于加速器优化型工作负载,请点击 GPU。如需了解详情,请参阅创建和运行使用 GPU 的作业。
例如,点击通用(默认)。
在系列字段中,为此作业的虚拟机选择机器系列。
例如,如果您为机器系列选择了通用,请选择 E2(默认)。
在机器类型字段中,为此作业的虚拟机选择机器类型。
例如,如果您为机器系列选择了 E2,请选择 e2-medium(2 个 vCPU、4 GB 内存)(默认)。
在任务资源部分中,配置每项任务所需的虚拟机资源量:
在核心数字段中,输入每个任务的 vCPUs 数量。
例如,输入
1(默认值)。在内存字段中,输入每个任务的 RAM 量(以 GB 为单位)。
例如,输入
0.5(默认值)。
可选:如需查看作业配置,请在左侧窗格中点击预览。
点击创建。
作业详情页面会显示您创建的作业。
gcloud
如需使用 gcloud CLI 创建基本脚本作业,请执行以下操作:
创建一个 JSON 文件,用于指定作业的配置详细信息。例如,如需创建基本脚本作业,请创建一个包含以下内容的 JSON 文件。如需详细了解您可以为作业指定的所有字段,请参阅
projects.locations.jobsREST 资源的参考文档。{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { SCRIPT } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }替换以下内容:
SCRIPT:每个任务运行的脚本。脚本必须使用text子字段定义为文本,或使用path子字段定义为可访问文件的路径。如需了解详情,请参阅script子字段和本部分中的示例脚本作业。CORES:可选。要为每项任务分配的核心数量(具体而言,是 vCPUs,通常代表半个物理核心),以毫 CPU 为单位。如果未指定cpuMilli字段,则该值会设置为2000(2 个 vCPU)。MEMORY:可选。要为每个任务分配的内存量(以 MB 为单位)。如果未指定memoryMib字段,则该值会设置为2000(2 GB)。MAX_RETRY_COUNT:可选。任务重试次数上限。该值必须是介于0到10之间的整数。如果未指定maxRetryCount字段,则该值会设置为0,这意味着不重试任务。如需详细了解maxRetryCount字段,请参阅自动重试任务。MAX_RUN_DURATION:可选。任务在重试或失败之前允许运行的最长时间,格式为以秒为单位的值,后跟s,例如3600s表示 1 小时。如果未指定maxRunDuration字段,则该值会设置为作业的最长运行时间。如需详细了解maxRunDuration字段,请参阅使用超时限制任务和可运行对象的运行时间。TASK_COUNT:可选。作业的任务数量。该值必须是介于1和每个任务组的任务数上限之间的整数。如果未指定taskCount字段,则该值会设置为1。PARALLELISM:可选。作业并发运行的任务数。该数字不能大于任务数,且必须是介于1与每个作业的并行任务数上限之间的整数。如果未指定parallelism字段,则该值将设置为1。
使用
gcloud batch jobs submit命令创建作业。gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE替换以下内容:
JOB_NAME:作业的名称。LOCATION:作业的位置。JSON_CONFIGURATION_FILE:包含作业配置详情的 JSON 文件的路径。
例如,如需创建使用脚本运行任务的作业,请执行以下操作:
在当前目录中创建一个名为
hello-world-script.json的 JSON 文件,其中包含以下内容:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }运行以下命令:
gcloud batch jobs submit example-script-job \ --location us-central1 \ --config hello-world-script.json
API
如需使用 Batch API 创建基本脚本作业,请使用 jobs.create 方法。如需详细了解您可以为作业指定的所有字段,请参阅 projects.locations.jobs REST 资源的参考文档。
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
SCRIPT
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
替换以下内容:
PROJECT_ID:项目的项目 ID。LOCATION:作业的位置。JOB_NAME:作业的名称。SCRIPT:每个任务运行的脚本。脚本必须使用text子字段定义为文本,或使用path子字段定义为可访问文件的路径。如需了解详情,请参阅script子字段和本部分中的示例脚本作业。CORES:可选。要为每项任务分配的核心数量(具体而言,是 vCPUs,通常代表半个物理核心),以毫 CPU 为单位。如果未指定cpuMilli字段,则该值会设置为2000(2 个 vCPU)。MEMORY:可选。要为每个任务分配的内存量(以 MB 为单位)。如果未指定memoryMib字段,则该值会设置为2000(2 GB)。MAX_RETRY_COUNT:可选。任务重试次数上限。该值必须是介于0到10之间的整数。如果未指定maxRetryCount字段,则该值会设置为0,这意味着不重试任务。如需详细了解maxRetryCount字段,请参阅自动重试任务。MAX_RUN_DURATION:可选。任务在重试或失败之前允许运行的最长时间,格式为以秒为单位的值,后跟s,例如3600s表示 1 小时。如果未指定maxRunDuration字段,则该值将设置为作业的最长运行时间。如需详细了解maxRunDuration字段,请参阅使用超时限制任务和可运行对象的运行时间。TASK_COUNT:可选。作业的任务数。该值必须是介于1和每个任务组的任务数上限之间的整数。如果未指定taskCount字段,则该值将设置为1。PARALLELISM:可选。作业并发运行的任务数。该数字不能大于任务数,并且必须是介于1与每个作业的并行任务数上限之间的整数。如果未指定parallelism字段,则该值将设置为1。
例如,如需创建使用脚本运行任务的作业,请使用以下请求:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-script-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
其中,PROJECT_ID 是项目的项目 ID。
Go
Go
如需了解详情,请参阅 Batch Go API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
Java
Java
如需了解详情,请参阅 Batch Java API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
Node.js
如需了解详情,请参阅 Batch Node.js API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
Python
Python
如需了解详情,请参阅 Batch Python API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
C++
C++
如需了解详情,请参阅 Batch C++ API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
使用环境变量
在编写希望作业运行的容器映像或脚本时,请使用环境变量。您可以使用为所有批量作业预定义的所有环境变量,以及您在创建作业时定义的任何自定义环境变量。
使用预定义的环境变量
默认情况下,作业中的可运行对象可以使用以下预定义环境变量:
BATCH_TASK_COUNT:此任务组中的任务总数。BATCH_TASK_INDEX:此任务在任务组中的索引编号。第一个任务的索引为0,每增加一个任务,索引就会递增。BATCH_HOSTS_FILE:列出此任务组中所有正在运行的虚拟机实例的文件的路径。如需使用此环境变量,必须将requireHostsFile字段设置为true。BATCH_TASK_RETRY_ATTEMPT:此任务已经尝试的次数。在任务的第一次尝试期间,该值为0,并在每次后续重试时递增。任务允许的总重试次数由maxRetryCount字段的值决定,如果未定义,则为0。如需详细了解重试,请参阅自动执行任务重试。
如需查看如何使用预定义环境变量的示例,请参阅本文档中创建基本作业中的先前示例可运行项。
定义和使用自定义环境变量
(可选)您可以在作业中定义一个或多个自定义环境变量。
您需要根据所需的数据范围,在特定环境中定义每个变量:
对于所有任务都具有相同值的变量,请使用以下选项之一:
如果变量对所有可运行对象具有相同的值,请使用所有可运行对象的环境(
taskSpec的environment子字段)。否则,如果变量具有所有可运行对象的单独值,请使用一个或多个特定可运行对象的环境(
runnables[]的environment子字段)。
否则,对于每个任务具有单独值的数组变量,请使用所有任务的环境 (
taskEnvironment)。
在所选环境中,您可以使用以下环境子字段之一来定义每个变量的名称和值:
如需直接在作业配置 JSON 文件中定义变量,请使用标准变量 (
variables) 子字段,如本部分所示。对于您不想加密的数据,建议使用此选项。如需使用加密数据定义变量,您可以使用 Secret Manager 或 Cloud Key Management Service:
如需使用现有 Secret Manager 密文的加密内容,请使用密文变量 (
secretVariables) 子字段。如需详细了解如何在作业中使用 Secret,请参阅使用 Secret Manager 保护敏感数据。如需使用现有 Cloud Key Management Service 密钥的加密内容,请使用加密变量 (
encryptedVariables) 子字段。如需详细了解 Cloud KMS 密钥,请参阅 Cloud Key Management Service 文档。
您可以使用 gcloud CLI 或 Batch API 为作业定义和使用自定义环境变量。以下示例说明了如何创建两个定义和使用标准变量的作业。 第一个示例作业有一个针对特定可运行对象的变量。 第二个示例作业有一个数组变量,该变量对于每个任务都有不同的值。
gcloud
如果您想定义一个作业,该作业将环境变量传递给每个任务运行的可运行对象,请参阅为可运行对象定义和使用环境变量示例。否则,如果您想定义一个作业,该作业根据任务索引将环境变量列表传递给不同的任务,请参阅为每个任务定义和使用环境变量的示例。
为可运行对象定义和使用环境变量
如需使用 gcloud CLI 创建一个将环境变量传递给可运行对象的作业,请使用 gcloud batch jobs submit 命令,并在作业的配置文件中指定环境变量。
例如,如需创建一个脚本作业,该作业定义一个环境变量并将其传递给 3 个任务的脚本,请发出以下请求:
在当前目录中创建一个名为
hello-world-environment-variables.json的 JSON 文件,其中包含以下内容:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, "environment": { "variables": { "VARIABLE_NAME": "VARIABLE_VALUE" } } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "parallelism": 1 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }替换以下内容:
运行以下命令:
gcloud batch jobs submit example-environment-variables-job \ --location us-central1 \ --config hello-world-environment-variables.json
为每个任务定义和使用环境变量
如需使用 gcloud CLI 创建一个根据任务索引将环境变量传递给任务的作业,请使用 gcloud batch jobs submit 命令,并在作业的配置文件中指定 taskEnvironments 数组字段。
例如,如需创建一个作业,其中包含一个由 3 个环境变量组成的数组,这些环境变量具有匹配的名称和不同的值,并将这些环境变量传递给索引与数组中环境变量索引匹配的任务脚本,请运行以下命令:
在当前目录中创建一个名为
hello-world-task-environment-variables.json的 JSON 文件,其中包含以下内容:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "taskEnvironments": [ { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2" } } ] } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }替换以下内容:
运行以下命令:
gcloud batch jobs submit example-task-environment-variables-job \ --location us-central1 \ --config hello-world-task-environment-variables.json
API
如果您想定义一个作业,该作业将环境变量传递给每个任务运行的可运行对象,请参阅为可运行对象定义和使用环境变量示例。否则,如果您想定义一个作业,该作业根据任务索引将环境变量列表传递给不同的任务,请参阅为每个任务定义和使用环境变量的示例。
为可运行对象定义和使用环境变量
如需使用 Batch API 创建将环境变量传递给可运行对象的作业,请使用 gcloud batch jobs submit 命令并在 environment 字段中指定环境变量。
例如,如需创建一个包含环境变量并将其传递给 3 个任务的脚本的作业,请发出以下请求:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
"environment": {
"variables": {
"VARIABLE_NAME": "VARIABLE_VALUE"
}
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"parallelism": 1
}
],
"allocationPolicy": {
"instances": [
{
"policy": {
"machineType": "e2-standard-4"
}
}
]
}
}
替换以下内容:
为每个任务定义和使用环境变量
如需使用 Batch API 创建一个根据任务索引将环境变量传递给任务的作业,请使用 jobs.create 方法,并在 taskEnvironments 数组字段中指定环境变量。
例如,如需创建一个作业,其中包含一个由 3 个环境变量组成的数组,这些环境变量具有匹配的名称和不同的值,并根据索引将环境变量传递给 3 个任务的脚本,请发出以下请求:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-task-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"taskEnvironments": [
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2"
}
}
]
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
}
}
替换以下内容: