本文档介绍了如何创建和运行使用实例灵活性的批量作业。借助实例灵活性,您可以允许作业在您指定并可选择排名的多种机器类型上运行。
通过允许为作业使用更多机器类型,您可以使用实例灵活性来提高可获取性,即可用于运行作业的资源的可用概率。如需详细了解如何选择要用于工作负载的可获取性功能,请参阅提高资源可获取性。例如,使用实例灵活性可以帮助您执行以下操作:
准备工作
- 如果您之前未使用过 Batch,请参阅 Batch 使用入门,并通过完成项目和用户的前提条件来启用 Batch。
-
如需获得创建作业所需的权限,请让您的管理员为您授予以下 IAM 角色:
- 项目的 批量作业编辑器 (
roles/batch.jobsEditor) - 作业的服务账号(默认情况下为默认 Compute Engine 服务账号)的 Service Account User (
roles/iam.serviceAccountUser)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
- 项目的 批量作业编辑器 (
限制
当作业使用实例灵活性时,以下所有限制均适用:
可获取性改进会随着您允许作业使用的机器类型数量的增加而增加。
作业无法指定
FLEX_START预配模型或RESERVATION_BOUND预配模型。作业无法使用明确定向预留。(
reservation字段必须未定义或设置为NO_RESERVATION。)明确定向预留包括
RESERVATION_BOUND预配模型的所有预留以及STANDARD预配模型的部分预留。这些功能本质上不兼容,因为只有预留的机器类型才能成功创建实例。每个作业最多可以有 50 个实例选择。
作业中的每个实例选择都必须具有唯一的名称、唯一的等级以及一个或多个唯一的机器类型。
机器类型不能重复;每个作业的每个实例选择中只能包含一种机器类型。
每个作业在其选择的实例中最多可以有 200 种不同的机器类型。
虽然在同一实例选择中指定多种机器类型是可选的,但如果您希望资源具有更高的可获取性,则必须指定多种机器类型。
- 仅当某个排名的实例选择具有多种机器类型时,Batch 才会尝试选择一种或多种具有最高可获取性的机器类型。例如,如果您希望作业具有不太可能被抢占的 Spot 虚拟机,或者希望作业具有更多可并行运行任务的实例,则此选择非常重要。
- 否则,如果某个排名的实例选择仅包含一种机器类型,则实例灵活性仅有助于防止资源可用性错误。
该作业不能包含
machineType字段,并且该作业指定的任何实例模板的机器类型都会被忽略。您必须验证为作业指定的每个属性都与每种允许的机器类型兼容。否则,作业可能会在提交后失败,因为它无法创建实例。例如,我们建议您验证作业的至少以下属性是否与所有机器类型兼容:
- 位置(如果已指定,则为
allowedLocations[]字段;否则为location) - 每个任务的计算资源(
computeResource字段) - 磁盘和映像(
volumes[]字段、disk[]字段和bootDisk字段) - 网络(
network字段) 所有其他实例属性(
instances[]子字段):- 满足最低要求的 CPU 平台(
minCpuPlatform字段) - 预配模型(
provisioningModel字段) - GPU(
accelerators[]字段)
- 满足最低要求的 CPU 平台(
- 位置(如果已指定,则为
您无法为批量作业替换磁盘和最低要求的 CPU 平台。所有机器类型都会使用您指定的值(在
policy子字段或实例模板中),或者如果未指定,则使用优先级最高的实例选择中的机器类型的默认值。因此,我们建议您执行以下所有操作:验证启动磁盘类型是否与每种允许的机器类型兼容。简而言之,第 4 代及更高版本的机器类型不支持永久性磁盘,第 2 代及更早版本的机器类型不支持 Hyperdisk,第 3 代及更早版本的机器类型默认使用永久性启动磁盘。
除非您已验证每种允许的机器类型都支持满足最低要求的 CPU 平台或可选磁盘,否则请勿指定这些平台或磁盘。
如需创建允许使用多种 GPU 机器类型的作业,您必须使用 Google Cloud CLI 或 Batch API。
如果您允许作业使用具有部分 GPU 的机器类型(例如,
g4-standard-6具有 1/8 个 GPU)和具有完整 GPU 的机器类型(大多数 GPU 机器类型),则作业必须手动安装 GPU 驱动程序。
创建允许使用多种机器类型的作业
如需创建允许使用多种机器类型的作业,请选择以下方法之一。
控制台
如需使用 Google Cloud 控制台创建使用多种机器类型的作业,请完成以下步骤:
在 Google Cloud 控制台中,前往作业列表页面。
点击 创建。 创建批量作业页面随即打开。在左侧窗格中,选择作业详情页面。
按如下方式配置作业以使用多种机器类型:
在左侧窗格中,点击资源规范。资源规范页面随即打开。
对于机器类型配置,选择灵活的机器类型。系统会显示选择部分。
点击 添加所选内容。 系统会打开实例选择窗格。
在新建实例选择部分中,按如下方式配置实例选择:
可选:在名称字段中,输入一个唯一名称。
在排名字段中,输入一个唯一的排名。排名是一个大于或等于零的整数,表示此实例选择的优先级,其中值越低,优先级越高。
如需向此实例选择添加机器类型,请完成以下步骤:
点击 添加机器类型。添加机器类型窗格随即打开。
在系列部分,选择机器系列。
在机器类型字段中,选择机器类型。每个作业中,每种机器类型只能包含在一个实例选择中。
点击完成。添加机器类型窗格会关闭。
可选:对于要添加到此实例选择(此排名)的每台其他机器,请重复上一步。
可选:对于要添加到此作业的每个其他实例选择(其他排名),请点击添加实例选择。然后,重复上一步。
点击完成。实例选择窗格会关闭。
为作业指定其他配置选项。如需了解详情,请参阅作业创建选项。
如需创建并提交作业,请点击创建。
作业详情页面会显示您创建的作业。
gcloud
如需在使用 Google Cloud CLI 创建作业时配置多种机器类型,请完成以下步骤:
在指定作业配置详细信息的 JSON 文件中,将
instanceFlexibilityPolicy字段和子字段包含在allocationPolicy字段中。instanceFlexibilityPolicy字段支持一个或多个实例选择,每个实例选择都有一个唯一的名称、一个唯一的排名以及一个包含一个或多个机器类型的列表。"allocationPolicy":{ "instanceFlexibilityPolicy":{ "instanceSelections":{ "INSTANCE_SELECTION_NAME":{ "rank": RANK, "machineTypes": [MACHINE_TYPES] } } } }替换以下内容:
INSTANCE_SELECTION_NAME:实例选择的名称。如果作业有多个实例选择,请确保此作业中的每个名称都是唯一的。RANK(可选):一个大于或等于零的整数,表示此实例选择的优先级,其中值越低,优先级越高。如果未指定,则默认值为0(最高优先级)。如果作业有多个实例选择,请确保此作业中的每个排名都是唯一的。MACHINE_TYPES:此实例选择的一个或多个机器类型(以字符串形式写入)的英文逗号分隔列表。每个作业的每个实例选择中只能包含一种机器类型。例如,包含三种机器类型的列表可以编写如下:"MACHINE_TYPE_1", "MACHINE_TYPE_2", "MACHINE_TYPE_3"将
MACHINE_TYPE_1、MACHINE_TYPE_2、MACHINE_TYPE_3分别替换为机器类型,例如e2-micro、e2-small和n1-standard-2。
如需了解详情,另请参阅示例作业。
如需创建并提交作业,请使用
gcloud batch jobs submit命令。gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE替换以下内容:
JOB_NAME:作业的名称。LOCATION:作业的位置。JSON_CONFIGURATION_FILE:包含作业配置详情的 JSON 文件的路径。
REST
如需使用 Batch API 创建作业,请使用 jobs.create 方法。
如需为作业指定多种机器类型,请在 JSON 文件正文的 allocationPolicy 字段中添加 instanceFlexibilityPolicy 字段和子字段。instanceFlexibilityPolicy 字段支持一个或多个实例选择,每个实例选择都有一个唯一名称、一个唯一排名以及一个或多个机器类型的列表。
"allocationPolicy":{
"instanceFlexibilityPolicy":{
"instanceSelections":{
"INSTANCE_SELECTION_NAME":{
"rank": RANK,
"machineTypes": [MACHINE_TYPES]
}
}
}
}
替换以下内容:
INSTANCE_SELECTION_NAME:实例选择的名称。如果作业有多个实例选择,请确保此作业中的每个名称都是唯一的。RANK(可选):一个大于或等于零的整数,表示此实例选择的优先级,其中值越低,优先级越高。如果未指定,则默认值为0(最高优先级)。如果作业有多个实例选择,请确保此作业中的每个排名都是唯一的。MACHINE_TYPES:此实例选择的一个或多个机器类型(以字符串形式写入)的英文逗号分隔列表。每个作业的每个实例选择中只能包含一种机器类型。例如,包含三种机器类型的列表可以编写如下:"MACHINE_TYPE_1", "MACHINE_TYPE_2", "MACHINE_TYPE_3"将
MACHINE_TYPE_1、MACHINE_TYPE_2、MACHINE_TYPE_3分别替换为机器类型,例如e2-micro、e2-small和n1-standard-2。
如需了解详情,另请参阅示例作业。
作业 JSON 配置文件示例
例如,使用 gcloud CLI 或 Batch API 时,您可以使用以下 JSON 配置文件创建一个具有两个实例选择的基本脚本作业:
- 名为
first-choice的实例选择具有最高优先级 ("rank": 0) 和三种机器类型(e2-micro、e2-small和n1-standard-2)。 - 名为
second-choice的实例选择具有第二优先级 ("rank": 1) 和一种机器类型 (e2-medium)。
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello World! This is task $BATCH_TASK_INDEX."
}
}
]
},
"taskCount": 3
}
],
"allocationPolicy":{
"instanceFlexibilityPolicy":{
"instanceSelections":{
"first-choice":{
"rank": 0,
"machineTypes": ["e2-micro", "e2-small", "n1-standard-2"]
},
"second-choice":{
"rank": 1,
"machineTypes": ["e2-medium"]
}
}
}
}
}