计算配置文件指定执行流水线的方式和位置。它包含设置和删除流水线的物理执行环境所需的任何信息。计算配置文件用于指定预配工具名称以及该预配工具的配置设置。
每个计算配置文件都有一个范围:系统或用户。您可以为该命名空间下的任何命名空间使用系统计算配置文件。用户计算配置文件位于命名空间内,只有该命名空间中的流水线可以使用用户计算配置文件。计算配置文件可以分配给批处理流水线。当计算配置文件分配给流水线时,系统将使用配置文件中指定的预配工具来创建流水线将运行的集群。
例如,管理员可能会决定创建小型、中型和大型计算配置文件。他们使用在公司 Google Cloud 账号中创建和删除 Managed Service for Apache Spark 集群所需的 Google Cloud凭据来配置每个配置文件。
- 小型配置文件的配置用于创建 5 节点集群。
- 中等配置用于创建 20 节点集群。
- 大型配置文件的配置是创建 50 节点集群。
管理员将小型配置文件分配给计划每小时运行一次且处理少量数据的流水线。它们会将大型配置文件分配给每天计划运行且处理大量数据的流水线。
默认计算配置文件
默认情况下,Cloud Data Fusion 使用“自动扩缩”作为计算配置文件。估算工作负载的“集群”工作器(节点)的“适当”数量非常困难,整个流水线的单个集群大小通常不是理想之选。Apache Spark 自动扩缩托管式服务提供自动管理集群资源的机制,还启用了集群工作器虚拟机的自动扩缩功能。如需了解详情,请参阅自动扩缩。
在计算配置页面上,您可以看到配置文件列表,其中有一个总核心数列,其中包含配置文件可扩充到的最大 vCPU 数,例如 Up to 84。
系统和用户计算配置文件
计算配置文件用于指示在创建集群时使用哪个预配工具,并指定集群配置。它们还指定了创建集群时应使用的预配工具配置。
- 如需创建系统计算配置文件,请前往 Cloud Data Fusion Studio 中的系统管理员页面。此页面列出了所有系统计算配置文件,并允许您创建新的系统计算配置文件。
- 如需创建用户计算配置文件,请前往 Cloud Data Fusion Studio 中的命名空间管理页面,然后选择要在其中创建配置文件的命名空间。然后,您可以创建仅存在于该命名空间中的配置文件。
计算配置文件分配
您可以通过以下方式为批处理流水线分配计算配置文件:
- 为 Cloud Data Fusion 实例分配默认配置文件。
- 为特定命名空间分配默认配置文件。
- 为批处理流水线分配一个用于手动启动的运行的配置文件。
- 将配置文件分配给流水线时间表。
如果触发运行的调度中设置了配置,或者您手动运行流水线且该流水线分配了配置,Cloud Data Fusion 会使用该计算配置。
如果未设置任何配置文件,Cloud Data Fusion 会使用命名空间的默认配置文件。如果未为命名空间设置默认配置文件,
Cloud Data Fusion 使用系统默认配置文件。如果未设置系统默认配置文件,则使用内置配置文件。
分配默认计算配置文件
如需为 Cloud Data Fusion 命名空间或实例分配默认配置文件,请前往 Cloud Data Fusion Studio,然后依次点击系统管理员 > 配置 > 系统计算配置文件。如需选择默认配置文件,请点击配置文件名称旁边的 星标。
可选:使用偏好设置微服务设置默认配置文件
- 如需设置默认配置文件,请在 Cloud Data Fusion 实例上设置一个偏好设置,并将键设置为 system.profile.name,将值设置为
system:<profile-name>。 - 如需为命名空间设置默认配置文件,请在所选命名空间中设置偏好设置,并将键设为
system.profile.name,值设为<scope>:<profile-name>。
为手动运行分配计算配置文件
如需分配用于手动运行流水线的配置文件,请按以下步骤操作:
- 前往流水线详情页面。
- 依次点击配置 > 计算配置。
- 选择一个配置文件,然后点击保存。每当手动运行流水线时,系统都会使用所选的配置文件。
或者,您也可以使用偏好设置微服务,通过在 DataPipelineWorkflow 实体上设置键为 system.profile.name、值为 <scope>:<profile-name> 的偏好设置,来为手动运行设置个人资料。
将计算配置文件分配给时间表
每次为流水线创建时间表时,您都可以为其分配一个配置文件。 每当调度触发流水线运行时,系统都会使用该配置文件来运行流水线。对于时间安排和其他流水线触发的安排,此情况同样适用。
替换计算配置文件配置
创建配置文件时,可以通过锁定每个配置设置来使其不可变。不过,如果配置设置未锁定,则可以在运行时替换它们。如需替换配置文件配置,请按以下步骤操作:
- 在“流水线列表”页面中,选择要运行的已部署流水线。
- 在“流水线详情”页面中,点击配置。
- 选择一个计算配置,然后点击自定义。
- 更改所需设置,然后点击保存。
您可以使用运行时实参和调度属性来修改集群大小和其他设置。
- 如需替换所用的配置文件,请设置一个运行时实参,其键为
system.profile.name,值为<scope>:<profile-name>。 - 如需替换配置文件属性,请设置一个运行时实参,其键为
system.profile.properties.<property-name>,值为相应属性的值。
例如,如需将 numWorkerssetting 替换为值 10,请设置一个键为 system.profile.properties.numWorkers、值为 10 的偏好设置或运行时实参。