紧密耦合的高性能计算 (HPC) 工作负载通常使用消息传递接口 (MPI) 来在进程和 Compute Engine 实例之间进行通信。但是,要自行构建经过调整的操作系统映像来实现最优 MPI 性能,您需要具备系统专业知识、 Google Cloud 相关知识以及额外的维护时间。如需为 HPC 工作负载快速设置优化后的环境,请使用 HPC 虚拟机映像。
HPC 虚拟机映像基于 Rocky Linux 8 或 Rocky Linux 9,并针对紧密耦合的 HPC 工作负载进行了优化。该映像包含创建在 Google Cloud上实现最佳 MPI 性能的计算实例所需的预配置内核和网络调整参数。
为获得最佳效果,请在计算优化型机器系列中的机器类型上部署 HPC 虚拟机映像。这些机器类型专为紧密耦合的 HPC 应用而设计。如需将 Cloud RDMA 与 H4D 搭配使用,您必须使用 20250917 版或更高版本的 HPC 虚拟机 Rocky 8 映像。
您可以使用创建计算实例的任何可用方法来创建 HPC 虚拟机实例。您还可以使用 SchedMD 的 Slurm 工作负载管理器来部署 HPC 集群。基于 Rocky Linux 9 的 HPC 虚拟机映像尚不支持 Slurm。
优势
HPC 虚拟机映像具有以下优势:
- 预配置为支持 HPC 工作负载的计算实例。无需手动调整性能、管理计算实例重启,也不必及时了解最新 Google Cloud 更新即可实现紧密耦合的 HPC 工作负载。
- 紧密耦合的工作负载的网络优化。可缩短简短消息的延迟时间的优化包括在内。这些优化对很大程度上依赖于点到点和 Collective 通信的应用很有利。如果使用 H4D 机器系列,HPC 虚拟机 Rocky 8 映像包含必要的 Cloud RDMA 驱动程序。
- HPC 工作负载的计算优化:可降低系统抖动的优化包括在内,使单节点高性能更容易预测。
- 一致、可重现的性能。操作系统映像标准化可提供一致、可重现的应用级性能。
- 提升应用兼容性。与 Intel HPC 平台规范的节点级要求一致,能够在系统之间实现高度互操作性。
HPC 虚拟机映像功能
HPC 虚拟机映像提供多项旨在优化高性能计算 (HPC) 工作负载性能的功能:
- 已停用自动更新
- MPI Collective 调节
- 预安装的 RPM
已停用自动更新
自动更新可能会对 HPC 工作负载的性能产生负面影响。在创建实例期间,将 google_disable_automatic_updates 元数据条目设置为 TRUE,即可停用 HPC 虚拟机映像的自动更新。在创建实例期间设置此元数据条目的方式取决于您用于创建实例的工具。
例如,使用 gcloud compute instances create 命令创建计算实例时,请提供 --metadata 实参。如需了解详情,请参阅虚拟机元数据简介。
google_disable_automatic_updates 元数据条目可按如下方式提供:
- HPC 虚拟机 Rocky 9 映像:所有版本。
- HPC 虚拟机 Rocky 8 映像:仅适用于在 2024 年 7 月 12 日或之后构建的映像。构建日期(格式为
YYYYMMDD)用作映像名称末尾的版本号。例如,2025 年 7 月 21 日构建的 HPC 虚拟机 Rocky 8 映像的名称为hpc-rocky-linux-8-v20250721。
如果您在 H4D 实例上停用了自动更新,则应定期在实例上运行 dnf update 命令,以确保 Cloud RDMA 驱动程序保持最新状态。
Intel MPI 库
Google 建议您先使用 google_install_intelmpi 脚本安装消息传递接口 (MPI) 库,然后再在Google Cloud上运行 MPI 作业。如需了解详情,请参阅使用 Intel MPI 2021。
预安装的 RPM
HPC 虚拟机映像预安装了以下 RPM 软件包:
daos-clientgcc-gfortrangcc-toolset-12Lmoddkmshtophwlochwloc-develinfiniband-diagskernel-develkmod-idpf-irdmalibfabriclibrdmacm-utilslibibverbs-utilslibXtltracenfs-utilsnumactlnumactl-develpapipciutilspdshperfperftestrdma-coreredhat-lsb-core(仅限 HPC 虚拟机 Rocky 8)redhat-lsb-cxx(仅限 HPC 虚拟机 Rocky 8)rshscreenstracewgetzsh- “开发工具”软件包组
价格
HPC 虚拟机映像无需额外付费即可使用。由于 HPC 虚拟机映像在 Compute Engine 上运行,因此 Compute Engine 资源(例如 vCPU、磁盘和内存)可能会产生费用。如需了解详情,请参阅 Compute Engine 价格。
后续步骤
- 了解如何创建支持 HPC 的实例。
- 了解适用于 HPC 工作负载的高级计算映像。
- 查看运行 HPC 工作负载的最佳实践。
- 了解如何在Google Cloud上使用 Cloud RDMA 在 H4D 虚拟机上设置和扩缩 MPI 应用。
- 了解如何创建具有增强型集群管理功能的 H4D HPC 集群。
- 如果您有反馈或需要支持,请发送电子邮件至 hpc-image-feedback@google.com。