容量概览

AI Hypercomputer 支持多种使用选项,可帮助您获取和使用计算资源。本文档简要介绍了如何为每个使用选项获取容量。

如何获取容量

如果您希望 AI 赋能的助理评估容量获取选项和配额要求,请在 Compute Advisor 中运行以下提示:

Compute Advisor Compute Advisor 是一款 AI 赋能的助理,您可以向其发出提示,根据配额限制、现有预留和资源位置限制等信息,获取针对基础架构的自定义建议。

此提示会评估项目的配额和现有预留,比较不同使用选项的容量获取步骤,并输出一个 Markdown 表格,其中包含建议的配额和预留操作。

现在你是一名 AI 基础设施架构师。根据我项目的配额、有效预留和可用区域,帮我在 AI Hypercomputer 中获取计算容量。

请提供以下信息:

1. 项目配额和预留审核:检查我的项目在各个区域的标准和可抢占 GPU 配额以及有效预留,并确定哪些 GPU 机器系列有可用配额或有效预留,哪些需要增加配额或预留。

2. 容量获取比较:根据我的项目和虚拟机的机器系列,比较 AI Hypercomputer 中当前和可用的使用选项及其具体特征,包括支持的 GPU 层级(集群化 GPU 和通用 GPU)、所需的配额类型、交付周期和结算模式。

3. Recommended acquisition path: Recommend the best capacity acquisition path for long-running clustered GPU workloads, medium-term reserved jobs, short-lived dense jobs, and general GPU deployments.

Format the comparison as a Markdown table (with columns for Consumption Option, Supported GPUs, Required Quota, and Billing Model), provide a ready-to-use gcloud CLI command to reserve capacity or create instances, and end with 2-3 questions about my target GPU series, node count, and duration to refine the action plan.

下表介绍了如何为每个使用选项获取容量。

使用选项 获取容量的流程 价格影响
超过 90 天的未来预留(适用于容量块)

如需获取未来预留资源,流程如下:

  1. 请与您的客户支持团队联系以预留容量。 您可以单独请求计算实例。如果您的工作负载需要存储空间,您还可以为计算实例请求 Hyperdisk 池。
  2. Google 会增加您的配额,然后在您指定的日期和时间预配您请求的资源。
  3. 创建 Compute Engine 实例或集群时,请指定与预留资源匹配的预留绑定预配模型和属性。 Compute Engine 使用您的预留容量预配计算实例和集群。
无论您是否使用预留的资源,都需要为整个预留期付费。如需了解详情,请参阅预留和存储池的价格。
最长 90 天的未来预留(日历模式)

如需获取未来预留资源,流程如下:

  1. 搜索可用容量并预留资源。
  2. 您无需支付任何配额,也无需采取任何行动。
  3. 创建计算实例或集群时,您必须指定预留绑定预配模型。计算实例和集群是从预留容量中预配的。
无论您是否在整个预留期内使用预留资源,您都需要支付整个预留期的费用。如需了解详情,请参阅动态工作负载调度器价格。
灵活启动

对于此使用选项,无需预留。如需获取灵活启动资源,请按以下流程操作:

  1. 您必须为要使用的 GPU 机器类型申请可抢占配额。
  2. 使用以下任一选项创建计算实例或集群时,请指定灵活启动预配模型:

    当您请求的资源可用时,Compute Engine 会预配您的虚拟机。您的虚拟机最多可运行 7 天。

您需要为使用的资源付费。使用灵活启动预配的资源可通过动态工作负载调度器价格自动获得折扣。
按需预留

按需预留适用于受支持的通用 GPU、具有 8 个 GPU 的 A3 High 以及 A3 Mega 机器类型。如需预留容量,流程如下:

  1. 为您的机器类型申请标准 GPU 配额。如需了解详情,请参阅申请增加配额。
  2. 使用 Google Cloud 控制台、gcloud CLI 或其他方法为特定虚拟机和 GPU 类型创建按需预留。如需详细了解创建预留的所有方法,请参阅为单个项目创建预留。
  3. 通过创建实例或集群并定位到特定预留来预配资源。
整个预留期均按标准费率收费。应用 CUD 可大幅节省费用。
标准未来预留

对于此消耗选项,您需要预留未来某个日期的容量。 标准未来预留使用标准预配模型,适用于受支持的通用 GPU、具有 8 个 GPU 的 A3 High 和 A3 Mega 机器类型。

  1. 为您的机器类型申请标准 GPU 配额。如需了解详情,请参阅申请增加配额。
  2. 针对特定虚拟机和 GPU 类型创建未来预留请求。
  3. 当预留到达开始时间后,使用预留容量创建计算实例。
整个预留期均按标准费率收费。应用 CUD 可大幅节省费用。
Spot

对于此使用选项,无需预留。如需获取 Spot 资源,流程如下:

  1. 您必须为要使用的 GPU 机器类型申请可抢占配额。
  2. 查看您要在其中创建计算实例的区域或可用区中的资源可用性。
  3. 创建计算实例或集群时,请指定 Spot 预配模型。系统会在容量可用时为您预配资源,但这些资源随时可能被抢占。
您需要为使用的资源付费。Spot 虚拟机可通过 Spot 虚拟机价格自动获得折扣。
按需

对于此使用选项,预留是可选的。按需资源适用于受支持的通用 GPU、具有 8 个 GPU 的 A3 High 和 A3 Mega 机器类型。如需获取这些按需资源,请按以下流程操作:

  1. 为您要使用的机器类型申请标准 GPU 配额。 如需了解相关说明,请参阅申请增加配额。
  2. 在 Compute Engine GPU 区域和可用区可用性列表中,验证硬件在首选区域中的可用性。
  3. 创建计算实例或集群,并指定标准预配模式。Compute Engine 会根据硬件的实时可用性预配资源。
当资源处于使用状态时,系统会按标准按需费率计费。

后续步骤