创建预测集群

预览版： 在线预测是一项预览版功能 按原样提供，不建议用于生产环境。 Google 不为预览版功能提供服务等级协议 (SLA) 或技术支持 承诺。如需了解详情，请参阅 GDC 的 功能阶段。

您必须将预测自定义资源部署在基础架构运维人员 (IO) 为您创建的预测集群中。运维人员会在同一集群中创建预测工作负载。

如需创建预测集群，请与 IO 协作，将您的预测项目相关联，并在 Google Distributed Cloud (GDC) 气隙环境中分配在线预测所需的节点池。

重要提示： 每个组织中只能存在一个预测集群。不过，IO 可以将多个项目关联到集群，以 分离和整理端点。

如需创建预测集群，请执行以下步骤：

1. 确定组织中要与新集群关联以进行在线预测的项目。

   如需创建项目，请参阅 为 Vertex AI 设置项目。 进行 API 调用时，您需要项目 ID。

2. 从 Distributed Cloud 中可用的机器类型列表中，为集群中工作负载所需的节点选择机器类型。

   您选择的机器类型取决于预测模型的大小和复杂性，并决定 IO 为集群提供的计算和图形处理单元 (GPU) 资源。 为节点选择机器类型时，请遵循节点选择建议 。

3. 使用预测集群工单模板向 IO 发送电子邮件，以 打开工单并向其提出创建集群的请求。

4. 如有必要，请与 IO 沟通，直到他们完成创建与您的项目关联的预测集群，并在集群中分配适当的节点池。

集群配置完成后，预测集群即可用于在线预测。

节点选择建议

当 IO 在集群中创建节点池时，他们会分配 Distributed Cloud 中提供的 机器类型 之一，以便为 工作器节点提供预定义的资源集。根据模型的大小和复杂性，您需要不同的计算性能，因此需要特定数量的 CPU、内存和 GPU。如果您想创建预测集群，则必须在与 IO 的沟通中提供这些详细信息。

重要提示： Distributed Cloud 在集群中使用虚拟化 GPU，这意味着对于您请求的每个加速器数量，您将获得七分之一的 GPU。例如，如果您在资源池中请求的加速器数量为 3 ，则您将获得七分之三的 GPU。

当您与 IO 确定预测集群中所需的节点池的机器类型时，必须遵循以下做法：

• Distributed Cloud 会为强制性系统组件向节点添加计算开销。因此，您必须为节点池选择比您打算在模型资源池中使用的机器类型更大的机器类型 。
• 选择提供满足您要求的最低内存和计算资源的解决方案。例如，如果您的模型需要 8 个 vCPU，请选择 n2-highcpu-8-gdc 机器类型，这是 Distributed Cloud 中具有 8 个 vCPU 和 8 GB 内存的最小解决方案。
• 随着您的进展，只有当较小的解决方案不足以满足您的需求以及模型的大小和复杂性时，才考虑性能更高的解决方案。务必遵循最小权限原则，仅使用执行特定工作流所需的资源。这种负责任的方法可确保在 Distributed Cloud 环境中谨慎使用资源。
• 仅当您的模型需要 GPU 时，才选择具有 GPU 的解决方案。
• 如果您的模型需要 GPU，请考虑 a2-highgpu-1g-gdc 机器类型，这是提供 GPU 的最小解决方案。

预测集群工单模板

使用以下模板向 IO 发送电子邮件。该电子邮件会打开一个工单，以创建在线预测所需的预测集群。

Good day,

I need to create a prediction cluster and associate it with a project in my organization to use online predictions.

Please use the following information for the creation of the cluster:

- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]

**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster

Thank you,
[Your name]