从 Model Garden 部署开放模型

借助 Model Garden,您可以自行部署开放模型。自行部署的模型不是无服务器模型。您必须先将其部署在 Gemini Enterprise Agent Platform 上,然后才能使用。这些模型会安全地部署在您的 Google Cloud 项目和 VPC 网络中。如需详细了解自行部署的模型,请参阅“自行部署的模型”文档。

如需了解如何部署合作伙伴模型,请参阅从 Model Garden 部署合作伙伴模型。

可自行部署的开放模型

Model Garden 中的开放模型可能同时以托管式 API (MaaS) 和可自行部署的模型两种形式提供。如果给定模型同时提供这两种服务,则托管式 API 的模型卡片名称中将包含 API 服务字样,而可自行部署的模型则不会包含。

列出模型

如需获取可自行部署的开放模型列表,请执行以下操作:

  1. 前往 Model Garden。

    前往 Model Garden

  2. 在功能过滤条件中,选择开放模型和一键部署。

部署模型

确定要部署的开放模型后,您可以使用一键式部署功能将该模型部署到 Gemini Enterprise Agent Platform 端点。您可以使用 Google Cloud 控制台或 Agent Platform SDK for Python 执行一键部署。

控制台

如需在 Google Cloud 控制台中部署模型,请执行以下操作:

  1. 前往 Model Garden。

    前往 Model Garden

  2. 找到并点击要使用的模型的模型卡片。

  3. 点击部署模型。

  4. 根据提供的说明配置您的部署。

  5. 点击部署。

Python

以下示例展示了如何使用 Agent Platform SDK for Python 部署模型。

import agentplatform
from agentplatform import types

client = agentplatform.Client(project="PROJECT_ID", location="us-central1")

response = client.model_garden.deploy_publisher_model(
  model="meta/llama3-3@llama-3.3-70b-instruct",
  config=types.DeployPublisherModelConfig(
    accept_eula=True,
    machine_type="g4-standard-96",
    accelerator_type="NVIDIA_RTX_PRO_6000",
    accelerator_count=2,
    serving_container_image_uri="us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20251205_0916_RC01",
    endpoint_display_name="llama-3-3-70b-instruct-mg-one-click-deploy",
    model_display_name="llama-3-3-70b-instruct",
  ),
)
print(f"Model deployed to endpoint: {response.endpoint}")

机器类型、加速器和容器映像必须来自同一经过验证的部署选项。如需列出模型的选项,请调用 client.model_garden.list_publisher_model_deploy_options(model="MODEL_ID")。

默认情况下,模型通过专用端点提供。如需改为通过共享区域级 DNS 提供服务,请设置 dedicated_endpoint_disabled=True。

部署具有自定义权重的模型

借助 Model Garden,您可以从 Cloud Storage 存储桶部署具有自定义权重的受支持模型。如需详细了解如何部署具有自定义权重的模型,请参阅部署具有自定义权重的模型。 您可以使用 Google Cloud 控制台、Google Cloud CLI、Agent Platform API 或 Agent Platform SDK for Python 部署自定义权重。

后续步骤