借助 Model Garden,您可以自行部署开放模型。自行部署的模型不是无服务器模型。您必须先将其部署在 Gemini Enterprise Agent Platform 上,然后才能使用。这些模型会安全地部署在您的 Google Cloud 项目和 VPC 网络中。如需详细了解自行部署的模型,请参阅“自行部署的模型”文档。
如需了解如何部署合作伙伴模型,请参阅从 Model Garden 部署合作伙伴模型。
可自行部署的开放模型
Model Garden 中的开放模型可能同时以托管式 API (MaaS) 和可自行部署的模型两种形式提供。如果给定模型同时提供这两种服务,则托管式 API 的模型卡片名称中将包含 API 服务字样,而可自行部署的模型则不会包含。
列出模型
如需获取可自行部署的开放模型列表,请执行以下操作:
前往 Model Garden。
在功能过滤条件中,选择开放模型和一键部署。
部署模型
确定要部署的开放模型后,您可以使用一键式部署功能将该模型部署到 Gemini Enterprise Agent Platform 端点。您可以使用 Google Cloud 控制台或 Agent Platform SDK for Python 执行一键部署。
控制台
如需在 Google Cloud 控制台中部署模型,请执行以下操作:
前往 Model Garden。
找到并点击要使用的模型的模型卡片。
点击部署模型。
根据提供的说明配置您的部署。
点击部署。
Python
以下示例展示了如何使用 Agent Platform SDK for Python 部署模型。
import agentplatform
from agentplatform import types
client = agentplatform.Client(project="PROJECT_ID", location="us-central1")
response = client.model_garden.deploy_publisher_model(
model="meta/llama3-3@llama-3.3-70b-instruct",
config=types.DeployPublisherModelConfig(
accept_eula=True,
machine_type="g4-standard-96",
accelerator_type="NVIDIA_RTX_PRO_6000",
accelerator_count=2,
serving_container_image_uri="us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20251205_0916_RC01",
endpoint_display_name="llama-3-3-70b-instruct-mg-one-click-deploy",
model_display_name="llama-3-3-70b-instruct",
),
)
print(f"Model deployed to endpoint: {response.endpoint}")
机器类型、加速器和容器映像必须来自同一经过验证的部署选项。如需列出模型的选项,请调用 client.model_garden.list_publisher_model_deploy_options(model="MODEL_ID")。
默认情况下,模型通过专用端点提供。如需改为通过共享区域级 DNS 提供服务,请设置 dedicated_endpoint_disabled=True。
部署具有自定义权重的模型
借助 Model Garden,您可以从 Cloud Storage 存储桶部署具有自定义权重的受支持模型。如需详细了解如何部署具有自定义权重的模型,请参阅部署具有自定义权重的模型。 您可以使用 Google Cloud 控制台、Google Cloud CLI、Agent Platform API 或 Agent Platform SDK for Python 部署自定义权重。