Gemini Enterprise Agent Platform 上的许多开放模型都使用 Gemini Enterprise Agent Platform Chat Completions API,以 API 形式提供全代管式无服务器模型。对于这些模型,您无需预配或管理基础设施。
您可以流式传输回答,以降低最终用户对延迟时间的感知度。流式回答使用服务器发送的事件 (SSE) 来逐步流式传输回答。
本页面介绍了如何对支持 OpenAI Chat Completions API 的开放模型进行流式和非流式调用。如需了解 Llama 的特定注意事项,请参阅请求 Llama 预测。
准备工作
如需将开放模型与 Gemini Enterprise Agent Platform 搭配使用,您必须执行以下步骤。必须启用 Agent Platform API (aiplatform.googleapis.com) 和 Cloud Commerce Consumer Procurement API (cloudcommerceconsumerprocurement.googleapis.com),才能在 Gemini Enterprise Agent Platform 上使用开放模型。如果您已有启用了这些 API 的项目,则可以使用该项目,而无需创建新项目。
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Gemini Enterprise Agent Platform and Cloud Commerce Consumer Procurement APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.- 前往要使用的模型的 Model Garden 模型卡片,然后点击启用,以在项目中启用该模型。
所需的角色
如需获得启用和使用开放模型所需的权限,请让您的管理员为您授予项目的以下 IAM 角色:
- Agent Platform User (
roles/aiplatform.user) - Consumer Procurement Entitlement Manager (
roles/consumerprocurement.entitlementManager)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
如需详细了解如何为开放模型授予权限和配置组织政策,请参阅向用户授予开放模型的使用权限。
对开放模型进行流式调用
以下示例会对开放模型进行流式调用:
Python
在尝试此示例之前,请按照《Agent Platform 快速入门:使用客户端库》中的 Python 设置说明执行操作。
如需向 Agent Platform 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
在运行此示例之前,请务必设置 OPENAI_BASE_URL 环境变量。如需了解详情,请参阅身份验证和凭证。
from openai import OpenAI client = OpenAI() stream = client.chat.completions.create( model="MODEL", messages=[{"role": "ROLE", "content": "CONTENT"}], max_tokens=MAX_OUTPUT_TOKENS, stream=True, ) for chunk in stream: print(chunk.choices[0].delta.content or "", end="")
- MODEL:您要使用的模型名称,例如
openai/gpt-oss-120b-maas。 - ROLE:与消息关联的角色。您可以指定
user或assistant。第一条消息必须使用user角色。 模型使用交替的user和assistant回合运行。如果最终消息使用assistant角色,则回答内容会立即从该消息中的内容继续。您可以使用它来限制模型的部分回答。 - CONTENT:
user或assistant消息的内容(如文本)。 - MAX_OUTPUT_TOKENS:响应中可生成的词元数量上限。词元约为 4 个字符。100 个词元对应大约 60-80 个单词。
指定较低的值可获得较短的回答,指定较高的值可获得可能较长的回答。
REST
设置您的环境后,您可以使用 REST 测试文本提示词。以下示例会向发布方模型端点发送请求。
在使用任何请求数据之前,请先进行以下替换:
- PROJECT_ID:您的 Google Cloud项目 ID。
- MODEL:您要使用的模型名称,例如
openai/gpt-oss-120b-maas。 - ROLE:与消息关联的角色。您可以指定
user或assistant。第一条消息必须使用user角色。 模型使用交替的user和assistant回合运行。如果最终消息使用assistant角色,则回答内容会立即从该消息中的内容继续。您可以使用它来限制模型的部分回答。 - CONTENT:
user或assistant消息的内容(如文本)。 - MAX_OUTPUT_TOKENS:响应中可生成的词元数量上限。词元约为 4 个字符。100 个词元对应大约 60-80 个单词。
指定较低的值可获得较短的回答,指定较高的值可获得可能较长的回答。
- STREAM:一个布尔值,用于指定是否流式传输回答。流式传输您的回答,以降低对最终使用延迟的感知度。设置为
true可流式传输回答,设置为false可一次性返回所有回答。
HTTP 方法和网址:
POST https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/endpoints/openapi/chat/completions
请求 JSON 正文:
{
"model": "MODEL",
"messages": [
{
"role": "ROLE",
"content": "CONTENT"
}
],
"max_tokens": MAX_OUTPUT_TOKENS,
"stream": true
}
如需发送请求,请选择以下方式之一:
curl
将请求正文保存在名为 request.json 的文件中,然后执行以下命令:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/endpoints/openapi/chat/completions"
PowerShell
将请求正文保存在名为 request.json 的文件中,然后执行以下命令:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/endpoints/openapi/chat/completions" | Select-Object -Expand Content
您应该收到类似以下内容的 JSON 响应。
对开放模型进行非流式调用
以下示例会对开放模型进行非流式调用:
Python
在尝试此示例之前,请按照《Agent Platform 快速入门:使用客户端库》中的 Python 设置说明执行操作。
如需向 Agent Platform 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
在运行此示例之前,请务必设置 OPENAI_BASE_URL 环境变量。如需了解详情,请参阅身份验证和凭证。
from openai import OpenAI client = OpenAI() completion = client.chat.completions.create( model="MODEL", messages=[{"role": "ROLE", "content": "CONTENT"}], max_tokens=MAX_OUTPUT_TOKENS, stream=False, ) print(completion.choices[0].message)
- MODEL:您要使用的模型名称,例如
openai/gpt-oss-120b-maas。 - ROLE:与消息关联的角色。您可以指定
user或assistant。第一条消息必须使用user角色。 模型使用交替的user和assistant回合运行。如果最终消息使用assistant角色,则回答内容会立即从该消息中的内容继续。您可以使用它来限制模型的部分回答。 - CONTENT:
user或assistant消息的内容(如文本)。 - MAX_OUTPUT_TOKENS:响应中可生成的词元数量上限。词元约为 4 个字符。100 个词元对应大约 60-80 个单词。
指定较低的值可获得较短的回答,指定较高的值可获得可能较长的回答。
REST
设置您的环境后,您可以使用 REST 测试文本提示词。以下示例会向发布方模型端点发送请求。
在使用任何请求数据之前,请先进行以下替换:
- PROJECT_ID:您的 Google Cloud项目 ID。
- MODEL:您要使用的模型名称,例如
openai/gpt-oss-120b-maas。 - ROLE:与消息关联的角色。您可以指定
user或assistant。第一条消息必须使用user角色。 模型使用交替的user和assistant回合运行。如果最终消息使用assistant角色,则回答内容会立即从该消息中的内容继续。您可以使用它来限制模型的部分回答。 - CONTENT:
user或assistant消息的内容(如文本)。 - MAX_OUTPUT_TOKENS:响应中可生成的词元数量上限。词元约为 4 个字符。100 个词元对应大约 60-80 个单词。
指定较低的值可获得较短的回答,指定较高的值可获得可能较长的回答。
- STREAM:一个布尔值,用于指定是否流式传输回答。流式传输您的回答,以降低对最终使用延迟的感知度。设置为
true可流式传输回答,设置为false可一次性返回所有回答。
HTTP 方法和网址:
POST https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/endpoints/openapi/chat/completions
请求 JSON 正文:
{
"model": "MODEL",
"messages": [
{
"role": "ROLE",
"content": "CONTENT"
}
],
"max_tokens": MAX_OUTPUT_TOKENS,
"stream": false
}
如需发送请求,请选择以下方式之一:
curl
将请求正文保存在名为 request.json 的文件中,然后执行以下命令:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/endpoints/openapi/chat/completions"
PowerShell
将请求正文保存在名为 request.json 的文件中,然后执行以下命令:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/endpoints/openapi/chat/completions" | Select-Object -Expand Content
您应该收到类似以下内容的 JSON 响应。
区域端点和全球端点
对于区域端点,请求会从您指定的区域进行处理。如果您有数据驻留要求,或者模型不支持全球端点,请使用区域端点。
使用全球端点时,Google 可以从您所用模型支持的任何区域处理和提供请求。在某些情况下,这可能会导致延迟时间增加。全球端点有助于提高整体可用性并减少错误。
使用全球端点时,与区域端点没有价格差异。不过,全球端点配额和支持的模型功能可能与区域级端点不同。如需了解详情,请查看相关的第三方模型页面。
指定全球端点
如需使用全球端点,请将区域设置为 global。
例如,curl 命令的请求网址使用以下格式:
https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/endpoints/openapi
对于 Agent Platform SDK,默认使用区域端点。将区域设置为 GLOBAL 以使用全球端点。
限制全球 API 端点用量
为了帮助强制使用区域端点,请使用 constraints/gcp.restrictEndpointUsage 组织政策限制条件来阻止对全球 API 端点的请求。如需了解详情,请参阅限制端点用量。