Nachdem Sie Ihr generatives KI-Modell erstellt und bewertet haben, können Sie es verwenden, um einen Agenten wie einen Chatbot zu erstellen. Mit den Bewertungen der Gemini Enterprise Agent Platform können Sie die Fähigkeit Ihres Agenten messen, Aufgaben und Ziele für Ihren Anwendungsfall zu erfüllen.
Auf dieser Seite erfahren Sie, wie Sie einen einfachen Agenten erstellen und bereitstellen und ihn mit Gen AI-Bewertungen bewerten:
KI-Agenten entwickeln: KI-Agenten mit grundlegenden Toolfunktionen definieren.
Agent bereitstellen: Stellen Sie den Agenten in der Agent Runtime bereit.
Agent-Inferenz ausführen: Definieren Sie ein Bewertungs-Dataset und führen Sie die Agent-Inferenz aus, um Antworten zu generieren.
Bewertungsausführung erstellen: Erstellen Sie eine Bewertungsausführung, um eine Bewertung durchzuführen.
Bewertungsergebnisse ansehen: Sehen Sie sich die Bewertungsergebnisse des Bewertungslaufs an.
Hinweis
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
Verify that billing is enabled for your Google Cloud project.
Installieren Sie das Agent Platform SDK für Python:
%pip install google-cloud-aiplatform[adk,agent_engines] %pip install --upgrade --force-reinstall -q google-cloud-aiplatform[evaluation]Anmeldedaten einrichten Wenn Sie diese Anleitung in Colaboratory ausführen, führen Sie Folgendes aus:
from google.colab import auth auth.authenticate_user()Informationen zu anderen Umgebungen finden Sie unter Bei der Agent Platform authentifizieren.
GenAI-Client im Agent Platform SDK initialisieren:
import vertexai from vertexai import Client from google.genai import types as genai_types GCS_DEST = "gs://BUCKET_NAME/output-path" vertexai.init( project=PROJECT_ID, location=LOCATION, ) client = Client( project=PROJECT_ID, location=LOCATION, http_options=genai_types.HttpOptions(api_version="v1beta1"), )Ersetzen Sie Folgendes:
BUCKET_NAME: Name des Cloud Storage-Bucket. Weitere Informationen zum Erstellen von Buckets finden Sie unter Bucket erstellen.
PROJECT_ID: Ihre Projekt-ID.
LOCATION: Die ausgewählte Region.
KI-Agenten entwickeln
Entwickeln Sie einen Agenten mit dem Agent Development Kit (ADK), indem Sie das Modell, die Anweisung und die Tools definieren. Weitere Informationen zum Entwickeln eines KI-Agenten finden Sie unter ADK-Agenten entwickeln.
from google.adk import Agent
# Define Agent Tools
def search_products(query: str):
"""Searches for products based on a query."""
# Mock response for demonstration
if "headphones" in query.lower():
return {"products": [{"name": "Wireless Headphones", "id": "B08H8H8H8H"}]}
else:
return {"products": []}
def get_product_details(product_id: str):
"""Gets the details for a given product ID."""
if product_id == "B08H8H8H8H":
return {"details": "Noise-cancelling, 20-hour battery life."}
else:
return {"error": "Product not found."}
def add_to_cart(product_id: str, quantity: int):
"""Adds a specified quantity of a product to the cart."""
return {"status": f"Added {quantity} of {product_id} to cart."}
# Define Agent
my_agent = Agent(
model="gemini-2.5-flash",
name='ecommerce_agent',
instruction='You are an ecommerce expert',
tools=[search_products, get_product_details, add_to_cart],
)
KI-Agent bereitstellen
Stellen Sie Ihren KI-Agenten in der Laufzeit bereit. Das kann bis zu 10 Minuten dauern. Rufen Sie den Ressourcennamen vom bereitgestellten KI-Agenten ab.
def deploy_adk_agent(root_agent):
"""Deploy agent to agent engine.
Args:
root_agent: The ADK agent to deploy.
"""
app = vertexai.agent_engines.AdkApp(
agent=root_agent,
)
remote_app = client.agent_engines.create(
agent=app,
config = {
"staging_bucket": gs://BUCKET_NAME,
"requirements": ['google-cloud-aiplatform[adk,agent_engines]'],
"env_vars": {"GOOGLE_CLOUD_AGENT_ENGINE_ENABLE_TELEMETRY": "true"}
}
)
return remote_app
agent_engine = deploy_adk_agent(my_agent)
agent_engine_resource_name = agent_engine.api_resource.name
Eine Liste der auf der Agent Platform bereitgestellten Agenten finden Sie unter Bereitgestellte Agenten verwalten.
Antworten generieren
Generieren Sie mit
run_inference()Modellantworten für Ihr Dataset:Bereiten Sie Ihr Dataset als Pandas-DataFrame vor. Die Prompts sollten auf Ihren Agenten zugeschnitten sein. Sitzungseingaben sind für Traces erforderlich. Weitere Informationen finden Sie unter Sitzung: Einzelne Unterhaltungen verfolgen.
import pandas as pd from vertexai import types session_inputs = types.evals.SessionInput( user_id="user_123", state={}, ) agent_prompts = [ "Search for 'noise-cancelling headphones'.", "Show me the details for product 'B08H8H8H8H'.", "Add one pair of 'B08H8H8H8H' to my shopping cart.", "Find 'wireless earbuds' and then add the first result to my cart.", "I need a new laptop for work, can you find one with at least 16GB of RAM?", ] agent_dataset = pd.DataFrame({ "prompt": agent_prompts, "session_inputs": [session_inputs] * len(agent_prompts), })Modellantworten mit
run_inference()generieren:agent_dataset_with_inference = client.evals.run_inference( agent=agent_engine_resource_name, src=agent_dataset, )Visualisieren Sie Ihre Inferenz-Ergebnisse, indem Sie
.show()für dasEvaluationDataset-Objekt aufrufen, um die Ausgaben des Modells zusammen mit Ihren ursprünglichen Prompts und Referenzen zu prüfen:agent_dataset_with_inference.show()
Bewertung des KI-Agenten ausführen
Führen Sie create_evaluation_run() aus, um die Antworten des KI-Agenten zu bewerten.
Rufen Sie die
agent_infomit der integrierten Hilfsfunktion ab:agent_info = types.evals.AgentInfo.load_from_agent( my_agent, agent_engine_resource_name )Bewerten Sie die Antworten des Modells mit agentenspezifischen adaptiven, auf Bewertungsschemas basierenden Messwerten (
FINAL_RESPONSE_QUALITY,TOOL_USE_QUALITYundHALLUCINATION):evaluation_run = client.evals.create_evaluation_run( dataset=agent_dataset_with_inference, agent_info=agent_info, metrics=[ types.RubricMetric.FINAL_RESPONSE_QUALITY, types.RubricMetric.TOOL_USE_QUALITY, types.RubricMetric.HALLUCINATION, types.RubricMetric.SAFETY, ], dest=GCS_DEST, )
Ergebnisse der Agentenbewertung ansehen
Sie können die Bewertungsergebnisse mit dem Agent Platform SDK ansehen.
Rufen Sie den Bewertungslauf ab und visualisieren Sie Ihre Bewertungsergebnisse, indem Sie .show() aufrufen, um zusammenfassende Messwerte und detaillierte Ergebnisse anzuzeigen:
evaluation_run = client.evals.get_evaluation_run(
name=evaluation_run.name,
include_evaluation_items=True
)
evaluation_run.show()
Die detaillierten Ergebnisse enthalten auch Traces, die die Interaktionen des KI-Agenten zeigen. Weitere Informationen zu Traces finden Sie unter Agent verfolgen.
Nächste Schritte
Probieren Sie die folgenden Notebooks zur Agentenbewertung aus: