Auf Messwerte zugreifen

In diesem Dokument wird beschrieben, wie Sie auf die Messwerte zugreifen, die von Ihrer Gemini Enterprise-App generiert werden. Diese Messwerte bieten Einblicke in die Leistung und den Zustand Ihrer Anwendung.

Sie können Messwert-Telemetriedaten entweder über den Metrics Explorer oder direkt in einzelnen Agenten über den Tab Beobachtbarkeit des Agenten aufrufen.

Wichtige Konzepte

In diesem Abschnitt werden wichtige Konzepte im Zusammenhang mit der Beobachtbarkeit in Gemini Enterprise vorgestellt.

Konzept Beschreibung
Messwerte Messwerte sind numerische Messungen, die Systeme im Laufe der Zeit erfassen. Diese Messungen stellen die Leistung, Ressourcennutzung oder das Verhalten eines Systems dar. Entwickler verwenden Messwerte, um den Systemzustand zu überwachen, Trends zu erkennen und Benachrichtigungen auszulösen.
Messwerte auf Agentenebene Messwerte, die die Aktivität eines einzelnen Agenten messen, z. B. seine Sitzungen, Gesprächsrunden und Toolaufrufe. Sie sind unter dem Ressourcentyp Gemini Enterprise-Agent aufgeführt und werden nur erfasst, wenn die Beobachtbarkeitseinstellung Instrumentierung von OpenTelemetry-Traces und ‑Logs aktivieren für diesen Agenten aktiviert ist.
Messwerte auf App-Ebene Messwerte, die den gesamten Traffic zu einer Anwendung und nicht zu einem einzelnen Agenten messen, z. B. die Anzahl der Anfragen und die End-to-End-Latenz. Sie sind unter dem Ressourcentyp Gemini Enterprise Engine aufgeführt, wobei Engine der API-Name für eine Gemini Enterprise App ist. Sie werden unabhängig von den Beobachtbarkeitseinstellungen erfasst.

Hinweis

Sie benötigen Folgendes:

  • Die Rolle Gemini Enterprise Admin oder die Google Cloud Console-Rolle „Gemini Enterprise User“.

  • Eine vorhandene Gemini Enterprise-Webanwendung. Informationen zum Erstellen einer neuen Anwendung finden Sie unter Anwendung erstellen.

  • Für den Zugriff auf den Metrics Explorer benötigen Sie die Rolle Monitoring-Betrachter (roles/monitoring.viewer).

  • Aktivieren Sie die Beobachtbarkeitseinstellung Instrumentierung von OpenTelemetry-Traces und ‑Logs aktivieren. Je nach Agententyp aktivieren Sie diese Option in den Konfigurationen auf Anwendungsebene (für den Core Assistant-Agenten) oder auf dem Tab Konfiguration des Agenten (für von Mitarbeitern erstellte Workflow Builder-Agenten und Deep Research-Agenten). Weitere Informationen finden Sie unter Einstellungen für die Beobachtbarkeit verwalten. Diese Einstellung ist für die Messwerte auf Agentenebene erforderlich. Die anwendungsspezifischen Messwerte, die unter dem Ressourcentyp Gemini Enterprise Engine aufgeführt sind, werden ohne sie erfasst.

Datenaufbewahrung

Messwerte, die von Ihrer Gemini Enterprise App generiert werden, werden in Cloud Monitoring in Ihrem Google Cloud -Projekt gespeichert. Ihre Aufbewahrung unterliegt Cloud Monitoring. Gemini Enterprise-Messwerte werden unter dem Präfix discoveryengine.googleapis.com/ veröffentlicht, das zur Stufe „alle anderenGoogle Cloud -Messwerte“ gehört und standardmäßig 6 Wochen lang aufbewahrt wird. Daten, die älter als die Aufbewahrungsdauer sind, werden automatisch gelöscht. Die verbindlichen und aktuellen Aufbewahrungswerte finden Sie in der Dokumentation zu Kontingenten und Limits für Cloud Monitoring unter Datenaufbewahrung.

Messwerte im Metrics Explorer aufrufen

So greifen Sie auf die Messwerte zu:

  1. Wechseln Sie in der Google Cloud Console zur Seite Metrics Explorer.

    Zum Metrics Explorer

  2. Wählen Sie das Google Cloud -Projekt aus, in dem Ihre Gemini Enterprise-App erstellt wurde.

  3. Klicken Sie auf Messwert auswählen, um eine Suchleiste zu öffnen.

  4. Suchen Sie in der Suchleiste nach den folgenden Messwerten:

    Name des Messwerts Beschreibung
    Gemini Enterprise Agent – Anzahl der Gemini Enterprise Agent-Sitzungen Die Anzahl der Sitzungen, die vom Gemini Enterprise-Agenten verarbeitet wurden.
    Gemini Enterprise-Agent – Anzahl der Gemini Enterprise-Agent-Tools Die Häufigkeit, mit der Tools vom Gemini Enterprise-Agenten aufgerufen wurden.
    Gemini Enterprise Agent – Anzahl der Gemini Enterprise Agent-Wechsel Die Anzahl der Gesprächsrunden in Gemini Enterprise-Agent-Sitzungen.
    Gemini Enterprise Agent – Gemini Enterprise Agent – Gesamtlatenz Die Gesamtlatenz der Antworten des Gemini Enterprise-Agenten.
    Gemini Enterprise Agent – Gemini Enterprise Agent Tool Total Latency Die Gesamtlatenz, die durch Toolausführungen im Gemini Enterprise-Agenten verursacht wird.
    Gemini Enterprise DataConnector – Gemini Enterprise DataConnector-Anfrageanzahl Die Gesamtzahl der Anfragen an die Gemini Enterprise-Daten-Connectors (in der Google Cloud Console auch als Datenspeicher bezeichnet).
    Gemini Enterprise DataConnector – Gemini Enterprise DataConnector-Anfragelatenzen (Beta) Die Latenz von Anfragen an die Gemini Enterprise-Daten-Connectors (in der Google Cloud Console auch als Datenspeicher bezeichnet) in Millisekunden.
    Gemini Enterprise Engine – Anzahl der Gemini Enterprise Engine-Anfragen Die Gesamtzahl der Anfragen, die von Ihrer Gemini Enterprise-App empfangen wurden, und zwar für den gesamten Traffic zur App und nicht nur für einen einzelnen Agenten. Aufgeschlüsselt nach API-Methode, kanonischem gRPC-Antwortcode, Antwortcodeklasse, Abfragetyp und Modell.
    Gemini Enterprise Engine – Gemini Enterprise Engine-Anfragen – Gesamtlatenz Die Verteilung der End-to-End-Anfragelatenz für Ihre Gemini Enterprise-App. Wird für jede Anfrage aufgezeichnet, einschließlich Anfragen, die einen Fehler zurückgeben.
    Gemini Enterprise Engine – Gemini Enterprise Engine-Latenz bis zur ersten Antwort Die Verteilung der Latenz zwischen dem Empfang einer Anfrage und dem Streaming des ersten Antworttokens. Wird nur für Anfragen aufgezeichnet, die mindestens ein Antworttoken erzeugen.
    Gemini Enterprise Engine – Gemini Enterprise Engine-Latenz bis zum ersten Token Die Verteilung der Latenz zwischen dem Empfang einer Anfrage und dem Streaming des ersten Tokens, unabhängig davon, ob dieses Token Teil des Denkprozesses des Modells oder eine endgültige Antwort ist. Wird nur für Anfragen aufgezeichnet, die mindestens ein gestreamtes Token erzeugen.

  5. Wählen Sie den gewünschten Messwert aus und klicken Sie auf Übernehmen.

  6. Optional können Sie zusätzliche Labelfilter und Aggregationselemente festlegen und den Zeitraum anpassen.

    Screenshot des Metrics Explorer in der Google Cloud Console mit Gemini Enterprise Agent-Messwerten.

Auf Messwerte für KI-Agenten zugreifen

Sie können sich auch Dashboards mit Betriebs-, Tool- und Sitzungsmesswerten direkt für einzelne Agenten auf dem Tab Beobachtbarkeit des Agenten in der Google Cloud Console ansehen.

So greifen Sie auf Messwerte für einen Agenten zu:

  1. Rufen Sie in der Google Cloud Console Ihre Anwendung auf und klicken Sie dann auf Agenten.
  2. Wählen Sie den Agenten aus, den Sie prüfen möchten, und klicken Sie dann auf den Tab Beobachtbarkeit.

Auf dem Tab Beobachtbarkeit finden Sie wichtige operative Telemetriedaten, die in vier Ansichten unterteilt sind: Übersicht, Tools, Latenz und Fehlerrate.

Übersichtsmesswerte

Diese Ansicht bietet ein Dashboard mit einer Zusammenfassung der Standarddaten zur Sitzungs- und Agent-Integrität, darunter:

  • Sitzungen: Gesamtzahl der Nutzersitzungen.
  • Durchschnittliche Zeit pro Sitzung: Die durchschnittliche Dauer einer Sitzung.
  • KI-Agentenaufrufe: Gibt an, wie oft der KI-Agent aufgerufen wurde.
  • KI-Agentenlatenz: Latenz im Zeitverlauf und bestimmte Messwerte.
  • KI-Agenten-Traffic: Volumen der eingehenden Anfragen.
  • Fehlerrate des KI-Agenten: Prozentsatz der fehlgeschlagenen Aufrufe des KI-Agenten.

Screenshot der Übersichtsansicht des Tabs „Beobachtbarkeit“ in der Google Cloud -Konsole mit Sitzungen, durchschnittlichen Runden pro Sitzung und Agentenaufrufen, Latenz, Traffic und Fehlerrate

Messwerte für Tools

Diese Ansicht konzentriert sich speziell auf die Nutzung und Latenz von Tools, die mit Ihrem Agenten verbunden sind. Dazu gehören:

  • Aufrufe insgesamt: Anzahl der Anfragen zur Toolausführung.
  • P95-Dauer nach Tool: Die Latenz der Ausführungen im 95. Perzentil, kategorisiert nach Tool.
  • Anzahl der Aufrufe nach Tool: Gesamtzahl der Aufrufe, aufgeteilt auf verschiedene Tools.
  • Fehlerrate nach Tool: Die Fehlerrate der Ausführungen nach Tool.
  • Rate „Kein Tool aufgerufen“: Der Prozentsatz der Interaktionen, die keine Toolausführung ausgelöst haben.

Latenzmesswerte

In dieser Ansicht wird die Antwortlatenz Ihres KI-Agenten angezeigt. Jeder Messwert wird als p50- und p95-Zusammenfassungskarte für den ausgewählten Zeitraum und als Zeitreihendiagramm mit Trends im Zeitverlauf angezeigt. Sie können die Latenzmesswerte auch nach Funktion filtern. In der Ansicht werden die folgenden Messwerte angezeigt:

  • Zeit bis zum ersten Token (Time to First Token, TTFT): Die Latenz zwischen dem Empfang einer Anfrage und dem Streaming des ersten Tokens, unabhängig davon, ob dieses Token Teil des Denkprozesses des Modells oder der Antwort ist.
  • Zeit bis zur ersten Antwort (Time to First Answer, TTFA): Die Latenz zwischen dem Empfang einer Anfrage und dem Streaming des ersten Antworttokens, also des ersten Tokens, das nicht Teil des Denkprozesses des Modells ist. Wenn der Agent ein Tool aufruft, nachdem er mit der Antwort begonnen hat, wird die Messung neu gestartet. Die TTFA spiegelt also wider, wann die Antwort, die der Nutzer liest, gestreamt wurde, und nicht eine Zwischenerzählung.
  • Zeit bis zum letzten Token (Time to Last Token, TTLT): Die Latenz zwischen dem Empfang einer Anfrage und dem Streaming des letzten Tokens, also dem Zeitpunkt, an dem die Antwort vollständig ist.

Latenzmesswerte nach Funktion filtern

Ein Feature ist die Art der Interaktion, die ein Turn darstellt, z. B. eine Websuche oder eine Bildgenerierung. Filtern Sie die Latenzmesswerte nach Funktion, um zu sehen, welche Arten von Interaktionen am langsamsten sind, und um zu verhindern, dass eine langsame Funktion die Gesamtlatenz verzerrt.

So filtern Sie die Latenzmesswerte nach Feature:

  1. Klicken Sie auf dem Tab Beobachtbarkeit des KI-Agenten auf die Ansicht Latenz.
  2. Klicken Sie auf Nach Funktion filtern.
  3. Wählen Sie das Feature aus, das Sie prüfen möchten.

Auf den Zusammenfassungskarten und in den Zeitreihendiagrammen werden dann nur die Turns für diese Funktion angezeigt.

Wenn Sie alle Funktionen auf einmal vergleichen möchten, verwenden Sie die Tabelle Funktionstelemetrie, in der für jede Funktion Folgendes aufgeführt ist:

  • Anteil am Traffic: Der Prozentsatz der Turns, die der Funktion zugeordnet werden.
  • TTFT, TTFA und TTLT: Die p50- und p95-Latenz für das Feature.

Sie können nach den folgenden Funktionen filtern:

  • Parametrisch: Interaktionen, bei denen ausschließlich zur Textausgabe Anfragen an das Modell gesendet werden, ohne Tools einzubinden (z. B. Übersetzungsaufgaben).
  • Mediengenerierung: Aufgaben zur Bild- und Videogenerierung.
  • Nur Websuche: Interaktionen, bei denen über das Tool für die Websuche Anfragen an das Modell gesendet werden.
  • Analyse der hochgeladenen Datei: Interaktionen, bei denen Anfragen an das Modell gesendet werden, zusammen mit von Nutzern hochgeladenen Dateien.
  • Connector: Abfragen, bei denen Anfragen an interne oder Drittanbieter-Connectors gesendet werden.
  • Canvas: Generierungsaufgaben, die Canvas verwenden.
  • Skill: Interaktionen, die einen Skill aufrufen.
  • Sonstiges: Sammel-Bucket für Unterhaltungsrunden, die mehrere Funktionen umfassen oder noch nicht klassifiziert sind.

Screenshot der Ansicht „Latenz“ auf dem Tab „Beobachtbarkeit“ in der Google Cloud -Konsole mit dem Feature-Filter, den Zusammenfassungskarten für p50 und p95, den Zeitreihendiagrammen für die Zeit bis zum ersten Token, die Zeit bis zur ersten Antwort und die Zeit bis zum letzten Token sowie der Telemetrietabelle für Features, in der jedes Feature mit seinem Anteil am Traffic und seinen p50- und p95-Latenzen aufgeführt ist

Messwerte für die Fehlerrate

In dieser Ansicht sehen Sie, wie die Anfragen Ihres Agents aufgelöst werden, gruppiert nach Antwortklasse: OK (2xx), Clientfehler (4xx), Serverfehler (5xx) und Abgebrochen. Dazu gehören:

  • Anfragevolumen nach Antwortklasse: Anzahl der eingehenden Anfragen im Zeitverlauf, gestapelt nach Antwortklasse.
  • Fehlerrate nach Antwortklasse: Der Prozentsatz der fehlgeschlagenen Anfragen im Zeitverlauf, aufgeteilt nach Antwortklasse.
  • Clientfehlercodes (4xx) und Serverfehlercodes (5xx): Die einzelnen kanonischen gRPC-Antwortcodes im Zeitverlauf, z. B. INVALID_ARGUMENT oder INTERNAL, damit Sie erkennen können, welche spezifischen Fehler zu einer Spitze führen.
  • Summen: Die Anzahl der Anfragen und der Prozentsatz der Gesamtanfragen für jedes Ergebnis im ausgewählten Zeitraum, mit separaten Tabellen, in denen die einzelnen Client- und Serverfehlercodes aufgeführt sind.

Screenshot der Ansicht „Fehlerrate“ auf dem Tab „Beobachtbarkeit“ in der Google Cloud -Konsole mit dem Anfragevolumen und der Fehlerrate nach Antwortklasse, den Zeitreihendiagrammen für Client- und Serverfehlercodes und den Tabellen mit den Gesamtwerten

Nächste Schritte