Modelle überwachen

In diesem Dokument wird beschrieben, wie Sie das Verhalten, den Zustand und die Leistung Ihrer vollständig verwalteten Modelle in der Gemini Enterprise Agent Platform überwachen. Außerdem wird beschrieben, wie Sie das vordefinierte Dashboard für die Modellbeobachtbarkeit verwenden, um Einblicke in die Modellnutzung zu erhalten, Latenzprobleme zu identifizieren und Fehler zu beheben.

Sie lernen, wie Sie Folgendes tun:

  • Auf das Dashboard zur Beobachtbarkeit von Modellen zugreifen und es interpretieren
  • Verfügbare Monitoring-Messwerte ansehen
  • Modellendpunkt-Traffic mit dem Metrics Explorer überwachen.

Auf das Dashboard zur Modellbeobachtbarkeit zugreifen und es interpretieren

Die Agent Platform bietet ein vordefiniertes Dashboard für die Beobachtbarkeit von Modellen, mit dem Sie das Verhalten, den Zustand und die Leistung vollständig verwalteter Modelle einsehen können. Vollständig verwaltete Modelle, auch als Model as a Service (MaaS) bezeichnet, werden von Google bereitgestellt und umfassen die Gemini-Modelle von Google und Partnermodelle mit verwalteten Endpunkten. Messwerte von selbst gehosteten Modellen sind nicht im Dashboard enthalten.

Die Agent Platform erfasst und meldet automatisch Aktivitäten von MaaS-Modellen, damit Sie Latenzprobleme schnell beheben und die Kapazität überwachen können.

Beispiel-Dashboard für die Modellbeobachtbarkeit in der Cloud Console
Beispiel für ein Dashboard zur Modellbeobachtbarkeit

Anwendungsfall

Als Anwendungsentwickler können Sie sich ansehen, wie Ihre Nutzer mit den von Ihnen bereitgestellten Modellen interagieren. Sie können sich beispielsweise ansehen, wie sich die Modellnutzung (Modellanfragen pro Sekunde) und die Rechenintensität von Nutzer-Prompts (Latenzen für Modellaufrufe) im Laufe der Zeit entwickeln. Da diese Messwerte mit der Modellnutzung zusammenhängen, können Sie auch die Kosten für die Ausführung der einzelnen Modelle schätzen.

Wenn ein Problem auftritt, können Sie es schnell über das Dashboard beheben. Sie können prüfen, ob Modelle zuverlässig und zeitnah antworten, indem Sie sich die API-Fehlerraten, die Latenzen für das erste Token und den Token-Durchsatz ansehen.

Verfügbare Monitoring-Messwerte

Das Dashboard zur Modellbeobachtbarkeit zeigt eine Teilmenge der von Cloud Monitoring erfassten Messwerte an, z. B. Modellabfragen pro Sekunde, Token-Durchsatz und Latenzen für das erste Token. Rufen Sie das Dashboard auf, um alle verfügbaren Messwerte zu sehen.

Beschränkungen

Die Agent Platform erfasst Dashboard-Messwerte nur für API-Aufrufe an den Endpunkt eines Modells. Die Nutzung der Google Cloud Console, z. B. Messwerte aus Agent Studio, wird nicht dem Dashboard hinzugefügt.

Dashboard aufrufen

  1. Rufen Sie in der Google Cloud Console im Bereich „Agent Platform“ die Seite Dashboard auf.

Zur Agent Platform 1. Klicken Sie im Dashboard unter „Modellbeobachtbarkeit“ auf Alle Messwerte anzeigen, um das Dashboard für die Modellbeobachtbarkeit in der Google Cloud Observability-Konsole aufzurufen.

  1. Wenn Sie Messwerte für ein bestimmtes Modell oder an einem bestimmten Standort aufrufen möchten, legen Sie oben auf der Dashboard-Seite einen oder mehrere Filter fest.

    Beschreibungen der einzelnen Messwerte finden Sie im Abschnitt „aiplatform“ auf der Seite Google Cloud -Messwerte.

Auflösung von 1 Sekunde ansehen

Wenn das Logging von Metadaten für Inferenzanfragen aktiviert ist, werden im Dashboard für die Modellbeobachtbarkeit die vorhandenen Diagramme um Optionen mit einer Auflösung von 1 Sekunde erweitert. Bei den 1-Sekunden-Optionen werden Metadatenlogs für Inferenzanfragen anstelle von aggregierten Messwerten für eine Minute gelesen. Daher werden Spitzen angezeigt, die bei einem Durchschnittswert für eine Minute nicht sichtbar sind.

Für die 1-Sekunden-Optionen ist das Logging von Metadaten für Inferenzanfragen im Projekt und ein Upgrade des Log-Buckets _Default auf Observability Analytics erforderlich. Informationen zum Aktivieren des Loggings finden Sie unter Metadatenlogs für Inferenzanfragen aktivieren.

Klicken Sie auf Alle Messwerte anzeigen, um das Dashboard für die Modellbeobachtbarkeit zu öffnen. Diagramme, die eine Auflösung von 1 Sekunde unterstützen, haben ein Drop-down-Menü in der Kopfzeile: „Modellanfragen pro Sekunde (QPS)“, „Tokenanzahl nach Modell“, „Modellaufrufe nach Antwortcode“, „Fehlerrate der Modellaufrufe (%)“ und die Diagramme im Abschnitt „Tokens“. In jedem Drop-down-Menü ist die Option 1-Minuten-Auflösung aus Messwerten als Standard ausgewählt und die Option 1-Sekunden-Auflösung aus Logs hinzugefügt. Wählen Sie die Option „1 Sekunde“ aus und legen Sie den Zeitraum auf maximal 200 Sekunden fest, um einen Punkt pro Sekunde zu sehen. Bei längeren Zeiträumen ist jeder Punkt der Durchschnitt pro Sekunde in seinem Bucket. Bis das Logging aktiviert ist, wird bei den 1-Sekunden-Optionen „Keine Inferenzanfrage-Logs in diesem Fenster“ angezeigt. Turn on logging to see 1-second data.“ in der Diagrammlegende angezeigt und die 1-Minuten-Optionen funktionieren wie zuvor.

Ein Diagramm zur Modellbeobachtbarkeit mit der Option für eine Auflösung von 1 Sekunde
Ein Diagramm zur Modellbeobachtbarkeit, bei dem im Drop-down-Menü die Option „1-Sekunden-Auflösung aus Logs“ ausgewählt ist.

Traffic am Modellendpunkt überwachen

Folgen Sie der Anleitung unten, um den Traffic zu Ihrem Endpunkt im Metrics Explorer zu beobachten.

  1. Wechseln Sie in der Google Cloud Console zur Seite Metrics Explorer.

    Metrics Explorer aufrufen

  2. Wählen Sie das Projekt aus, für das Sie Messwerte aufrufen möchten.

  3. Klicken Sie im Drop-down-Menü Messwert auf Messwert auswählen.

  4. Geben Sie in der Suchleiste Nach Ressourcen- oder Messwertname filtern den Wert Gemini Enterprise Agent Platform Endpoint ein.

  5. Wählen Sie die Messwertkategorie Agent Platform Endpoint > Prediction aus. Wählen Sie unter Aktive Messwerte einen der folgenden Messwerte aus:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    Klicken Sie auf Übernehmen. Wenn Sie mehrere Messwerte hinzufügen möchten, klicken Sie auf Abfrage hinzufügen.

    Sie können Ihre Messwerte mithilfe der folgenden Drop-down-Menüs filtern oder aggregieren:

    • Über das Drop-down-Menü Filter können Sie eine Teilmenge Ihrer Daten anhand bestimmter Kriterien auswählen und ansehen. Wenn Sie beispielsweise nach dem Modell gemini-2.0-flash-001 filtern möchten, verwenden Sie endpoint_id = gemini-2p0-flash-001. Beachten Sie, dass der . in der Modellversion durch einen p ersetzt wird.

    • Wenn Sie mehrere Datenpunkte zu einem einzigen Wert kombinieren und eine zusammengefasste Ansicht Ihrer Messwerte sehen möchten, verwenden Sie das Drop-down-Menü Aggregation. Sie können beispielsweise die Summe von response_code aggregieren.

  6. Optional können Sie Benachrichtigungen für Ihren Endpunkt einrichten. Weitere Informationen finden Sie unter Benachrichtigungsrichtlinien verwalten.

Informationen zum Aufrufen der Messwerte, die Sie Ihrem Projekt über ein Dashboard hinzufügen, finden Sie unter Dashboards – Übersicht.

Nächste Schritte