代理可觀測性

在日新月異的 AI 領域中，建構及部署代理會帶來獨特的挑戰。AI 代理可能會悄悄產生偏移、幻覺或效能退化，可能會做出您意料之外的決定和採取行動。此外，AI 代理的失效模式也與非代理軟體不同。 代理觀測是指深入瞭解軟體代理內部狀態和行為的方法，尤其是使用大型語言模型 (LLM) 等技術建構的 AI 輔助代理。

代理觀測的好處

由於 AI 代理具有非確定性和複雜性，因此觀測能力對於瞭解、偵錯、評估及改善其效能、安全性和可靠性至關重要。

代理觀測的主要面向包括監控及分析下列項目：

  • LLM 互動：追蹤提示、回覆、詞元用量、延遲時間和錯誤率。
  • 工具使用情形：監控代理互動的外部工具和 API，包括呼叫次數、成功或失敗、延遲時間，以及交換的資料。
  • 代理行為和推論：瞭解代理的決策過程、採取的步驟順序，以及內部狀態變化。
  • 效能：評估代理叫用的端對端延遲時間、個別步驟的延遲時間，以及資源消耗量，通常需要詳細追蹤。
  • 安全與防護：追蹤政策執行情況、找出高風險作業、分析內容安全性，以及監控存取模式。
  • 品質與評估：評估代理輸出內容的正確性、真實性、實用性和整體品質，通常會與評估架構整合。

Google Cloud中的代理觀測功能是什麼？

Google Cloud 中的應用程式監控功能提供代理觀測和應用程式觀測功能。這項服務提供資訊主頁和拓撲圖，可讓您瞭解 App Hub 應用程式、服務和工作負載的健康狀態和效能。此外，也會生成及顯示 AI 資源的錯誤率和權杖用量等指標。為產生這些指標，Application Monitoring 會根據 OpenTelemetry GenAI 語意慣例，使用應用程式專屬標籤和事件，篩選及匯總追蹤記錄資料。

如要觀測代理，建議使用 Agent Development Kit (ADK) 架構建構代理。由於 ADK 仰賴 OpenTelemetry，因此 ADK 產生的遙測資料符合 OpenTelemetry GenAI 語意慣例。

如要對失敗進行偵錯、監控費用或分析代理行為 (包括 Gemini Enterprise Agent Platform、Agent Gateway 和 Model Armor 代理)，您需要記錄、指標和追蹤資料：

  • 記錄檔會提供事件和錯誤的相關資訊。
  • 「指標」可讓您監控延遲時間和權杖用量。
  • 追蹤記錄會提供執行路徑的相關資訊，並經過分析，以衍生模型呼叫次數或總權杖用量等指標。這些衍生指標可讓您瞭解代理的效能和行為。詳情請參閱「查看 AI 資源」。
  • 提示和回覆資料可讓您使用 Gen AI Evaluation Service，評估代理品質和決策。

應用程式的「Application Monitoring」(應用程式監控) 資訊主頁會顯示應用程式的服務和工作負載清單，例如 Gemini Enterprise 應用程式、Gemini Enterprise Agent Platform 代理和 MCP 伺服器：

列出應用程式中服務和工作負載的總覽。

您可以依據基礎架構類型或 App Hub 功能類型，識別代理服務和工作負載。「功能類型」欄預設為隱藏。

開始使用代理觀測功能

後續步驟

  • 如要瞭解如何保護及管理代理，請參閱「管理代理」。