이 문서에서는 Gemini Enterprise 앱에서 생성된 측정항목에 액세스하는 방법을 설명합니다. 이러한 측정항목은 애플리케이션의 성능과 상태에 대한 유용한 정보를 제공합니다.
측정항목 탐색기를 사용하거나 에이전트의 모니터링 가능성 탭을 사용하여 개별 에이전트 내에서 직접 측정항목 원격 분석을 볼 수 있습니다.
주요 개념
이 섹션에서는 Gemini Enterprise의 모니터링 가능성과 관련된 주요 개념을 소개합니다.
| 개념 | 설명 |
|---|---|
| 측정항목 | 측정항목은 시스템이 시간 경과에 따라 수집하는 수치 측정값입니다. 이러한 측정값은 시스템의 성능, 리소스 사용률 또는 동작을 나타냅니다. 엔지니어는 측정항목을 사용하여 시스템 상태를 모니터링하고, 추세를 파악하고, 알림을 트리거합니다. |
| 에이전트 범위 측정항목 | 세션, 대화 차례, 도구 호출과 같은 개별 에이전트의 활동을 측정하는 측정항목입니다. 이러한 측정항목은 Gemini Enterprise 에이전트 리소스 유형 아래에 나열되며 해당 에이전트에 대해 OpenTelemetry trace 및 로그의 계측 사용 설정 모니터링 가능성 설정이 사용 설정된 경우에만 수집됩니다. |
| 앱 범위 측정항목 | 단일 에이전트가 아닌 앱에 대한 모든 트래픽을 측정하는 측정항목(예: 요청 수, 엔드 투 엔드 지연 시간) 이러한 측정항목은 Gemini Enterprise 엔진 리소스 유형 아래에 나열되며, 여기서 엔진은 Gemini Enterprise 앱의 API 이름입니다. 이러한 측정항목은 모니터링 가능성 설정과 관계없이 수집됩니다. |
시작하기 전에
다음 항목이 있는지 확인합니다.
Gemini Enterprise 관리자 역할 또는 Google Cloud 콘솔 Gemini Enterprise 사용자 역할
기존 Gemini Enterprise 웹 앱. 새 앱을 만드는 방법에 대한 자세한 내용은 앱 만들기를 참조하세요.
측정항목 탐색기에 액세스하려면 Monitoring 뷰어 역할(
roles/monitoring.viewer)이 있어야 합니다.OpenTelemetry trace 및 로그의 계측 사용 설정 모니터링 가능성 설정을 사용 설정합니다. 에이전트 유형에 따라 앱 수준 구성(핵심 어시스턴트 에이전트의 경우) 또는 에이전트의 구성 탭 (Workflow Builder 직원 제작 에이전트 및 Deep Research 에이전트의 경우)에서 이를 사용 설정합니다. 자세한 내용은 모니터링 가능성 설정 관리를 참조하세요. 이 설정은 에이전트 범위 측정항목에 필요합니다. Gemini Enterprise Engine 리소스 유형에 나열된 앱 범위 측정항목은 이 측정항목 없이 수집됩니다.
데이터 보관
Gemini Enterprise 앱에서 생성된 측정항목은 Google Cloud 프로젝트의 Cloud Monitoring에 저장되며, 보관은 Cloud Monitoring에 의해 관리됩니다. Gemini Enterprise 측정항목은 discoveryengine.googleapis.com/ 프리픽스로 게시되며, 이는 '기타 모든Google Cloud 측정항목' 등급에 속하며 기본적으로 6주 동안 보관됩니다. 보관 기간보다 오래된 데이터는 자동으로 삭제됩니다. 정확한 최신 보관 값은 Cloud Monitoring 할당량 및 한도 문서의 데이터 보관을 참조하세요.
측정항목 탐색기에서 측정항목 액세스
측정항목에 액세스하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 측정항목 탐색기 페이지로 이동합니다.
Gemini Enterprise 앱이 생성된 Google Cloud 프로젝트를 선택합니다.
측정항목 선택을 클릭하여 검색창을 엽니다.
검색창에서 다음 측정항목을 찾습니다.
측정항목 이름 설명 Gemini Enterprise Agent - Gemini Enterprise Agent 세션 수 Gemini Enterprise Agent가 처리한 세션 수입니다. Gemini Enterprise Agent - Gemini Enterprise Agent 도구 수 Gemini Enterprise 에이전트가 도구를 호출한 횟수입니다. Gemini Enterprise Agent - Gemini Enterprise Agent 대화 수 Gemini Enterprise Agent 세션 내 대화 차례 수입니다. Gemini Enterprise Agent - Gemini Enterprise Agent 총 지연 시간 Gemini Enterprise Agent의 대답에 대한 총 지연 시간입니다. Gemini Enterprise Agent - Gemini Enterprise Agent 도구 총 지연 시간 Gemini Enterprise 에이전트 내에서 도구 실행으로 인해 발생하는 총 지연 시간입니다. Gemini Enterprise DataConnector - Gemini Enterprise DataConnector 요청 수 Gemini Enterprise 데이터 커넥터( Google Cloud 콘솔에서 데이터 스토어라고도 함)에 수행된 총 요청 수입니다. Gemini Enterprise DataConnector - Gemini Enterprise DataConnector 요청 지연 시간 (베타) Gemini Enterprise 데이터 커넥터( Google Cloud 콘솔에서 데이터 스토어라고도 함)에 대한 요청 지연 시간(밀리초)입니다. Gemini Enterprise Engine - Gemini Enterprise Engine 요청 수 단일 에이전트가 아닌 앱에 대한 모든 트래픽에서 Gemini Enterprise 앱이 수신한 총 요청 수입니다. API 메서드, 표준 gRPC 응답 코드, 응답 코드 클래스, 쿼리 유형, 모델별로 분류됩니다. Gemini Enterprise Engine - Gemini Enterprise Engine 요청 총 지연 시간 Gemini Enterprise 앱의 엔드 투 엔드 요청 지연 시간 분포입니다. 오류를 반환하는 요청을 포함하여 모든 요청에 대해 기록됩니다. Gemini Enterprise Engine - Gemini Enterprise Engine 첫 번째 답변까지의 지연 시간 요청 수신과 첫 번째 답변 토큰 스트리밍 사이의 지연 시간 분포입니다. 답변 토큰을 하나 이상 생성하는 요청에만 기록됩니다. Gemini Enterprise Engine - Gemini Enterprise Engine 첫 번째 토큰까지의 지연 시간 요청 수신과 첫 번째 토큰 스트리밍 사이의 지연 시간 분포입니다. 이 토큰은 모델의 사고 과정의 일부일 수도 있고 최종 답변일 수도 있습니다. 하나 이상의 스트리밍 토큰을 생성하는 요청에 대해서만 기록됩니다. 살펴볼 측정항목을 선택하고 적용을 클릭합니다.
원하는 경우 추가 라벨 필터, 집계 요소를 설정하고 기간을 조정합니다.
에이전트의 액세스 측정항목
Google Cloud 콘솔에서 에이전트의 모니터링 가능성 탭에 있는 개별 에이전트에 대한 운영, 도구별, 세션 측정항목 대시보드를 직접 볼 수도 있습니다.
에이전트의 측정항목에 액세스하려면 다음 안내를 따르세요.
- Google Cloud 콘솔에서 앱으로 이동한 다음 에이전트를 클릭합니다.
- 검사할 에이전트를 선택한 후 모니터링 가능성 탭을 클릭합니다.
모니터링 가능성 탭은 개요, 도구, 지연 시간, 오류율의 네 가지 뷰로 나뉜 주요 운영 원격 분석을 제공합니다.
개요 측정항목
이 뷰는 표준 세션 및 에이전트 상태 데이터를 요약하는 대시보드를 제공하며, 여기에는 다음이 포함됩니다.
- 세션: 총 사용자 세션 수입니다.
- 세션당 평균 시간: 세션 중에 경과한 평균 시간입니다.
- 에이전트 호출: 에이전트가 호출된 총 횟수입니다.
- 에이전트 지연 시간: 시간 및 특정 측정항목에 따른 지연 시간입니다.
- 에이전트 트래픽: 인바운드 요청 볼륨입니다.
- 에이전트 오류율: 실패한 에이전트 호출의 비율입니다.
도구 측정항목
이 뷰는 에이전트에 연결된 도구의 사용량과 지연 시간에 중점을 두며 다음을 포함합니다.
- 총 호출 수: 도구 실행 요청 수입니다.
- 도구별 P95 기간: 도구별로 분류된 실행 지연 시간의 95번째 백분위수입니다.
- 도구별 호출 수: 총 호출 수를 여러 도구로 나눈 값입니다.
- 도구별 오류율: 도구별 실행 실패율입니다.
- '호출된 도구 없음' 비율: 상호작용이 도구 실행을 트리거하지 않은 비율입니다.
지연 시간 측정항목
이 뷰에는 에이전트의 응답 지연 시간이 표시됩니다. 각 측정항목은 선택한 기간의 p50 및 p95 요약 카드로 표시되며 시간 경과에 따른 추세를 보여주는 시계열 차트로 표시됩니다. 기능별로 지연 시간 측정항목을 필터링할 수도 있습니다. 뷰에는 다음 측정항목이 표시됩니다.
- 첫 번째 토큰까지의 시간 (TTFT): 요청을 수신하고 첫 번째 토큰을 스트리밍하는 사이의 지연 시간입니다. 이 토큰은 모델의 사고 과정 또는 답변의 일부일 수 있습니다.
- 첫 번째 답변까지의 시간 (TTFA): 요청 수신과 첫 번째 답변 토큰 스트리밍 사이의 지연 시간입니다. 첫 번째 답변 토큰은 모델의 사고에 포함되지 않는 첫 번째 토큰입니다. 에이전트가 답변을 시작한 후 도구를 호출하면 측정이 다시 시작되므로 TTFA는 중간 내레이션이 아닌 사용자가 읽는 답변이 스트리밍되기 시작한 시점을 반영합니다.
- 마지막 토큰까지의 시간 (TTLT): 요청을 수신하고 마지막 토큰을 스트리밍하는 사이의 지연 시간으로, 응답이 완료되는 시점입니다.
기능별 지연 시간 측정항목 필터링
기능은 웹 검색이나 이미지 생성과 같이 차례가 나타내는 상호작용의 종류입니다. 기능별로 지연 시간 측정항목을 필터링하여 가장 느린 상호작용 유형을 확인하고 느린 기능 하나가 전체 지연 시간을 왜곡하지 않도록 합니다.
기능별로 지연 시간 측정항목을 필터링하려면 다음 단계를 따르세요.
- 에이전트의 모니터링 가능성 탭에서 지연 시간 뷰를 클릭합니다.
- 기능별 필터링을 클릭합니다.
- 검사할 특성을 선택합니다.
그러면 요약 카드와 시계열 차트에 해당 기능의 차례만 표시됩니다.
모든 기능을 한 번에 비교하려면 기능 원격 분석 표를 사용하세요. 이 표에는 각 기능에 대해 다음이 나열되어 있습니다.
- 트래픽 점유율: 기능에 기여한 대화의 비율입니다.
- TTFT, TTFA, TTLT: 특성의 p50 및 p95 지연 시간입니다.
다음 기능을 사용하여 필터링할 수 있습니다.
- 파라미터: 번역 작업과 같이 도구 없이 텍스트 출력만을 위해 모델에 요청을 전송하는 상호작용입니다.
- 미디어 생성: 이미지 및 동영상 생성 작업
- 웹 검색만: 웹 검색 도구를 사용하여 모델에 요청을 전송하는 상호작용입니다.
- 업로드된 파일 분석: 사용자가 업로드한 파일과 함께 모델에 요청을 전송하는 상호작용입니다.
- 커넥터: 내부 또는 서드 파티 커넥터에 요청을 전송하는 쿼리입니다.
- Canvas: Canvas를 사용하는 생성 작업입니다.
- 스킬: 스킬을 호출하는 상호작용입니다.
- 기타: 여러 기능에 걸쳐 있거나 아직 분류되지 않은 턴을 모두 포착합니다.
오류율 측정항목
이 뷰는 에이전트의 요청이 어떻게 해결되는지 보여주며, OK (2xx), 클라이언트 오류 (4xx), 서버 오류 (5xx), 취소됨과 같은 응답 클래스별로 그룹화됩니다. 다음이 포함됩니다.
- 응답 클래스별 요청 볼륨: 시간 경과에 따른 인바운드 요청 수로, 응답 클래스별로 누적됩니다.
- 응답 클래스별 오류율: 시간 경과에 따라 실패한 요청의 비율로, 응답 클래스별로 분할됩니다.
- 클라이언트 오류 코드(4xx) 및 서버 오류 코드(5xx): 시간에 따른 개별 표준 gRPC 응답 코드(예:
INVALID_ARGUMENT또는INTERNAL)로, 어떤 특정 오류가 급증을 유발하는지 알 수 있습니다. - 합계: 선택한 기간 동안 각 결과의 요청 수와 총 요청 비율이며, 개별 클라이언트 및 서버 오류 코드의 순위를 매기는 별도의 테이블이 있습니다.
다음 단계
- Gemini Enterprise 측정항목으로 대시보드를 만듭니다. 자세한 내용은 커스텀 대시보드 만들기 및 관리를 참조하세요.
- 측정항목이 기준점을 초과하면 알림을 만듭니다. 자세한 내용은 측정항목 기준점 알림 정책 만들기를 참조하세요.
- 측정항목 탐색기 추적을 사용 중지하려면 모니터링 가능성 설정 사용 중지를 참조하세요.