모델 모니터링

이 문서에서는 Gemini Enterprise Agent Platform에서 완전 관리형 모델의 동작, 상태, 성능을 모니터링하는 방법을 설명합니다. 사전 빌드된 모델 모니터링 가능성 대시보드를 사용하여 모델 사용에 관한 통계를 얻고, 지연 시간 문제를 식별하고, 오류를 해결하는 방법을 설명합니다.

다음 작업을 수행하는 방법을 알아봅니다.

  • 모델 모니터링 가능성 대시보드에 액세스하고 이를 해석합니다.
  • 사용 가능한 모니터링 측정항목을 확인합니다.
  • 측정항목 탐색기를 사용하여 모델 엔드포인트 트래픽을 모니터링합니다.

모델 모니터링 가능성 대시보드에 액세스하고 해석하기

Agent Platform은 완전 관리형 모델의 동작, 상태, 성능을 볼 수 있는 사전 빌드된 모델 모니터링 가능성 대시보드를 제공합니다. 서비스로서의 모델(MaaS)이라고도 부르는 완전 관리형 모델은 Google에서 제공되며 관리형 엔드포인트와 함께 Google의 Gemini 모델 및 파트너 모델을 포함합니다. 자체 호스팅된 모델의 측정항목은 대시보드에 포함되지 않습니다.

에이전트 플랫폼은 MaaS 모델의 활동을 자동으로 수집 및 보고하여 지연 시간 문제를 빠르게 문제 해결하고 용량을 모니터링할 수 있게 해줍니다.

Cloud 콘솔의 샘플 모델 모니터링 가능성 대시보드
모델 모니터링 가능성 대시보드 예시

사용 사례

애플리케이션 개발자는 자신이 노출한 모델에 대한 사용자의 상호작용 방법을 확인할 수 있습니다. 예를 들어 모델 사용량(초당 모델 요청 수) 및 사용자 프롬프트의 컴퓨팅 강도(모델 호출 지연 시간)가 시간별로 달라지는 추세를 확인할 수 있습니다. 따라서 이러한 측정항목이 모델 사용량과 관련이 있기 때문에 각 모델을 실행하는 비용도 예상할 수 있습니다.

문제가 발생하면 대시보드에서 빠르게 문제 해결할 수 있습니다. API 오류 비율, 최초 토큰 지연 시간, 토큰 처리량을 보고 모델이 안정적으로 적절한 시간 내에 응답하는지 확인할 수 있습니다.

사용 가능한 모니터링 측정항목

모델 모니터링 가능성 대시보드에는 모델의 초당 요청 수(QPS), 토큰 처리량, 최초 토큰 지연 시간과 같이 Cloud Monitoring에서 수집되는 일부 측정항목이 표시됩니다. 사용 가능한 모든 측정항목을 보려면 대시보드를 확인하세요.

제한사항

Agent Platform은 모델 엔드포인트에 대한 API 호출의 대시보드 측정항목만 캡처합니다. Agent Studio의 측정항목과 같은 Google Cloud 콘솔 사용량은 대시보드에 추가되지 않습니다.

대시보드 보기

  1. Google Cloud 콘솔의 Agent Platform 섹션에서 대시보드 페이지로 이동합니다.

Agent Platform으로 이동 1. 대시보드의 모델 모니터링 가능성에서 모든 측정항목 표시를 클릭하여 Google Cloud Observability 콘솔에서 모델 모니터링 가능성 대시보드를 확인합니다.

  1. 특정 모델에 대한 또는 특정 위치에 있는 측정항목을 보려면 대시보드 페이지 맨 위에서 하나 이상의 필터를 설정합니다.

    각 측정항목에 대한 설명은 Google Cloud 측정항목 페이지에서 'aiplatform' 섹션을 참조하세요.

1초 해상도 보기

모델 모니터링 가능성 대시보드는 추론 요청 메타데이터 로깅이 사용 설정된 경우 기존 차트에 1초 해상도 옵션을 추가합니다. 1초 옵션은 1분 집계 측정항목 대신 추론 요청 메타데이터 로그를 읽으므로 1분 평균에서 숨겨진 버스트를 표시합니다.

1초 옵션을 사용하려면 프로젝트에서 추론 요청 메타데이터 로깅을 사용 설정하고 _Default 로그 버킷을 Observability Analytics로 업그레이드해야 합니다. 로깅을 사용 설정하려면 추론 요청 메타데이터 로그 사용 설정을 참조하세요.

이를 보려면 모든 측정항목 표시를 클릭하여 모델 모니터링 가능성 대시보드를 엽니다. 1초 해상도를 지원하는 차트의 헤더에는 드롭다운이 있습니다. 모델의 초당 요청 수 (QPS), 모델별 토큰 수, 응답 코드별 모델 호출, 모델 호출 오류율 (%), 토큰 섹션의 차트가 여기에 해당합니다. 각 드롭다운은 기존 측정항목의 1분 해상도 옵션을 기본값으로 유지하고 로그의 1초 해상도 옵션을 추가합니다. 1초 옵션을 선택하고 기간을 200초 이하로 설정하면 초당 한 지점이 표시됩니다. 범위가 길면 각 지점은 버킷의 초당 평균입니다. 로깅이 사용 설정될 때까지 1초 옵션에는 '이 기간에 추론 요청 로그가 없습니다. 1초 데이터를 보려면 로깅을 사용 설정하세요.'라는 메시지가 표시되고 1분 옵션은 이전과 동일하게 작동합니다.

1초 해상도 옵션이 선택된 모델 모니터링 가능성 차트
드롭다운이 로그 옵션에서 1초 해상도로 설정된 모델 모니터링 가능성 차트

모델 엔드포인트 트래픽 모니터링

다음 안내에 따라 측정항목 탐색기에서 엔드포인트로 전송되는 트래픽을 모니터링하세요.

  1. Google Cloud 콘솔에서 측정항목 탐색기 페이지로 이동합니다.

    측정항목 탐색기로 이동

  2. 측정항목을 보려는 프로젝트를 선택합니다.

  3. 측정항목 드롭다운 메뉴에서 측정항목 선택을 클릭합니다.

  4. 리소스 또는 측정항목 이름으로 필터링 검색창에 Gemini Enterprise Agent Platform Endpoint를 입력합니다.

  5. Agent Platform 엔드포인트 > 예측 측정항목 카테고리를 선택합니다. 활성 측정항목에서 다음 측정항목 중 하나를 선택합니다.

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    적용을 클릭합니다. 측정항목을 2개 이상 추가하려면 쿼리 추가를 클릭합니다.

    다음 드롭다운 메뉴를 사용해서 측정항목을 필터링하거나 집계할 수 있습니다.

    • 지정된 기준에 따라 데이터의 하위 집합을 선택하고 보려면 필터 드롭다운 메뉴를 사용하세요. 예를 들어 gemini-2.0-flash-001 모델을 필터링하려면 endpoint_id = gemini-2p0-flash-001을 사용합니다(모델 버전의 .이 p로 대체됨).

    • 여러 데이터 포인트를 단일 값으로 결합하고 측정항목의 요약 뷰를 보려면 집계 드롭다운 메뉴를 사용하세요. 예를 들어 response_code의 합계를 집계할 수 있습니다.

  6. 원하는 경우 엔드포인트에 대한 알림을 설정할 수 있습니다. 자세한 내용은 알림 정책 관리를 참조하세요.

대시보드를 사용하여 프로젝트에 추가한 측정항목을 보려면 대시보드 개요를 참조하세요.

다음 단계