분석 데이터 보기 및 내보내기

애널리틱스를 사용하면 앱의 사용 동향, 검색 품질, 최종 사용자 참여에 대한 통계를 얻을 수 있습니다. 콘솔은 Looker를 기반으로 하는 대화형 대시보드 환경을 제공합니다. 이 페이지에서는 앱의 분석을 보는 방법을 설명합니다.

시작하기 전에

앱이 데이터 스토어에 연결되어 있는지 확인합니다. 앱 측정항목은 데이터 스토어가 앱에 연결된 시점부터만 사용할 수 있습니다.

데이터 스토어가 없는 경우 Google 데이터 소스 또는 서드 파티 데이터 소스를 앱에 연결해야 합니다.

분석용 사용자 이벤트

이 섹션에서는 Gemini Enterprise가 검색 횟수 및 클릭률과 같은 검색 관련 측정항목을 생성하는 데 사용하는 사용자 이벤트를 설명합니다. Gemini Enterprise 어시스턴트를 통해 사용자 인터페이스를 사용하여 검색하고 대답을 얻는 경우 추가 구성이 필요하지 않습니다. 하지만 자체 앱에서 Gemini Enterprise API를 사용하는 경우 앱에서 검색을 구성하여 사용자 이벤트를 캡처한 다음 사용자 이벤트를 앱으로 가져와야 합니다.

Gemini Enterprise 앱에서 측정항목을 가져오려면 다음 사용자 이벤트가 필요합니다.

  • 검색 이벤트. 클릭률에 필요합니다.
  • 항목 조회 이벤트. 클릭률에 필요합니다.

다음 정보는 일부 분석에도 사용됩니다.

  • 노출수. 사용자 이벤트를 수집할 때 UserEvent.Documents에 연결된 항목을 포함하여 Google에 기인하는 노출수 (항목 조회수 또는 클릭수)를 제공할 수 있습니다. 이 정보는 기여 분석 및 검색당 측정항목을 계산하는 데 필요합니다.
  • 기여 분석 토큰. 기여 분석 토큰은 Google에서 생성되고 각 검색 요청으로 반환되는 고유 ID입니다. 검색으로 인해 발생한 사용자 이벤트에 이 기여 분석 토큰을 UserEvent.attributionToken으로 포함해야 합니다. 이는 검색이 API에서 제공되는지 식별하는 데 필요합니다. Google에서 생성한 기여 분석 토큰이 있는 사용자 이벤트만 측정항목을 계산하는 데 사용됩니다.
  • 로그 검색 검색 로그는 검색 요청을 기반으로 합니다. Google이 사용자 세션을 식별하여 세션별 분석 및 더 높은 품질의 검색 결과를 제공할 수 있도록 하려면 선택적 필드인 SearchRequest.UserPseudoId를 설정하는 것이 좋습니다.

검색 로그나 사용자 이벤트가 없으면 모든 측정항목에 기본값이 표시됩니다.

Gemini Enterprise 분석 보기

앱의 검색 분석을 볼 수 있습니다. 앱에 대한 검색 호출과 관련된 측정항목이 표시됩니다. 앱이 여러 데이터 스토어에 연결된 경우 engine 리소스를 지정하여 앱에 대한 검색 호출을 수행하는 것이 좋습니다. 이렇게 하면 연결된 모든 데이터 스토어에서 결과를 가져올 수 있습니다.

다음 안내에 따라 앱에 관한 분석을 확인합니다.

  1. Google Cloud 콘솔에서 Gemini Enterprise 페이지로 이동합니다.

    Gemini Enterprise

  2. 분석을 확인하려는 앱의 이름을 클릭합니다.

  3. 분석을 클릭합니다.

  4. 탭을 클릭하여 해당 측정항목 그룹을 확인합니다.

    • 채택: 사용자 채택 상태에 관한 측정항목입니다.

    • 사용 및 품질: 사용자 의견 및 앱 사용에 관한 측정항목입니다.

    • 에이전트: Google에서 만든 에이전트, Gemini Notebook Enterprise, 조직에서 만들고 Gemini Enterprise에 등록한 에이전트를 포함한 Gemini Enterprise 웹 앱의 에이전트 측정항목입니다.

    • 가치: 앱으로 데이터를 쿼리하는 사용자가 달성한 비용 절감에 대한 측정항목입니다.

    • 사용자 수준: 측정항목에는 조직 내 사용자의 사용자 ID (이메일 주소 또는 고유 식별자)와 Google에서 만든 에이전트 및 조직에서 Gemini Enterprise에 만들고 등록한 에이전트와의 상호작용이 포함됩니다.

    채택에 대한 분석 데이터를 확인합니다.
    도입 분석 데이터 보기

  5. 측정항목을 필터링하려면 측정항목 탭에 사용할 수 있는 필터를 지정한 후 새로고침 버튼을 클릭하여 적용합니다.

측정항목 정의

다음 표에서는 측정항목이 정의되는 방식을 설명합니다.

측정항목 그룹 측정항목 이름 측정항목 정의 참고
채택 현황 총 사용자 수 선택한 기간 동안 Gemini Enterprise의 순 활성 사용자 수입니다. 사용자가 로그인하고 홈페이지에 방문하는 등의 API 호출을 트리거하면 활성 사용자로 간주됩니다. 개수는 고유하므로 어시스턴트, 답변, 검색 API 메서드를 호출하는 사용자는 총계에서 한 번만 집계됩니다.
사용자가 어시스턴트를 호출함 AssistantService 메서드를 호출하거나 어시스턴트를 사용하여 답변을 생성한 사용자 수입니다.
사용자 전화 응답 ConversationalSearchService 및 GenerativeSearchAnswerService 메서드를 호출하여 답변을 생성한 사용자 수입니다.
사용자 검색 호출 검색 결과를 가져오기 위해 SearchService 메서드를 호출한 사용자 수입니다.
다른 API 메서드를 호출하는 사용자 streamAssist, streamAnswer, engines.servingConfigs.search 이외의 API 메서드를 호출한 사용자 수입니다. 예를 들어 인증 API 메서드를 호출하는 사용자입니다.
일일 활성 사용자 수 일일 활성 사용자 수 사용자가 로그인하고 홈페이지에 방문하는 등의 API 호출을 트리거하면 활성 사용자로 간주됩니다.
주간 활성 사용자 수 주별 활성 사용자 수입니다. 주는 월요일에 시작하여 일요일에 끝납니다.
월간 활성 사용자 수 월별 활성 사용자 수
7일 유지율 현재 7일 동안의 재방문자 수 / 이전 7일 동안의 활성 사용자 수 사용자가 현재 7일 기간과 이전 7일 기간 동안 활성 상태인 경우 재방문자로 간주됩니다.
7일 성장률 현재 7일 기간과 이전 7일 기간의 활성 사용자 수 간의 비율 차이입니다.
7일 이탈률 현재 7일 동안의 이탈 사용자 수 / 이전 7일 동안의 활성 사용자 수 사용자가 이전 7일 동안 활성 상태였지만 현재 7일 동안 활성 상태가 아닌 경우 이탈한 것으로 간주됩니다.
28일 유지율 현재 28일 동안의 재방문자 수 / 이전 28일 동안의 활성 사용자 수
28일 성장률 현재 28일 기간과 이전 28일 기간의 활성 사용자 수 간의 비율 차이입니다.
28일 이탈률 현재 28일 동안의 이탈 사용자 수 / 이전 28일 동안의 활성 사용자 수
구매한 라이선스 조직에서 구매한 라이선스 (사용 가능 라이선스) 수 Gemini Enterprise에 등록한 이후 구매한 모든 라이선스가 포함됩니다.
사용 중인 라이선스 조직 내 개인에게 할당되고 개인이 수락한 사용자 라이선스 수 Gemini Enterprise에 등록한 이후 사용한 모든 라이선스가 포함됩니다.
사용 및 품질 검색 횟수 사용자가 Gemini Enterprise에 입력한 총 검색어 수입니다.
답변 수 Gemini Enterprise가 사용자 질문에 대한 답변을 생성한 총 횟수입니다. 상담사가 생성한 답변은 이 수에 포함되지 않습니다.
작업 수 Gemini Enterprise에서 파일 업로드, 폴더 생성, 커넥터 작업 사용 등의 총 상호작용 수입니다. 이메일 템플릿 만들기 등의 작업이 포함됩니다.
검색당 클릭률(CTR) 총 검색 결과 클릭수 / 검색 수 검색 결과 클릭수에는 검색 결과 및 내부 참조 클릭수가 포함됩니다.
카테고리별 페이지 조회수 각 카테고리 페이지의 총 조회수
의견 좋아요 및 싫어요 수 사용자가 보낸 좋아요 및 싫어요 수 앱 사용자가 전송한 좋아요/싫어요 의견 응답의 기록입니다.
의견 싫어요 이유 분석 싫어요 이유 비율 사용자가 생성된 답변을 싫어하는 경우 여러 가지 이유를 선택하여 싫어하는 이유를 설명할 수 있습니다. 각 이유가 선택된 빈도를 백분율로 표시합니다.
성공적인 검색 비율 성공적인 검색 수 / 검색 수
성공적인 답변 비율 성공한 답변 수 / 답변 수
에이전트 월간 활성 에이전트 사용자 수 월별로 에이전트를 사용한 총 활성 사용자 수입니다. 사용자가 에이전트, 조사 또는 아이디어 포지 모드에서 해당 에이전트에 어시스턴트 호출을 할 때마다 에이전트의 활성 사용자로 집계됩니다. 여기에는 Workflow Builder에서 미리보기 또는 테스트 중에 에이전트 생성자가 수행하는 활동이 포함됩니다. 이러한 작업은 최종 사용자 상호작용과 마찬가지로 에이전트 ID를 사용하여 일반적인 어시스턴트 호출을 생성하기 때문입니다. 상담사 ID가 할당되지 않은 저장되지 않은 초안과의 상호작용만 이 수에서 제외됩니다.
월별 상담사 채팅 세션 특정 에이전트와 상호작용하는 사용자가 월별로 시작한 총 채팅 세션 수입니다. 채팅 세션은 사용자가 하루 동안 동일한 채팅 대화목록 내에서 에이전트와 상호작용하는 것으로 정의됩니다. 사용자가 다음 날 동일한 채팅 대화목록에서 대화를 계속하면 새 세션으로 간주됩니다. Workflow Builder에서 시작된 프리뷰 및 테스트 세션은 최종 사용자 세션과 동일한 어시스턴트 API 경로를 통해 흐르고 세션 ID를 수신하므로 집계됩니다.
월별 사용된 에이전트 월별 활성 사용자가 1명 이상인 에이전트의 총수입니다. 월간 활성 에이전트 사용자와 동일한 활성 사용자 정의를 사용합니다.
월별 총 채팅 세션 수 사용자가 에이전트와 상호작용하여 시작한 월별 총 채팅 세션 수입니다. 채팅 세션은 사용자가 하루 동안 동일한 채팅 대화목록 내에서 에이전트와 상호작용하는 것으로 정의됩니다. 사용자가 다음 날 동일한 채팅 대화목록에서 대화를 계속하면 새 세션으로 간주됩니다. Workflow Builder에서 시작된 프리뷰 및 테스트 세션은 최종 사용자 세션과 동일한 어시스턴트 API 경로를 통해 흐르고 세션 ID를 수신하므로 집계됩니다.
월별 생성된 에이전트 수 지난달에 생성된 총 에이전트 수입니다.
에이전트 이름 리더보드의 에이전트 이름 열에 표시되는 에이전트의 표시 이름으로, 에이전트 ID 열의 에이전트 ID 옆에 표시됩니다. 에이전트 이름이 변경된 경우 리더보드에 가장 최근 표시 이름이 표시됩니다. 에이전트의 표시 이름을 사용할 수 없는 경우 에이전트 이름 열에 에이전트 ID가 표시됩니다.
Gemini Notebook Enterprise 일일 활성 사용자 수 일일 Gemini Notebook Enterprise 활성 사용자 수입니다. Gemini Notebook Enterprise 측정항목은 엔진별이 아닌 프로젝트 전체에서 계산됩니다.
생성된 Gemini Notebook Enterprise 일일 노트북 하루에 생성되는 Gemini Notebook Enterprise 노트북 수입니다. Gemini Notebook Enterprise 측정항목은 엔진별이 아닌 프로젝트 전체에서 계산됩니다.
사용자당 생성된 Gemini Notebook Enterprise 일일 노트북 수 사용자당 일일 생성되는 Gemini Notebook Enterprise 노트북 수입니다. Gemini Notebook Enterprise 측정항목은 엔진별이 아닌 프로젝트 전체에서 계산됩니다.
Gemini Notebook Enterprise 일일 공유 노트북 하루에 공유되는 Gemini Notebook Enterprise 노트북 수입니다. Gemini Notebook Enterprise 측정항목은 엔진별이 아닌 프로젝트 전체에서 계산됩니다.
생성된 Gemini Notebook Enterprise 일일 AI 오디오 오버뷰 하루에 생성된 Gemini Notebook Enterprise AI 오디오 오버뷰 수입니다. Gemini Notebook Enterprise 측정항목은 엔진별이 아닌 프로젝트 전체에서 계산됩니다.
Gemini Notebook Enterprise 월간 활성 사용자 수 월별 Gemini Notebook Enterprise 활성 사용자 수입니다. Gemini Notebook Enterprise 측정항목은 엔진별이 아닌 프로젝트 전체에서 계산됩니다.
생성된 Gemini Notebook Enterprise 월간 노트북 월별로 생성된 Gemini Notebook Enterprise 노트북 수입니다. Gemini Notebook Enterprise 측정항목은 엔진별이 아닌 프로젝트 전체에서 계산됩니다.
사용자당 생성된 Gemini Notebook Enterprise 월간 노트북 수 사용자당 월별로 생성된 Gemini Notebook Enterprise 노트북의 평균 개수입니다. Gemini Notebook Enterprise 측정항목은 엔진별이 아닌 프로젝트 전체에서 계산됩니다.
공유된 Gemini Notebook Enterprise 월간 노트북 매월 공유되는 Gemini Notebook Enterprise 노트북 수입니다. Gemini Notebook Enterprise 측정항목은 엔진별이 아닌 프로젝트 전체에서 계산됩니다.
Gemini Notebook Enterprise 월간 생성된 AI 오디오 오버뷰 월별로 생성된 Gemini Notebook Enterprise AI 오디오 오버뷰 수입니다. Gemini Notebook Enterprise 측정항목은 엔진별이 아닌 프로젝트 전체에서 계산됩니다.
Value
(공개 프리뷰)
검색 성공 성공한 검색 수입니다. 성공적인 검색 횟수는 검색 후 사용자 행동에 따라 결정됩니다. 다음 중 하나가 발생하면 검색이 성공한 것으로 간주됩니다.
  • 새 검색이 시작되기 전에 검색 결과가 클릭되는 경우
  • 검색 응답에 인물 검색 결과가 포함되어 있고 2분 이내에 다른 검색이 이어지지 않는 경우 이는 사용자 검색 결과가 검색 결과 페이지에 표시되며 일반적으로 클릭이 필요하지 않기 때문입니다.
성공적인 답변 성공한 답변 수 답변의 성공 여부는 답변이 생성된 후 사용자의 행동에 따라 결정됩니다. 성공은 제공된 의견 또는 후속 질문이 얼마나 빨리 이루어졌는지에 따라 측정됩니다.
  • 사용자가 답변에 좋아요를 누르면 쿼리가 성공한 것으로 간주됩니다.
  • 의견이 없고 사용자가 30초 이내에 다른 쿼리를 요청하지 않으면 쿼리가 성공한 것으로 간주됩니다.
선택한 날짜에 절약된 직원 근무 시간 (성공적인 검색 횟수 + 성공적인 답변 횟수) x 성공적인 답변당 절약된 시간(분)
선택한 날짜에 값이 저장됨 선택한 기간 내에 절약한 시간 ✕ 평균 직원 시간당 요율 이 측정항목을 보려면 값 탭에서 직원 시간당 요율 필드의 시간당 요율을 지정합니다.
예상 연간 직원 시간 절약 (성공적인 검색 횟수 + 성공적인 답변 횟수) x 성공적인 검색당 절약된 시간(분) 예상 연간 성공 검색 횟수는 선택한 기간 내의 성공 검색 횟수에서 파생됩니다. 각 쿼리는 3분을 절약하는 것으로 추정되며, 이는 Google의 내부 연구를 기반으로 한 추정치입니다.
예상 연간 절감액 예상 연간 직원 절약 시간 ✕ 평균 직원 시간당 급여 이 측정항목을 보려면 값 탭에서 직원 시간당 요율 필드의 시간당 요율을 지정합니다.
사용자 수준
사용자 ID 조직 내 각 사용자의 이메일 주소입니다. 이메일 주소를 사용할 수 없는 경우 사용자의 원래 고유 식별자가 표시됩니다.
총 메시지 수 사용자가 Gemini Enterprise 웹 앱에 보낸 총 메시지 수입니다. 사용자가 보낸 모든 메시지가 포함되며 Gemini Enterprise 에이전트와의 대화로 제한되지 않습니다.
Google에서 만든 에이전트에 보내는 메시지 선택한 날짜 및 시간 범위 내에서 사용자가 Google에서 만든 에이전트에 보낸 총 메시지 수입니다.
상담사에게 보내는 메시지 선택한 기간 내에 사용자가 조직에서 만들고 Gemini Enterprise에 등록한 에이전트에게 보낸 총 메시지 수입니다.

측정항목 내보내기

다음 단계에 따라Google Cloud 프로젝트의 BigQuery 테이블로 측정항목을 내보냅니다.

  1. 필수 권한과 역할이 있는지 확인합니다.

  2. BigQuery 데이터 세트를 만듭니다.

    1. Google Cloud 콘솔에서 BigQuery 페이지를 엽니다.

      BigQuery 페이지로 이동

    2. 탐색기 패널에서 Gemini Enterprise 앱이 있는 동일한 프로젝트를 선택하여 데이터 세트를 만듭니다.

    3. 옵션을 클릭하고 데이터 세트 만들기를 클릭합니다.

    4. 데이터 세트 만들기 페이지에서 다음을 실행합니다.

      • 데이터 세트 ID에 고유한 데이터 세트 이름을 입력합니다. API를 통해 측정항목을 내보내려면 데이터 세트 이름이 필요합니다.

      • 위치 유형의 경우 다음 표에서는 BigQuery 위치를 Gemini Enterprise 앱 위치에 매핑하는 방법을 보여줍니다.

        Gemini Enterprise 앱 멀티 리전 위치 BigQuery 멀티 리전 위치
        전역 US (미국 내 여러 리전)
        US (미국 내 여러 리전) US (미국 내 여러 리전)
        EU (유럽 연합의 여러 리전) EU (유럽 연합의 여러 리전)

    5. 데이터 세트 만들기를 클릭합니다.

  3. 만든 데이터 세트에 대해 빈 BigQuery 테이블을 만듭니다.

    1. 탐색기 패널에서 프로젝트를 펼친 후 만든 데이터 세트를 선택합니다.
    2. 데이터 세트 정보 섹션에서 테이블 만들기를 클릭합니다.
    3. 테이블 만들기 패널의 테이블 필드에 테이블 이름을 지정합니다. API를 통해 측정항목을 내보내려면 테이블 이름이 필요합니다.
    4. 테이블 만들기를 클릭합니다.

  4. analytics:exportMetrics 메서드를 호출하여 현재 날짜를 포함한 지난 30일간의 측정항목 데이터를 가져옵니다.

    REST

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
-d '{
   "analytics": "projects/PROJECT_ID/locations/LOCATION/collections/default_collection/engines/APP_ID",
   "outputConfig":
      {
         "bigqueryDestination":
         {
            "datasetId": "BIGQUERY_DATASET_ID",
            "tableId": "BIGQUERY_TABLE_ID"
         }
      }
   }' \
"https://ENDPOINT_LOCATION-discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/LOCATION/collections/default_collection/engines/APP_ID/analytics:exportMetrics"

    다음을 바꿉니다.

    • ENDPOINT_LOCATION: API 요청의 멀티 리전입니다. 다음 값 중 하나를 지정합니다.
      • 미국 멀티 리전의 경우 us
      • EU 멀티 리전의 경우 eu
      • 전역 위치의 경우 global
      자세한 내용은 데이터 스토어의 멀티 리전 지정을 참조하세요.
    • LOCATION: 데이터 스토어의 멀티 리전입니다(global, us 또는 eu).
    • PROJECT_ID: Google Cloud 프로젝트의 ID입니다.
    • APP_ID: 측정항목을 내보낼 앱의 ID입니다.
    • BIGQUERY_DATASET_ID: 만든 BigQuery 데이터 세트의 ID입니다.
      데이터 세트 ID는 <PROJECT_ID>.<DATASET_ID> 형식을 따릅니다. <DATASET_ID>만 제공하면 됩니다.
    • BIGQUERY_TABLE_ID: 만든 BigQuery 테이블의 ID입니다.
      기존 탐색기 뷰에서 테이블 ID는 <PROJECT_ID>.<DATASET_ID>.<TABLE_ID> 형식을 따릅니다. <TABLE_ID>만 제공하면 됩니다.

    응답에는 작업 이름과 ID가 포함됩니다. 다음 단계에서 사용할 작업 ID를 기록해 둡니다.
    예를 들면 다음과 같습니다.

    {
   "name": "projects/my-project-123/locations/global/collections/default_collection/engines/my-app/operations/OPERATION_ID",
   "metadata": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.ExportMetricsMetadata"
   }
}

  5. 측정항목 내보내기 작업의 상태를 보려면 engines.operations.get 메서드를 호출합니다.

    REST

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://ENDPOINT_LOCATION-discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/LOCATION/collections/default_collection/engines/APP_ID/operations/OPERATION_ID"

    다음을 바꿉니다.

    • ENDPOINT_LOCATION: API 요청의 멀티 리전입니다. 다음 값 중 하나를 지정합니다.
      • 미국 멀티 리전의 경우 us
      • EU 멀티 리전의 경우 eu
      • 전역 위치의 경우 global
      자세한 내용은 데이터 스토어의 멀티 리전 지정을 참조하세요.
    • LOCATION: 데이터 스토어의 멀티 리전입니다(global, us 또는 eu).
    • APP_ID: 장기 실행 작업을 가져올 앱의 ID입니다.
    • OPERATION_ID: 측정항목을 내보내는 명령어를 실행할 때 응답에 반환된 내보내기 측정항목 작업의 ID입니다.