Bigtable에서 카운터 만들기 및 업데이트

쓰기 시간에 값을 집계하는 테이블 셀인 집계를 사용하여 Bigtable에서 카운터를 만들고 업데이트하는 방법을 알아봅니다. 이 빠른 시작에서는Google Cloud 콘솔, Google Cloud CLI 또는 cbt CLI를 사용하여 다음 카운터를 만듭니다.

  • 누적 합계를 유지하는 카운터
  • 추가된 모든 값의 최솟값을 추적하는 카운터
  • 추가된 모든 값의 최댓값을 추적하는 카운터

시작하기 전에

  1. Google Cloud CLI를 설치합니다.

  2. gcloud CLI에서 제휴 ID를 사용하도록 구성합니다.

    자세한 내용은 제휴 ID로 gcloud CLI에 로그인을 참고하세요.

  3. gcloud CLI를 초기화하려면, 다음 명령어를 실행합니다. 

    gcloud init

  4. gcloud CLI를 초기화한 후 업데이트하고 필요한 구성요소를 설치합니다. 

    gcloud components update
gcloud components install cbt

  5. Google Cloud 프로젝트를 만들거나 선택합니다.

    프로젝트를 선택하거나 만드는 데 필요한 역할

    • 프로젝트 선택: 프로젝트를 선택하는 데는 특정 IAM 역할이 필요하지 않습니다. 역할이 부여된 프로젝트를 선택하면 됩니다.
    • 프로젝트 만들기: 프로젝트를 만들려면 resourcemanager.projects.create 권한이 포함된 프로젝트 생성자 역할(roles/resourcemanager.projectCreator)이 필요합니다. 역할 부여 방법 알아보기

    • Google Cloud 프로젝트를 만듭니다.

      gcloud projects create PROJECT_ID

      PROJECT_ID를 만들려는 Google Cloud 프로젝트의 이름으로 바꿉니다.

    • 만든 Google Cloud 프로젝트를 선택합니다.

      gcloud config set project PROJECT_ID

      PROJECT_ID을 Google Cloud 프로젝트 이름으로 바꿉니다.

  6. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  7. Cloud Bigtable API 및 Cloud Bigtable Admin API를 사용 설정합니다.

    API 사용 설정에 필요한 역할

    API를 사용 설정하려면 serviceusage.services.enable 권한이 필요합니다. 프로젝트를 만든 경우 소유자 역할 (roles/owner)을 통해 이 권한이 이미 있을 수 있습니다. 그렇지 않으면 서비스 사용량 관리자 역할 (roles/serviceusage.serviceUsageAdmin)을 통해 이 권한을 얻을 수 있습니다. 역할을 부여하는 방법 알아보기 

    gcloud services enable bigtable.googleapis.com bigtableadmin.googleapis.com
  8. 다음 명령어를 실행하여 gcloud CLI가 최신 상태이고 cbt CLI가 포함되어 있는지 확인합니다. 
    gcloud components update
     
    gcloud components install cbt

Bigtable 인스턴스를 만듭니다.

콘솔

  1. Google Cloud 콘솔에서 인스턴스 만들기 페이지로 이동합니다.

    인스턴스 만들기로 이동

  2. 인스턴스 이름 필드에 Counters quickstart instance를 입력합니다.

  3. 인스턴스 ID 필드에 counters-quickstart-instance를 입력합니다.

  4. 계속을 클릭합니다.

  5. 버전 선택 섹션에서 Enterprise를 선택합니다.

  6. 계속을 클릭합니다.

  7. 스토리지 유형 섹션에서 SSD를 선택합니다.

  8. 계속을 클릭합니다.

  9. 클러스터 ID 필드에 counters-quickstart-cluster를 입력합니다.

  10. 리전 목록에서 us-east1 (사우스캐롤라이나)을 선택합니다.

  11. 영역 목록에서 us-east1-c를 선택합니다.

  12. 노드 확장 섹션에서 자동 확장을 선택한 후 다음을 수행합니다.

    1. 최소 노드 수에 1을 입력합니다.
    2. 최대 노드 수에 3을 입력합니다.

  13. 만들기를 클릭하여 인스턴스를 만듭니다.

gcloud

  1. bigtable instances create 명령어를 사용하여 인스턴스를 만듭니다.

    gcloud bigtable instances create counters-quickstart-instance \
    --display-name="Counters quickstart instance" \
    --edition=ENTERPRISE \
    --cluster-config=id="counters-quickstart-cluster",zone="us-east1-c"

내 인스턴스에 연결

  1. .cbtrc 파일을 만들어 프로젝트와 인스턴스를 사용하도록 cbt CLI를 구성합니다.

    echo project = PROJECT_ID >> ~/.cbtrc && echo instance = counters-quickstart-instance >> ~/.cbtrc

    PROJECT_ID를 사용 중인 프로젝트의 ID로 바꿉니다.

  2. .cbtrc 파일을 올바르게 설정했는지 확인합니다.

    cat ~/.cbtrc

    터미널에는 .cbtrc 파일의 콘텐츠가 표시됩니다. 이는 다음과 유사합니다.

    project = PROJECT_ID
instance = counters-quickstart-instance

    이제 인스턴스에서 cbt CLI를 사용할 수 있습니다.

집계 column family가 있는 테이블 만들기

콘솔

  1. Google Cloud 콘솔의 왼쪽 탐색창에서 테이블을 클릭합니다.

  2. 테이블 만들기를 클릭합니다.

  3. 테이블 ID 필드에 counters_quickstart_table을 입력합니다.

  4. column family에서 추가할 각 column family에 대해 column family 추가를 클릭하고 다음 설정을 입력합니다.

    • sum_family:

      1. 열 패밀리 이름 필드에 sum_family를 입력합니다.
      2. 열 패밀리 유형 섹션에서 집계를 선택합니다.
      3. 애그리게이터 목록에서 합계를 선택합니다.
      4. 가비지 컬렉션 정책 설정 섹션에서 가비지 컬렉션을 수집하지 않음을 선택합니다.
      5. 완료를 클릭합니다.

    • min_family:

      1. 열 패밀리 이름 필드에 min_family를 입력합니다.
      2. 열 패밀리 유형 섹션에서 집계를 선택합니다.
      3. 애그리게이터 목록에서 최솟값을 선택합니다.
      4. 가비지 컬렉션 정책 설정 섹션에서 가비지 컬렉션을 수집하지 않음을 선택합니다.
      5. 완료를 클릭합니다.

    • max_family:

      1. 열 패밀리 이름 필드에 max_family를 입력합니다.
      2. 열 패밀리 유형 섹션에서 집계를 선택합니다.
      3. 애그리게이터 목록에서 최대를 선택합니다.
      4. 가비지 컬렉션 정책 설정 섹션에서 가비지 컬렉션을 수집하지 않음을 선택합니다.
      5. 완료를 클릭합니다.

  5. 만들기를 클릭합니다.

  6. 새 column family와 집계 구성을 확인하려면 다음 단계를 따르세요.

    1. 탐색 메뉴에서 Bigtable Studio를 클릭합니다.
    2. 왼쪽의 객체 탐색기 트리에서 Tables를 펼치고 counters_quickstart_table를 펼친 다음 Column Families를 펼칩니다.

cbt

  1. cbt createtable 명령어를 사용하여 집계 column family가 3개인 counters_quickstart_table이라는 테이블을 만듭니다. 각 column family를 다른 집계 유형으로 구성합니다.

    • 열 패밀리 max_family은 Int64 입력 유형이 있는 Max 유형입니다.
    • 열 패밀리 min_family은 Int64 입력 유형이 있는 Min 유형입니다.
    • 열 패밀리 sum_family은 Int64 입력 유형이 있는 Sum 유형입니다.
    cbt createtable counters_quickstart_table families=sum_family:never:intsum,min_family:never:intmin,max_family:never:intmax

  2. cbt ls 명령어를 실행하여 column family를 나열합니다.

    cbt ls counters_quickstart_table

    다음과 유사한 출력이 셸에 표시됩니다.

    Family Name     GC Policy
-----------     ---------
max_family      <never>
min_family      <never>
sum_family      <never>

표에 카운터 만들기

  1. cbt addtocell 명령어를 사용하여 row-key1의 row key와 0의 타임스탬프를 사용하여 세 개의 column family 각각의 새 열에 5의 초기 값을 씁니다. 이 작업은 카운터로 사용할 집계 셀을 만듭니다.

    cbt addtocell counters_quickstart_table row-key1 sum_family:sum_column=5@0
cbt addtocell counters_quickstart_table row-key1 min_family:min_column=5@0
cbt addtocell counters_quickstart_table row-key1 max_family:max_column=5@0

데이터 읽기

Google Cloud 콘솔에서 SQL로 테이블을 쿼리하거나 cbt CLI를 사용하여 테이블의 데이터를 읽을 수 있습니다.

SQL을 사용하여 Google Cloud 콘솔에서 테이블 쿼리

  1. Google Cloud 콘솔에서 Bigtable 인스턴스 페이지를 엽니다.

    인스턴스 목록으로 이동

  2. 목록에서 counters-quickstart-instance를 선택합니다.

  3. 탐색 메뉴에서 Bigtable Studio를 클릭합니다.

  4. 편집기 탭을 클릭합니다.

  5. 편집기에 다음 쿼리를 붙여넣습니다.

    SELECT * FROM `counters_quickstart_table`

  6. 실행을 클릭합니다. 쿼리 결과가 결과 테이블에 표시되며 다음과 유사합니다.

    _key max_family min_family sum_family
    row-key1 { "max_column": 5 } { "min_column": 5 } { "sum_column": 5 }

cbt CLI로 읽기

  1. 카운터 값을 바이트가 아닌 정수로 보려면 cbt CLI에서 출력을 포맷하는 데 사용할 수 있는 YAML 파일을 정의하세요. 다음을 실행합니다.

    echo "families:" > ~/cbtformat.yaml
echo "  max_family:" >> ~/cbtformat.yaml
echo "    default_encoding: BigEndian" >> ~/cbtformat.yaml
echo "    default_type: INT64" >> ~/cbtformat.yaml
echo "  min_family:" >> ~/cbtformat.yaml
echo "    default_encoding: BigEndian" >> ~/cbtformat.yaml
echo "    default_type: INT64" >> ~/cbtformat.yaml
echo "  sum_family:" >> ~/cbtformat.yaml
echo "    default_encoding: BigEndian" >> ~/cbtformat.yaml
echo "    default_type: INT64" >> ~/cbtformat.yaml

  2. cbtformat.yaml 파일을 올바르게 설정했는지 확인합니다.

    cat ~/cbtformat.yaml

    터미널에는 cbtformat.yaml 파일의 콘텐츠가 표시됩니다. 이는 다음과 유사합니다.

    families:
  max_family:
    default_encoding: BigEndian
    default_type: INT64
  min_family:
    default_encoding: BigEndian
    default_type: INT64
  sum_family:
    default_encoding: BigEndian
    default_type: INT64

  3. cbt read 명령어를 사용하여 YAML 파일을 전달하고 테이블에 추가한 데이터를 읽습니다. 이제 표에 집계 유형이 서로 다른 세 개의 열이 있습니다.

    cbt read counters_quickstart_table format-file=$HOME/cbtformat.yaml

    다음과 유사한 출력이 셸에 표시됩니다. 값은 정수로 형식이 지정되고 타임스탬프는 UTC 형식입니다.

    row-key1
  max_family:max_column                    @ 1970/01/01-00:00:00.000000
    5
  min_family:min_column                    @ 1970/01/01-00:00:00.000000
    5
  sum_family:sum_column                    @ 1970/01/01-00:00:00.000000
    5

카운터 업데이트

  1. 셀을 만들 때 사용한 동일한 타임스탬프를 사용하여 테이블의 각 열에 값 3을 추가합니다. 각 열에서 셀 값은 셀의 집계 유형에 따라 기존 값과 병합됩니다.

    cbt addtocell counters_quickstart_table row-key1 sum_family:sum_column=3@0
cbt addtocell counters_quickstart_table row-key1 min_family:min_column=3@0
cbt addtocell counters_quickstart_table row-key1 max_family:max_column=3@0

  2. cbt read 명령어를 다시 사용하여 테이블의 데이터를 읽습니다. 이제 각 셀에 집계된 값이 포함됩니다.

    cbt read counters_quickstart_table format-file=$HOME/cbtformat.yaml

    sum_column에는 5와 3의 합 (8)이 포함되고, min_column에는 여기에 쓰인 두 값의 최솟값 (3)이 포함되며, max_column에는 여기에 쓰인 두 값의 최댓값 (5)이 포함됩니다.

    row-key1
  max_family:max_column                    @ 1970/01/01-00:00:00.000000
    5
  min_family:min_column                    @ 1970/01/01-00:00:00.000000
    3
  sum_family:sum_column                    @ 1970/01/01-00:00:00.000000
    8

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 Google Cloud 프로젝트를 삭제하세요.

콘솔

  1. counters_quickstart_table 테이블을 삭제합니다.

    1. Google Cloud 콘솔에서 Bigtable 인스턴스 페이지로 이동합니다.

      인스턴스 목록으로 이동

    2. 인스턴스 목록에서 Counters quickstart instance를 클릭합니다.

    3. 왼쪽 탐색창에서 테이블을 클릭합니다.

    4. counters_quickstart_table 옆에 있는 를 클릭한 다음 삭제를 클릭합니다.

    5. counters_quickstart_table를 입력하여 확인한 다음 삭제를 클릭합니다.

  2. 인스턴스를 삭제합니다.

    1. Google Cloud 콘솔에서 Bigtable 인스턴스 페이지로 이동합니다.

      인스턴스 목록으로 이동

    2. Counters quickstart instance를 클릭합니다.

    3. 인스턴스 삭제를 클릭합니다.

    4. counters-quickstart-instance를 입력하여 확인한 다음 삭제를 클릭합니다.

  3. 터미널에서 구성 파일과 선택적 사용자 인증 정보를 삭제합니다.

    1. .cbtrc 파일을 삭제합니다.

      rm ~/.cbtrc

    2. 서식 파일을 삭제합니다.

      rm ~/cbtformat.yaml

    3. 선택사항: gcloud CLI에서 사용자 인증 정보를 취소합니다.

      gcloud auth revoke

cbt

  1. 터미널에서 counters_quickstart_table 테이블을 삭제합니다.

    cbt deletetable counters_quickstart_table

  2. 인스턴스를 삭제합니다.

    cbt deleteinstance counters-quickstart-instance

  3. .cbtrc 파일을 삭제합니다.

    rm ~/.cbtrc

  4. 서식 파일을 삭제합니다.

    rm ~/cbtformat.yaml

  5. 선택사항: gcloud CLI에서 사용자 인증 정보를 취소합니다.

    gcloud auth revoke

다음 단계