인메모리 등급 개요

인메모리 등급은 특수 노드를 사용하는 클러스터 수준 설정입니다. 이 페이지를 읽기 전에 인스턴스, 클러스터, 노드를 이해해야 합니다. 또한 제한사항을 숙지하는 것이 좋습니다.

Bigtable 인메모리 등급은 Bigtable 노드의 일부인 통합 메모리 등급으로, 단일 API를 통해 액세스 패턴과 성능 요구사항에 따라 원활하고 비용 최적화된 데이터 계층화를 지원합니다. Bigtable 인메모리 등급은 원격 직접 메모리 액세스(RDMA)를 사용하여 응답 시간을 크게 줄이고 핫스팟을 완화하며 지연 시간에 민감한 데이터의 높은 처리량을 보장합니다. 자세한 내용은 성능 이해를 참조하세요.

인메모리 등급을 사용해야 하는 경우

다음 사용 사례에서는 인메모리 등급을 사용 설정하는 것이 좋습니다.

  • 1밀리초 미만의 지연 시간 요구사항: 읽기 지연 시간이 1밀리초 미만이어야 하는 워크로드로, 일반적으로 자체 관리형 캐시 솔루션으로 데이터베이스를 프런트엔드하여 해결합니다.
  • 높은 처리량 포인트 읽기: 특정 데이터 하위 집합에 대한 읽기 트래픽 처리량 요구사항이 높은 애플리케이션입니다.
  • 핫스팟 완화: 특정 row key에 트래픽 급증 또는 핫스팟이 포함될 수 있는 높은 처리량 워크로드입니다.
  • 비용 최적화: 높은 읽기 볼륨을 보다 비용 효율적인 인메모리 계층으로 오프로드하여 Bigtable 노드 수를 줄이려는 시나리오입니다.

인메모리 계층 작동 방식

인메모리 등급 지원은 하이브리드 스토리지 노드에서 제공됩니다. 이러한 특수 노드는 Bigtable의 컴퓨팅 및 스토리지 분리를 확장하여 수직 확장이 가능한 처리량을 갖춘 메모리 계층을 포함합니다. Bigtable에서 특수 인메모리 등급 노드를 프로비저닝하는 데 최대 30분이 걸릴 수 있습니다. 이 기간 동안 Bigtable은 영구 스토리지에서 트래픽을 계속 제공합니다.

클러스터 수준에서 인메모리 계층을 사용 설정할 수 있습니다.

인메모리 등급은 다음과 같이 작동합니다.

  • 메모리 등급에서 데이터 가져오기: 인메모리 등급은 리드 스루 캐싱 동작을 제공합니다. 행은 인메모리 계층에 대해 구성한 앱 프로필을 통해 읽기 작업과 함께 메모리 계층으로 이동합니다. 행 데이터가 이미 인메모리 계층에 있는 경우 앱 프로필의 쓰기 작업은 메모리 계층을 업데이트합니다.
  • 제거 및 무효화 정책: 인메모리 등급은 행 수준에서 LRU(가장 최근에 사용되지 않은 항목) 제거를 사용하고 TTL(수명) 무효화 정책을 적용하여 인메모리 등급 적중률을 극대화합니다.
  • 음성 캐싱: 인메모리 등급은 백엔드 과부하를 방지하기 위해 일정 기간 동안 리소스가 누락되었는지 기억합니다.
  • 보안: 인메모리 등급은 저장 데이터 암호화 및 전송 중 데이터 암호화(TLS)를 지원합니다.
  • 복제: 멀티 클러스터 인스턴스에서 서로 다른 클러스터의 메모리 등급이 동기화되지 않습니다. 각 메모리 등급은 수신되는 읽기 트래픽을 기준으로 메모리에 로드할 데이터를 독립적으로 결정하므로 클러스터마다 메모리 등급에 다른 row key가 있을 수 있습니다. Bigtable은 로컬 클러스터의 SSD 등급에서 메모리로 데이터를 로드합니다. 행에 쓰면 최종 일관성의 표준 Bigtable 복제 모델에 따라 행이 있는 모든 메모리 계층에서 행이 업데이트됩니다.
  • 수직 자동 확장: 인메모리 등급은 Bigtable 자동 확장과 함께 작동하는 노드 수준에서 수직 자동 확장을 지원합니다.

인메모리 등급은 현재 데이터에 대한 고성능 액세스에 최적화되어 있습니다. 이 성능을 유지하기 위해 타임스탬프가 지정된 최신 버전의 행만 메모리 등급에 상주합니다. 이전 셀이라고도 하는 이전 버전의 데이터에 대한 요청은 메모리 등층을 자동으로 우회하고 영구 스토리지에서 제공됩니다.

데이터 일관성

Bigtable은 인메모리 등급 데이터가 SSD 또는 가끔 액세스하는 스토리지 등급의 영구 데이터와 일관되도록 보장합니다. 이 하이브리드 아키텍처를 통해 Bigtable은 모든 스토리지 등급에서 일관된 스토리지 모델을 제공하므로 데이터가 RAM에 물리적으로 상주하는지 영구 스토리지에 상주하는지에 관계없이 동일한 시맨틱 인터페이스를 통해 데이터에 액세스할 수 있습니다. Bigtable 인메모리 계층을 사용 설정하면 클러스터 수준에서 작성한 항목을 읽을 수 있는 일관성이 유지됩니다.

수직 확장

인메모리 등급을 사용 설정하면 각 노드가 수직 확장을 사용하여 인메모리 등급 처리량 용량을 수정할 수 있습니다. 인메모리 등급을 사용 설정하면 각 노드는 초당 40,000회 읽기의 기본 용량으로 시작합니다. 포인트 읽기 트래픽 급증을 관리하기 위해 노드는 초당 40,000회 읽기 단위로 자동 확장되어 노드당 초당 최대 120,000회 읽기에 도달할 수 있습니다.

이 수직 확장 기능은 Bigtable 자동 확장과 통합됩니다. 클러스터의 모든 노드에서 최대 인메모리 등급 용량에 도달하고 자동 확장이 활성화된 경우 Bigtable은 추가 노드를 자동으로 프로비저닝하여 인메모리 등급 처리량을 더욱 향상시킵니다.

노드의 수직 확장은 초당 인메모리 계층 읽기에만 적용되며 클러스터 수준 자동 확장 사용 설정 여부에 관계없이 작동합니다. 초당 기본 40,000회 읽기를 초과하는 수직 확장은 노드의 시간당 비용에 배수를 적용하여 청구됩니다. 자세한 내용은 가격 책정 및 한도를 참조하세요.

제한사항

인메모리 등급에는 다음과 같은 제한사항이 적용됩니다.

  • 인메모리 계층에는 SSD 스토리지가 필요합니다.
  • 인메모리 등급은 단일 행 수준 지점 읽기 작업만 지원합니다.
  • 인메모리 등급은 데이터 스캔을 제공하거나 SQL 쿼리를 지원하지 않습니다.
  • 인메모리 등급 앱 프로필은 단일 클러스터 라우팅만 지원합니다.
  • 인메모리 등급은 행 크기를 row key당 1MiB로 제한합니다. Bigtable은 영구 스토리지에서 이 한도를 초과하는 행을 읽습니다.

  • 인메모리 등급에는 다음 버전의 Bigtable 클라이언트 라이브러리가 필요합니다.

    • Java 버전 2.77.0 이상
    • BOM 버전 26.80.0 이상
    • Go 버전 1.52.0 이상

    다른 클라이언트 라이브러리는 지원되지 않습니다.

  • 고객 관리 암호화 키(CMEK)가 사용 설정된 클러스터는 인메모리 등급을 지원하지 않습니다.

  • 인메모리 등급은 클러스터당 최대 10개의 노드로 제한됩니다.

다음 단계