데이터 동기화를 사용하면 PostgreSQL용 AlloyDB 클러스터에서 직접 BigQuery 분석 데이터의 관리형 쓰기 가능한 사본을 만들 수 있습니다. 이 기능은 사용자가 정의한 일정에 따라 데이터 웨어하우스의 데이터를 운영 데이터베이스로 자동으로 주기적으로 새로고침합니다.
테이블을 AlloyDB에 직접 동기화하면 BigQuery에서 운영 데이터베이스로 분석 데이터를 전송하기 위해 복잡한 맞춤 데이터 파이프라인을 빌드, 관리, 유지보수할 필요가 없습니다.
데이터 동기화 작동 방식
데이터 동기화는 alloydb_sync 확장 프로그램을 사용하여 데이터 복제를 자동화합니다. 동기화된 테이블을 만들면 AlloyDB는 로컬 읽기 전용 테이블을 설정하고 백그라운드 작업자가 BigQuery의 소스에서 업데이트된 데이터를 주기적으로 가져오도록 예약합니다.
클라이언트 애플리케이션은 AlloyDB에서 로컬 동기화된 테이블을 직접 쿼리하여 쿼리 지연 시간 단축, AlloyDB 열 기반 엔진, 네트워크를 통해 BigQuery로 쿼리를 전송하지 않고 읽기 풀에서 수평 확장이라는 이점을 누립니다.
사용 사례
운영 데이터베이스의 높은 처리량, 짧은 지연 시간, 대화형 성능이 필요한 애플리케이션에 BigQuery의 분석 데이터를 제공해야 하는 경우 테이블을 동기화합니다.
일반적인 사용 사례는 다음과 같습니다.
- 동시성이 높은 애플리케이션 제공: 수천 명의 동시 사용자에게 분석 통계를 제공합니다. 데이터를 AlloyDB에 동기화하고 읽기 풀로 확장하면 BigQuery의 동시 쿼리 및 연결 제한을 우회할 수 있습니다.
- 성능 가속화: AlloyDB 열 기반 엔진과 로컬 버퍼 캐시를 사용하여 데이터를 처리하여 1초 미만의 쿼리 응답 시간을 제공합니다.
- 자동 데이터 미러링: 배치 ETL 작업을 수동으로 오케스트레이션하지 않고 BigQuery의 분석 데이터에 대한 자동화된 예약 새로고침을 유지합니다.
- AI 및 운영 워크플로 사용 설정: 분석 데이터를 AlloyDB로 구체화하여 벡터 임베딩을 생성하고, 유사성 검색을 실행하고, AlloyDB AI를 사용하여 에이전트 워크플로를 지원합니다.
아키텍처 및 데이터 흐름
alloydb_sync 확장 프로그램은 백그라운드 작업자를 사용하여 구성된 일정에 따라 BigQuery의 데이터를 AlloyDB 클러스터의 로컬 테이블로 주기적으로 스트리밍합니다. 그러면 애플리케이션이 짧은 지연 시간으로 로컬 테이블을 쿼리합니다.
다음 다이어그램은 데이터 동기화 아키텍처를 보여줍니다.
데이터 유형 매핑
BigQuery에서 AlloyDB로 데이터를 동기화하면 AlloyDB는 BigQuery 데이터 유형을 상응하는 PostgreSQL 데이터 유형에 매핑합니다.
동기화된 테이블을 만들기 전에 소스 BigQuery 열에서 지원되는 데이터 유형을 사용하는지 확인하세요. 매핑 및 지원되는 유형의 전체 목록은 지원되는 데이터 유형 매핑을 참조하세요.
가격 책정
데이터 동기화를 사용하면 Google Cloud 다음 구성요소를 기준으로 청구됩니다. 자세한 내용은 BigQuery 데이터를 AlloyDB에 동기화를 참조하세요.
- AlloyDB: AlloyDB 인스턴스 및 로컬 동기화된 테이블에서 사용하는 스토리지에 표준 가격이 적용됩니다.
- BigQuery:
alloydb_sync새로고침 작업 중에 실행되는 쿼리 및 데이터 스트림에는 표준 BigQuery 분석 및 BigQuery Storage API 요금이 부과됩니다. - Cloud Storage: Cloud Storage의 Apache Iceberg 테이블에서 데이터를 동기화할 때는 표준 스토리지 및 데이터 검색 요금이 적용됩니다.
제한사항
데이터 동기화에는 다음과 같은 제한사항이 있습니다.
- 데이터 최신 상태: 동기화된 테이블의 데이터는 마지막으로 완료된 새로고침 이후의 소스 BigQuery 테이블 상태를 반영합니다.
- PostgreSQL 버전:
alloydb_sync확장 프로그램을 사용한 데이터 동기화는 PostgreSQL 버전 18에서만 지원됩니다. - 데이터 유형 호환성: 소스 열은 지원되는 PostgreSQL 데이터 유형에 매핑되어야 합니다. 지원되지 않는 복잡한 유형 (예:
ARRAY,BYTES,VECTOR,GEOGRAPHY)의 경우 동기화하기 전에 BigQuery 뷰에서 열을 변환하거나 캐스팅해야 합니다.