경계 없는 레이크하우스란 무엇인가요?

Borderless Lakehouse를 사용하면 Apache Iceberg 개방형 테이블 형식을 관리형 스토리지와 결합하여Google Cloud 에서 개방형 데이터 레이크하우스를 빌드할 수 있습니다. 이 아키텍처는 스토리지와 컴퓨팅을 분리하여 분석 및 AI 워크로드를 위한 통합 기반을 제공합니다.

개방형 테이블 메타데이터를 관리하기 위해 Lakehouse는 검색을 중앙 집중화하고 저장소 간 동기화를 제거하는 서버리스 메타데이터 서비스인 Lakehouse 런타임 카탈로그를 사용합니다. 이 설계를 통해 Managed Service for Apache Spark, Apache Flink, Apache Hive, Trino, BigQuery를 비롯한 여러 엔진이 데이터 중복 없이 단일 정보 소스에 직접 액세스할 수 있습니다.

주요 이점

  • 서버리스 아키텍처: Google Cloud의 레이크하우스는 서버 또는 클러스터 관리의 필요성을 없애 운영 오버헤드를 줄이고 수요에 따라 자동으로 확장됩니다. 컴퓨팅 워크로드의 경우 서버리스 일괄 및 대화형 세션은 작업 간의 리소스 경합을 제거하고 인프라 유지보수를 자동화합니다.
  • 읽기 및 쓰기 상호 운용성: 오픈소스 엔진과 BigQuery는 동일한 Apache Iceberg 테이블을 읽고 쓸 수 있으며(BigQuery 쓰기는 프리뷰), 선택적 테이블 관리(프리뷰)는 압축, 스냅샷 만료, 가비지 컬렉션을 자동화합니다.
  • 통합 데이터 관리 및 거버넌스: Knowledge Catalog와 통합하면 여러 엔진에서 거버넌스 정책을 중앙에서 정의하고 적용할 수 있으며 시맨틱 검색, 데이터 계보, 품질 검사를 제공합니다.
  • 스토리지 확장 프로그램: Google Cloud의 레이크하우스는 Cloud Storage 관리 기능을 확장하여 자동 클래스 계층화 및 고객 관리 암호화 키(CMEK)와 같은 기능을 포함합니다.
  • 완전 관리형 환경: BigQuery와 통합되면 Google Cloud의 Lakehouse는 완전 관리형 분석 및 AI 환경을 제공합니다.
  • 고가용성 및 재해 복구: Google Cloud의 레이크하우스는 데이터의 고가용성을 지원하기 위해 리전 간 복제 및 재해 복구(프리뷰) 옵션을 제공합니다.

사용 사례

  • 개방형 레이크하우스: Cloud Storage를 스토리지 레이어로 사용하고 Google Cloud의 레이크하우스는 Apache Iceberg 데이터의 관리 및 거버넌스 인터페이스를 제공합니다.
  • 분석 및 트랜잭션 통합: PostgreSQL용 AlloyDB(프리뷰) 내에서 직접 분석 Apache Iceberg 테이블에 액세스하여 분석 데이터를 트랜잭션 워크로드와 결합합니다.
  • 통합 액세스: 다양한 엔진(Apache Spark, Apache Flink, BigQuery)이 일관된 메타데이터를 사용하여 동일한 Apache Iceberg 테이블과 상호작용할 수 있습니다.
  • 크로스 클라우드 분석 및 AI: Databricks Unity Catalog, AWS Glue Data Catalog, Snowflake Horizon Catalog, Workday 데이터 레이크, SAP 비즈니스 데이터 클라우드(SAP BDC)에서 크로스 클라우드 데이터에 액세스합니다. 제휴 카탈로그는 이러한 제공업체의 메타데이터를 동기화하므로 데이터를 마이그레이션하지 않고도 BigQuery 또는 오픈소스 엔진으로 데이터를 쿼리할 수 있습니다.
  • 공개 데이터 세트 탐색: 인프라를 관리하지 않고 Apache Iceberg REST 카탈로그 엔드포인트를 통해 공개 데이터 세트를 쿼리합니다.
  • Hive metastore: Apache Hive 카탈로그 엔드포인트를 사용하여 Apache Spark 및 Apache Hive와 같은 오픈소스 엔진을 Lakehouse 런타임 카탈로그에 연결합니다. 이렇게 하면 자체 호스팅 Hive Metastore(HMS)를 유지보수하는 운영 오버헤드가 사라지고 BigQuery에서 직접 데이터를 공유하고 테이블을 쿼리할 수 있습니다.
  • Metastore 현대화: 데이터 파일을 복사하지 않고 Dataproc Metastore 또는 기타 외부 metastore에서 Lakehouse 런타임 카탈로그로 메타데이터를 마이그레이션합니다.

인터페이스 및 도구

다음 도구를 사용하여 Google Cloud의 레이크하우스 리소스와 상호작용할 수 있습니다.

  • Google Cloud 콘솔: 콘솔을 사용하여 카탈로그를 만들고, 카탈로그 속성을 보고, 감사 로그를 보고, 권한을 구성합니다.
  • BigQuery SQL: GoogleSQL을 사용하여 Lakehouse 런타임 카탈로그 및 외부 테이블의 Apache Iceberg 테이블을 쿼리하고, DDL 및 DML(프리뷰)을 사용하여 Lakehouse 런타임 카탈로그의 Apache Iceberg 테이블을 만들고 수정합니다.
  • Google Cloud CLI, REST API, Terraform: 카탈로그, 네임스페이스, 테이블, 액세스 정책을 프로그래매틱 방식으로 만들고 관리합니다.
  • 오픈소스 엔진: Lakehouse 런타임 카탈로그와 함께 Apache Spark, Apache Flink, Trino, Apache Hive와 같은 엔진을 사용하여 데이터를 읽고 씁니다.
  • IDE 및 노트북: 대화형 Apache Spark 노트북과 IDE 확장 프로그램(예: VS Code용 Data Agent Kit(DAK) 확장 프로그램)을 사용하여 Google Cloud에 인증하고, 대화형으로 코드를 작성하고, 개발 환경 내에서 직접 노트북 세션을 관리합니다.
  • 조정 및 MLOps 도구: Managed Service for Apache Airflow(이전 명칭: Cloud Composer) 및 Vertex AI의 Kubeflow Pipelines를 사용하여 조정 워크플로와 서버리스 일괄 파이프라인 및 카탈로그 작업을 통합합니다.
  • Apache Iceberg REST 카탈로그 API: Apache Iceberg REST 카탈로그 엔드포인트를 사용하여 개방형 Apache Iceberg REST 사양과 호환되는 도구를 통해 서비스와 상호작용합니다.
  • Apache Iceberg 테이블 지원: Apache Iceberg V2 테이블(정식 버전) 및 V3 테이블(프리뷰)이 지원됩니다. Iceberg V1 테이블은 지원되지 않습니다.

다음 단계